AI-Geheimsprache

Nachdem ich in meinem Artikel vom Dienstag schon versucht habe, euch die Angst vor neuen Technologien zu nehmen, beschäftige ich mich heute gleich mit der nächsten vermeintlichen Bedrohung. Und zwar der Sorge, dass AI ihre eigene – für Menschen nicht verständliche – Sprache entwickeln wird und so die Weltherrschaft an sich reißt, bevor wir es überhaupt mitbekommen.

Was nach einem mittelmäßigen Filmplot klingt (und einer ist), sorgte bereits vor einigen Jahren für Clickbait-Schlagzeilen. So entwickelte die Google Translate AI 2016 eine „Interlingua“ – ein latentes Symbolsystem, das zwischen Sprachpaaren vermittelte und für Menschen nicht unmittelbar lesbar war. Nur ein Jahr später begannen in einem Facebook-Forschungsexperiment zwei Chatbots namens Bob und Alice, eine „Shorthand“ zu verwenden – eine neuartige Token-Sequenz, bei der Wörter und Grammatik weggelassen werden, um nur die relevanten Informationen zu übertragen. Diese war für die Wissenschaftler größtenteils unverständlich.

Fast 10 Jahre und einige AI-Quantensprünge später, und wir sehen uns mit einer sehr ähnlichen Situation konfrontiert. Rocket Drew für The Information:

While most chains of thought are legible today, some AI researchers have warned me that as AI companies train increasingly large reasoning models, their chains of thought more frequently deteriorate into gibberish. One pessimistic OpenAI researcher said they give it about a year before the leading models’ chains of thought are illegible.

[...]

For example, consider DeepSeek’s R1 model, which does allow users to view its raw chains of thought. Its thoughts are typically easy to follow, but in reasoning through a chemistry problem, one chain of thought included “(Dimethyl(oxo)-lambda6-sulfa雰囲idine)methane donate a CH2rola group occurs in reaction, Practisingproduct transition vs adds this.to productmodule. Indeed"come tally said Frederick would have 10 +1 =11 carbons. So answer q Edina is11.”

Then DeepSeek spit out 11 as its final answer, which was correct.

Auf den ersten Blick mag es erstaunlich erscheinen, dass die KI trotz dieses Kauderwelschs in der Lage war, die richtige Antwort zu finden. Tatsächlich ergibt das aber sehr viel Sinn. Denn die AI macht das nicht, um ihre Schöpfer zu täuschen, sondern schlicht aus Effizienzgründen. Warum sollte sie sich an unsere Grammatik halten, wenn es einen schnelleren Weg zum Ziel gibt? So wie jeder Computer seit den 70er Jahren grundlegend immer noch nur mit 0 und 1 kommuniziert. Das einzige Problem ist, dass sich Lösungswege oder Chains of Thought, die Menschen nicht mehr verstehen, auch nicht durch solche optimieren lassen. Heute können die meisten dieser Gedankengänge von Reasoning-Modellen überprüft werden, um festzustellen, wann sie gegebenenfalls in ihrer Argumentation falsch abgebogen sind. In ein paar Jahren ist das vielleicht gar nicht mehr möglich.

Das macht aber vor allem eines klar: Wir verstehen nach wie vor nicht, wie LLMs und neuronale Netze wirklich funktionieren (hier, hier und hier). Und ich persönlich frage mich, ob wir es jemals tun werden.