„Die großen Sprachmodelle sind überhaupt nicht intelligent“

Geschichte von Alexander Armbruster

• 6Tage • 11 Minuten Lesezeit

class="article-body" style="font-size: 17px; text-align: start; line-height: 26px; margin: 0px; max-height: 100%; overflow-y: hidden;"

KIs sind energieintensiv und damit oftmals teurer als Personalkosten. Mit energiesparenderen Modellen will Hochreiter die führenden amerikanischen Modellanbieter „vom Markt fegen“.© dpa/Bearbeitung F.A.Z.

Professor Hochreiter, nachher kommen wir auf Ihre neueste Erfindung zu sprechen, mit der Sie die führenden amerikanischen KI-Systeme einfach ausstechen wollen. Doch zunächst wollen wir entschlüsseln, was eigentlich hinter dem aktuellen Erfolg der Künstlichen Intelligenz steckt. Dafür maßgeblich war eine Idee, die Sie schon vor mehr als 30 Jahren hatten – und die nachher von großen Techkonzernen wie Google aufgegriffen wurde. Sie verbirgt sich hinter dem kryptischen Kürzel LSTM. Worum ging es da?

LSTM steht für Long-Short-Term-Memory. Das ist ein Lernalgorithmus, den ich in meiner Diplomarbeit in München im Jahr 1991 vorgeschlagen habe. Die künstlichen neuronalen Netze, insbesondere die sogenannten rekurrenten neuronalen Netze, die Informationen speichern können, hatten damals ein großes Problem: Sie konnten nicht lernen, sich etwas aus der Vergangenheit zu merken, wenn es zu lange zurücklag. Sie hatten kein praktisch funktionierendes Gedächtnis für lange Zeiträume.

Wie meinen Sie das?

Ich gebe Ihnen ein Beispiel, nehmen Sie den folgenden Satz: Ein Mann im roten Pulli geht über die Straße. Und jetzt sage ich denselben Satz in einer anderen Reihenfolge: Über die Straße in einem roten Pulli geht ein Mann. Die damaligen neuronalen Netze hätten nur in der zweiten Variante erkannt, dass es um einen Mann geht, wenn das Wort am Ende der Sequenz steht. Sie konnten länger zurückliegende Information nicht abspeichern. Durch den von mir erdachten LSTM-Algorithmus bekamen sie ein funktionierendes Gedächtnis, das Information über einen langen Zeitraum speichern kann.

Das hat die Sprachverarbeitung revolutioniert, weil wir während des Sprechens oder Schreibens natürlich ständig Bezug nehmen auf Dinge, die wir irgendwann zuvor erwähnt haben – und wissen, dass andere diese Bezüge verstehen.

Letztlich hob LSTM die Künstliche Intelligenz auf eine neue Stufe, das hat aber noch eine ganze Weile gedauert.

Weil damals noch nicht so viele Trainingsdaten verfügbar waren und die Computer noch viel langsamer.

Nicht nur. Um 1994 hat mein Supervisor Jürgen Schmidhuber mich gefragt, ob wir das, was ich da in meiner Diplomarbeit gemacht habe, veröffentlichen können. Ob das etwas Cooles ist. Er hat mir geholfen, das zu publizieren. Tatsächlich haben wir es zuerst bei der wichtigsten KI-Konferenz NeurIPS eingereicht – und es wurde abgelehnt. Viel später, im Jahr 1997, haben wir dann einen Fachartikel über LSTM veröffentlicht, aber auch da hat uns praktisch niemand wahrgenommen.

Und dann?

Im Jahr 2006 ging es richtig los mit künstlichen neuronalen Netzen und dem Deep Learning, nachdem der KI-Forscher Geoffrey Hinton seinen Aufsatz „A fast learning Algorithm for Deep Belief Nets“ veröffentlichte. Einige Jahre später wurden dann die rekurrenten künstlichen neuronalen Netze wieder populär. Das war der Durchbruch für LSTM in der Praxis – von Google über Microsoft bis Amazon setzten alle Techunternehmen von Rang und Namen darauf. LSTM war bis zum Jahr 2017 in praktisch allen Handys drin.

Ein in Deutschland erdachter Lernalgorithmus hat also zum ersten großen Durchbruch in der modernen KI-Sprachverarbeitung für die breite Masse geführt. Der nächste technologische Sprung in diesem Bereich verbirgt sich bekanntlich hinter dem Schlagwort „generative Künstliche Intelligenz“. Den Weg dafür bereitet hat das vergleichsweise kleine Unternehmen Open AI mit dem Dialogsystem ChatGPT. Was ist da technisch geschehen?

Vielleicht zunächst eine kleine Anekdote: Einer der Gründer von Open AI war Ilya Sutskever, der bekannt geworden ist durch „Sequence to Sequence Learning“, eine LSTM-Anwendung für Übersetzungen. Ein anderer Gründer, Wojciech Zaremba, hat ebenfalls an LSTM-Methoden geforscht. Andrej Karpathy, einer der ersten Open-AI-Mitarbeiter, wurde durch einen Blogbeitrag über LSTM bekannt. Später wechselte er von Open AI zu Tesla und war dort längere Zeit KI-Chefentwickler. Open AI wurde sozusagen von lauter LSTM-Leuten aufgebaut, ich kenne die alle.

LSTM hat aber eben nicht ausgereicht, um zu den leistungsfähigen KI-Systemen zu gelangen, die wir heute haben – zu GPT, Claude, Gemini, Llama und wie sie alle heißen. Was machen diese gegenwärtig so angesagten Künstlichen Intelligenzen anders?

Der Schlüssel liegt im Begriff Aufmerksamkeit. In den neuen Modellen kann die KI ihre Aufmerksamkeit auf bestimmte zurückliegende Elemente einer Sequenz richten. Sie kann sich Wörter in der Vergangenheit noch einmal anschauen. Zunächst wurde dieser Aufmerksamkeitsmechanismus mit LSTM kombiniert. Im Jahr 2017 veröffentlichten Google-Forscher dann einen Fachaufsatz mit dem Titel „Attention is all you need“, übersetzt „Aufmerksamkeit ist alles, was du brauchst“. Der war bahnbrechend. Sie stellten einen Ansatz vor, in dem es kein LSTM braucht, in dem die KI quasi ohne Gedächtnis auskommt, sich nichts merken muss, weil sie zu jedem Zeitpunkt einfach auf alles zurückschauen kann, was schon gesagt wurde.

Und wieso funktionieren diese Systeme in der Praxis besser?

Das Training, der Lernprozess geht viel schneller. Sie können einem sogenannten Transformer-Modell, wie diese KI-Systeme heute genannt werden, viel mehr Daten oder Text in derselben Zeit beibringen, also parallel. Die verwendete Rechenleistung ist gewaltig, und die Datenmengen sind unvorstellbar groß, die eingesetzt werden, um die Modelle zu trainieren – und ihnen zu ermöglichen, so kompetent mit Texten und Bildern umzugehen, wie sie das heute können.

Als Open AI sein ChatGPT im November des Jahres 2022 auf die Menschheit losgelassen hat und dann tatsächlich unzählige Millionen Nutzer rund um den Globus das begeistert ausprobierten, wie haben Sie das wahrgenommen?

Vor allem hat mich überrascht, wie populär das innerhalb kürzester Zeit geworden ist, wie sehr die Menschen darauf abgefahren sind. Dass die KI-Systeme so gut sind, das wussten wir schon seit Jahren. Dass sie beispielsweise sehr gut Programmcode vorhersagen können, das war bekannt und klar. Wir wussten auch, dass das noch besser werden würde, wenn noch mehr Daten hineingesteckt werden – Transformer-Modelle, die im Stile Goethes oder Shakespeares schreiben konnten, die gab es ja längst.

Für viele war und ist das immer noch eine Spielerei.

Für mich war es das auch. Wir verwenden das alles prinzipiell übrigens schon lange in der Form, dass wir etwa auf dem Handy irgendwelche Texte vervollständigt bekommen oder uns Vorschläge gemacht werden.

Gegenwärtig spricht jeder darüber und arbeiten die führenden Unternehmen schon an den nächsten Generationen ihrer KI-Systeme, die noch größer und noch kompetenter sein sollen. Zugleich ist unter KI-Fachleuten, Kognitions- und Neurowissenschaftlern und Philosophen eine Diskussion darüber entbrannt, wie intelligent die Künstliche Intelligenz nun eigentlich ist. Referenz ist dabei immer wieder das menschliche Gehirn. Also: Wie intelligent ist die KI?

Die großen Sprachmodelle (Large-Language-Modelle) sind überhaupt nicht intelligent. Die sind so intelligent wie eine Datenbank. Die haben zwar sehr viel menschliches Wissen in Form von Texten und Bildern abgespeichert. Aber alles, was da rauskommt, sind nur Zusammenstellungen von Texten oder Inhalten, die vorher hineingesteckt wurden. Das ist eine sehr gute Interpolation, es gibt Texte, die so gut zusammengefügt sind, dass überhaupt nicht offensichtlich ist, dass das kein neuer Text ist, sondern nur eine geschickte Kombination von Abgespeichertem.

Ein hartes Urteil.

Es gibt eine gewisse Generalisierung, also diese Netze lernen schon. Wenn ich etwa sage, die Schwerkraft ist jetzt negativ – ich ändere das Vorzeichen, und dann fällt etwas, was zuvor nach unten fällt, eben nun nach oben. Oder wenn ein Modell weiß, wie man Äpfel addiert, dann kann es auch lernen, wie es Orangen addiert, weil dann Äpfel durch Orangen ersetzt werden, solche Sachen gehen schon. Aber das sind letztlich alles Aufgaben, die im Internet schon irgendwie vorhanden sind. Intelligent sind diese Modelle eben nicht.

Na ja, wir Menschen wären dann in sehr vielen Fällen auch nicht intelligent, oder? Was wir sagen oder schreiben, unser Output, basiert wesentlich doch auch auf Texten, die wir gelesen, auf Videos oder Bildern, die wir gesehen, oder Aufnahmen und Aussagen, die wir gehört haben. Ich könnte Ihnen doch auch nichts über KI erzählen, wenn ich nicht irgendwo davon gehört oder gelesen oder in anderer Form entsprechende Inhalte verarbeitet hätte – damit kommt ja niemand auf die Welt und weiß das. In uns findet doch auch ein Trainingsprozess mit unglaublich vielen Daten statt.

Es stimmt, wir machen vielfach etwas ganz Ähnliches. Aber wir Menschen können noch viel mehr. Wir verstehen Logik, wir können Sachen logisch herleiten, wir können abstrakte, formale Systeme bedienen wie Mathematik – und dies auf Sachverhalte anwenden, die wir nie zuvor gesehen haben. Die großen Sprachmodelle verstehen keine Mathematik, sie haben kein Verständnis für Logik, sie können nur wiedergeben, was sie schon einmal gesehen haben. Ein einfaches Beispiel: Stellen Sie sich ein selbstfahrendes Auto vor, das auf eine Klippe zufährt. Ihnen ist sofort klar, dass Sie diese Klippe nicht runterfallen wollen, dass Ihnen das schadet, Sie womöglich umbringt – obwohl Sie das noch nie gesehen oder erlebt haben. Eine KI kann das nicht. Sie kann nicht herleiten, dass es schlecht ist, dort herunterzufallen, und es vielleicht besser wäre, in ein Maisfeld zu fahren.

Woher wissen wir Menschen das?

Wir verstehen die Welt. Wir planen, wir können uns die Zukunft vorstellen. Ein Sprachmodell plant nicht. Es bräuchte ein Weltwissen und Weltverständnis, auf Basis dessen es Entscheidungen treffen kann. Die Modelle können wiederum mehr Wissen abspeichern und abrufen als wir Menschen, darin sind sie uns wirklich überlegen.

Und darin können sie sehr nützlich sein. Das versuchen die Techkonzerne gerade zu kommerzialisieren, weil es einfach hilfreich ist und Menschen gut unterstützen kann.

Ja, genau.

Wir Menschen verstehen Kausalität, können Ursache und Wirkung unterscheiden und zuordnen – und zwar in ganz alltäglichen Dingen, die wir häufig sogar unterbewusst erledigen. Das meinen Sie mit Weltmodell oder Weltwissen oder dem, was man den „gesunden Menschenverstand“ nennt?

Richtig. Wenn Sie die ganze Physik nehmen und die Gesetzmäßigkeiten unseres Sozialverhaltens, dann sind das Dinge, die Computer so noch nicht können und wo wir sicher noch einige Zeit benötigen, bis sie das können.

Jetzt haben wir viel darüber gesprochen, wie wir zu jener KI gekommen sind, die wir heute haben. Nun nehmen Sie für sich selbst in Anspruch, die nächste Revolution auszulösen: mit einer deutlichen Verbesserung ausgerechnet jenes LSTM-Algorithmus, über den wir vorhin sprachen. Am 7. Mai haben Sie einen entsprechenden Fachartikel veröffentlicht, darin ist von xLSTM die Rede, das steht für „Extended Long Short-Term Memory“ – und damit wollen Sie, wie Sie einmal gesagt haben, Open AI und die anderen führenden amerikanischen Modellanbieter „vom Markt fegen“.

Wir haben über die Nachteile von LSTM gesprochen gegenüber den neuesten Modellen. Die haben wir nun weitgehend reduziert. Und wir sehen in kleineren Modellen, die wir auf Basis unseres xLSTM-Ansatzes schon konstruiert haben, bessere Ergebnisse. Wir haben versucht, die Stärken der Transformer-Modelle mit den Stärken unserer früheren Idee zu kombinieren – und das scheint bisher gut zu funktionieren. Wir sind sehr zufrieden.

Konkret und für Nichtinformatiker: Was ist der Unterschied Ihres neuen Lernalgorithmus zu dem, was Open AI und Co verwenden – und was kann er besser?

Erstens ist xLSTM linear in der Kontextlänge, während der Transformer quadratisch ist. Das bedeutet beispielsweise: Wenn ein Text 1000 Wörter hat, dann braucht unser neuer xLSTM-Agorithmus 1000 Schritte, nämlich einen Schritt, um ein Element der Sequenz abzuarbeiten. Der Transformer benötigt hingegen 1000 mal 1000 Schritte, weil jedes Sequenzelement auf jedes andere Sequenzelement schaut (Attention). Genauso verhält es sich auch für längere Texte.

Zweitens?

Zweitens kann unser xLSTM komplexere Zusammenhänge erkennen als der Transformer. xLSTM hat ein Gedächtnis, das alle vergangenen Wörter kombiniert, was dann mit dem aktuellen Wort verarbeitet wird. Der Transformer kann nur das aktuelle Wort mit allen vergangenen Wörtern vergleichen, kann also nicht mehrere Wörter miteinander kombinieren. Lassen Sie mich wieder ein Beispiel geben. In der Zahlentheorie gibt es das sogenannte Parity-Problem, das in der Informatik wichtig ist. Es besteht darin, aus einer Sequenz aus Nullen und Einsen am Ende dieser Sequenz vorherzusagen, ob die Anzahl der Einsen gerade oder ungerade war, im Falle von 01001101 ist sie ersichtlich gerade, im Falle von 01011101 ist sie ungerade, im Falle von 111000111 gerade, in der Sequenz 00011001 ungerade. Für xLSTM ist diese Aufgabe ein Kinderspiel, da es sich im Gedächtnis merkt, ob die Anzahl der Einsen zurzeit gerade oder ungerade ist. Kommt eine neue Eins hinzu, dann springt das Gedächtnis von gerade auf ungerade oder eben von ungerade auf gerade. Transformer können diese Aufgabe nicht lösen, da sie kein Gedächtnis besitzen. Das hat große Auswirkungen: xLSTM kann sich die aktuelle Position merken, kann sich merken, wie viel Zeit vergangen ist, kann sich merken, welche Gegenstände man eingesteckt hat. All das kann der Transformer nicht.

Was heißt das in der Praxis?

Die Modelle sind kompetenter, und sie verbrauchen deutlich weniger Rechenleistung und damit deutlich weniger Strom. Und das ist eine immer entscheidendere Größe, denn diese riesigen Sprachmodelle sind energieintensiv und teuer – viel teurer als die Personalkosten in den allermeisten Fällen. Übrigens haben andere Forscher xLSTM zuletzt in der Bildverarbeitung erfolgreich verwendet. Sie haben in der biomedizinischen Bildsegmentation gesehen, dass xLSTM besser als der Transformer funktioniert – hier werden die Organellen von Zellen, die Gewebearten von einem Tumor, oder die Organe im Bauch segmentiert.

Sie haben ein Unternehmen namens NXAI gegründet und wollen darin ein europäisches KI-Sprachmodell entwickeln, das besser ist als die amerikanischen und die anderen europäischen, die es gibt. Wie weit sind Sie damit?

Ja, wir haben uns einiges vorgenommen. Zunächst wollen wir noch Geld einsammeln und Investoren finden, um noch größere Modelle zu trainieren und zu demonstrieren, dass unsere Idee auch dann funktioniert. Wir haben außerdem eine Abteilung aufgebaut, die sich mit dem Thema Simulationen beschäftigt und die von Johannes Brandstetter geleitet wird, den wir von Microsoft geholt haben. Da wollen wir Simulationen, die auf diskreten Elementen basieren, beschleunigen und hochskalieren, Partikelflüsse, Getreide, Kunstdünger, das kann im Maschinenbau helfen. Unsere Idee besteht darin, Foundation-Modelle zu konstruieren, die hernach mit wenigen Daten auf verschiedene Anwendungen in der Industrie angepasst werden können. Diese Ansätze waren bei Wettervorhersagen schon sehr erfolgreich. Zurück zu xLSTM: Mit xLSTM haben wir unter anderem die Robotik im Blick, da xLSTM effizienter als Transformer sind und sich somit besonders für Endgeräte oder autonome Geräte sehr gut eignen. Damit bekommen wir die Leistung der jetzigen KI-Technologien in die Maschinen, die sich schnell auf neue Aufgaben einstellen können müssen, etwa bei kleineren Stückzahlen.

Wieso besteht hierin ein Vorteil gegenüber Transformern?

Die Transformer-Modelle sind wie schon erläutert zu rechenintensiv, brauchen zu lange – das können Sie nicht auf einem autonom agierenden Roboter installieren und autonom ausführen. Von unserem xLSTM-Ansatz erhoffen wir das indes schon. Das könnte die Robotik komplett revolutionieren. Denken Sie daran, dass wir in einer Zeit leben, in der Unternehmen wie Tesla und Nvidia ausdrücklich an humanoiden Robotern arbeiten.

Wann gibt es das erste Produkt aus Ihrem Haus, das Kunden kaufen können?

Genau wissen wir das noch nicht. Die größeren Modelle wollen wir spätestens Anfang des nächsten Jahres bauen.

Die Unternehmen, die bisher die großen Sprachmodelle betreiben, das sind oft Techkonzerne, die über viele Milliarden verfügen. Wie können Sie da mithalten, wie viel Geld benötigen Sie?

Dafür benötigen wir die Investoren. Wir kaufen für das eingeworbene Kapital tatsächlich vor allem Rechenleistung ein . . .

. . . bei einem amerikanischen Hyperscaler . . .

. . . ja.

Wollen Sie perspektivisch allein bleiben oder irgendwann auch einen Partner wie Microsoft an Bord holen – wie das Open AI gemacht hat oder machen musste, um voranzukommen?

Ich kann mir gut vorstellen, dass da amerikanische Konzerne einsteigen, genauso, wie ich mir vorstellen kann und wünsche, dass da deutsche Unternehmen mitmachen. Keiner von denen wird allerdings das Sagen haben. Wir wollen ein europäisches Unternehmen sein und bleiben.

Braucht es ein deutsches oder zumindest ein europäisches Sprachmodell, das wettbewerbsfähig ist, um in dieser wichtigen Technologie souverän zu sein?

Ja, das sehe ich so. Und ich möchte hier auch noch unterscheiden: Reden wir von einem Transformer-Modell, also von einer Technologie, die Google patentiert hat, auf dem europäische Daten trainiert werden? Oder reden wir von einem Lernalgorithmus, der ebenfalls europäisch ist? Und dann geht es natürlich um die verwendeten Daten: Sind das nur amerikanische, in denen implizit amerikanische Moralvorstellungen enthalten sind? Unbedingt müssen wir diese Technologie hier in Europa wirklich verstehen – und das bedeutet, dass wir sie auch selbst bauen können und nicht nur von außen hereinholen müssen.

Einige durchaus renommierte Fachleute warnen inzwischen vor schlimmsten Folgen von KI und vergleichen das mitunter mit Nuklearwaffen. Sind die teilweise übergeschnappt?

Wie diese Modelle die Menschheit ausrotten sollen, da sehe ich nicht, wie das gehen sollte. Es liegt an der Gesellschaft, diese Technologie vernünftig einzusetzen, weil sie sehr viel Gutes bewirken kann. Sorge bereitet mir, dass Menschen durch KI noch mehr in irgendwelchen Blasen eingelullt werden in den sozialen Medien und immer nur Mitteilungen oder Nachrichten weitergeben, die jene Vorurteile bestärken, die sie mit sich herumschleppen. Wenn KI die Menschen von der Realität abkoppelt, wäre das sehr gefährlich. Aber das ist eine andere Gefahr als die, die von einer Atombombe ausgeht.

Herr Professor Hochreiter, zum Abschluss habe ich auch noch eine spekulative Frage: Was braucht es, um den Computer wirklich dem Gehirn anzunähern?

Noch eine ganze Menge. Ein erster Schritt wäre es beispielsweise, wenn wir KI-Systeme hätten, die aus ganz wenigen Beispielen lernen könnten – so, wie wir ja auch nicht Tausende Bilder von einem Elefanten ansehen müssen, um zu verstehen, was ein Elefant ist. Unsere Kinder können, auch wenn sie das in der Praxis nicht machen, ihre Zimmer aufräumen; eine Maschine kann das bis heute nicht. Und über Kausalität und logisches Schließen haben wir schon gesprochen.

Das Gespräch führte Alexander Armbruster.