Sepp Hochreiter ist Vorreiter. "Ja, vermutlich bin ich ein Pionier", lacht er auf – "aber keine Vaterfigur." Das ihm gerne zugeschriebene Kind heißt künstliche Intelligenz, und wie immer sich die Beziehung der beiden auch nennen mag: Intim ist sie jedenfalls.
Als der gebürtige Bayer Anfang der 1990er-Jahre begann, sich mit der Funktionsweise sogenannter "dynamischer neuronaler Netze" auseinanderzusetzen, hatte außer ihm kaum jemand Interesse daran. Hochreiter, studierter Informatiker und Mathematiker, blieb unbeirrt, schrieb eine Diplomarbeit zum Thema und formulierte erstmals die Idee eines neuronalen Langzeitspeichers. Heute gilt der 56-jährige Dreifachvater als Wegbereiter einer Technologie, die sich "Long short-term memory (LSTM)", also "langes Kurzzeitgedächtnis", nennt. Zu finden ist sie in vielen populären Produkten. Google setzte sie für die Spracherkennung am Smartphone oder den Dolmetscher Google Translate ein. Apple griff bei Siri früh auf LSTM zurück, Amazon bei Alexa.
Warum das dieser Tage außergewöhnlich relevant ist? Nun, zu tun hat das mit einem Ereignis im November 2022. Und der Entscheidung des Unternehmens OpenAI, den Chatbot ChatGPT, Meister der plausiblen, aber faktisch fragwürdigen Antwort, frei zugänglich zu machen. Fundament der Anwendung ist mit GPT ein Sprachlernmodell, das auf Sepp Hochreiters LSTM zurückgeht.
ChatGPT schlug ein, wie es kaum jemand erwartet hätte. Binnen Tagen verwendeten Millionen Menschen das Programm. Dieses löste Begeisterung oder Entsetzen und jedenfalls ein Wettrennen der IT-Riesen aus. Google, Meta, Baidu, Microsoft – sie alle übertreffen sich seitdem mit Ankündigungen, Anwendungen auf Basis künstlicher Intelligenz zu veröffentlichen.
"Jetzt haben wir aber keine Chance mehr"
"Im Grunde ist die Technologie hinter ChatGPT trivial", sagt Sepp Hochreiter. An der Johannes-Kepler-Uni Linz leitet er heute das Institut für Machine Learning. Dass ChatGPT kommt, wusste man dort bereits "vor zwei Jahren". Auch weil OpenAI selbst bei Hochreiter regelmäßig vorstellig wurde.
"Die ersten Sprachlernmodelle von OpenAI haben wir nachgebaut und sogar verbessert", erinnert sich Hochreiter. "Jetzt haben wir aber keine Chance mehr. Wir haben einfach nicht diese Rechen- und Datenpower. OpenAI hat das extrem skaliert." Während "sehr gute Datenbanken" also das Rückgrat des Chatbots bilden, sei, dessen "Fähigkeit zu kombinieren", das wirklich Intelligente, erklärt Hochreiter. Und schränkt dann schnell ein: "Aber diese Chatbots können nicht logisch denken. Sie geben immer nur die wahrscheinlichste Antwort."
Hochreiters Lieblingsbeispiel ist die Frage nach dem regierenden Fußballweltmeister. "Brasilien" spuckt ChatGPT selbstbewusst und falsch aus. Weil es dazu kein Faktenwissen hat – dieses reicht nur bis ins Jahr 2021 –, wird eben die "wahrscheinlichste" Variante, der Rekordweltmeister, ausgewählt.
Deswegen glaubt der auf einem bayrischen Bauernhof aufgewachsene Forscher mit Faible für Schach auch nicht daran, dass derlei Programme zurzeit so etwas wie ein Bewusstsein entwickeln. "Bewusstsein lebt in der Zeit, ChatGPT aber weiß nicht, was eine Sekunde vorher geschehen ist. Es weiß nichts von einer Welt hinter den Zeichen", sagt Sepp Hochreiter.
Wo die Entwicklung von künstlicher Intelligenz grosso modo stehe? "Ich weiß nicht, wie weit es noch gehen kann", sagt der, der das Segment so gut wie kaum ein anderer kennt. "Aber mich erinnert es an die Einführung des Commodore 64. An die Zeit der ersten Heimcomputer, die auch noch kaum jemand verwenden konnte."