Studie: KI-Sprachmodelle können – noch – nicht wirklich selbst lernen und denken

Keine Angst vor Maschinen oder Robotern, die wie in der Welt des Science-Fiction immer intelligenter werden, sich verselbständigen und sich die Menschheit Untertan machen. So könnte man das Ergebnis der neuen Studie der Technischen Universität Darmstadt und der University of Bath im Südwesten von England zusammenfassen.

 

Demnach führt die Skalierung von Großen Sprachmodelle (Large Language Models, kurz LLM) nicht dazu, dass diese selbst Fähigkeiten entwickeln, die ihnen nicht vorher antrainiert wurden. Denn sie sind stets auf kontextuelles Lernen angewiesen.

 

Grundlage der Forschung waren die emergenten Fähigkeiten der LLMs. Gemeint sind unvorhergesehene und plötzliche Leistungssprünge der Sprachmodelle. Bisher deutete sich laut heise online an, dass eine Skalierung zu einer besseren Leistung führt: Je größer das Modell und je mehr Daten in das Training einflossen, desto mehr sprachbasierte Aufgaben konnte es lösen. „Das weckte zum einen Hoffnungen, dass eine weitere Skalierung die Modelle noch besser machen würde. Zum anderen kam aber auch die Sorge auf, dass diese Fähigkeiten gefährlich werden könnten, da sich die LLMs quasi verselbständigen und der menschlichen Kontrolle wohlmöglich entziehen“, ließ die TU Darmstadt wissen.

 

20 Modelle aus vier Familien zeigen keine höhere Intelligenz

Für die Studie hat das deutsch-britische Team mit 20 Modellen und 22 Aufgaben in zwei Einstellungen experimentiert und die vier Modell-Familien GPT, T5, Falcon 2 und LLama eingesetzt. Dabei gingen die Wissenschaftler:innen zunächst von zwei Hypothesen aus, die sich beide bestätigten. Die eine ist, dass alle zuvor beobachteten emergenten Fähigkeiten eine Folge von kontextuellem Lernen (in-context learning, kurz ICL) sind. Die zweite Hypothese lautete, dass die emergenten oder plötzlich auftretenden Fähigkeiten anweisungsabgestimmter LLMS eher auf eine Verbesserung der Anweisungen hindeuten.

Folglich heißt es in der Studie, es gebe einen feinen, aber wichtigen Unterschied zwischen der Fähigkeit, Anweisungen zu befolgen, und der inhärenten oder innewohnenden Fähigkeit, ein Problem selbständig zu lösen. Und das sei „für die Methoden, die bei der Nutzung von LLMs eingesetzt werden, und die Probleme, die sie lösen sollen, von Bedeutung“.

 

Kein Beweis für komplexe Denkfähigkeit von KI-Sprachmodellen

Befolge die KI über einen Prompt (Eingabebefehl) Anweisungen, ohne selbst zu denken, würden die Ergebnisse zwar aufgabengerecht sein, auf einer logischen und vernünftigen Basis aber keinen Sinn ergeben. „Das spiegelt sich in dem bekannten Phänomen des ‚Halluzinierens‘ wider, bei dem das LLM flüssigen, aber sachlich falschen Output produziert“, zitiert heise online aus der Studie.

 

Weiter heißt es da: „Die Fähigkeit, Anweisungen zu befolgen, impliziert nicht, dass man über Logik-Fähigkeiten verfügt, und was noch wichtiger ist, sie impliziert nicht die Möglichkeit latenter, potenziell gefährlicher Fähigkeiten.“ Die Forschenden rechnen damit, dass ihre Ergebnisse für alle Modelle gelten, die zu „Halluzinationen“ neigen oder Prompt-Engineering erfordern. Ihrer Studie zufolge deutet sich an, dass alle bisher als emergent interpretierten Fähigkeiten eine Kombination aus kontextbasiertem Lernen, Modellgedächtnis und Sprachwissen sind, was auch den Widerspruch zwischen teils überragenden und sehr schlechten KI-Fähigkeiten erklärt.

 

Ganz auszuschließen halten sie eine Bedrohung durch künstliche Intelligenz jedoch nicht. Wie die TU-Informatikprofessorin und Co-Studienleiterin Iryna Gurevych betont, habe man aber gezeigt, dass die „angebliche Entstehung komplexer Denkfähigkeiten, die mit bestimmten Bedrohungen verbunden sind, nicht durch Beweise gestützt wird“. Das entmystifizierte Große Sprachmodell soll helfen, damit verbundene Sicherheitsbedenken zu zerstreuen und einen Rahmen für eine effizientere Nutzung schaffen. Damit wäre schon viel geholfen.

Quelle Titelbild: Pexels / Google DeepMind