Follow

@gisiger

Die kurze Antwort: ja die Ähnlichkeit ist nicht zufällig. Wir beobachten hier "emergent behaviour" das aus den strukturellen Grundlagen der Aufgabe als Nebenprodukt des Lernens spontan entsteht.

Diese Emergenz - also Fähigkeiten die nicht einprogrammiert worden sind sind nun mehrfach für die größten Modelle belegt, da scheint es eine Schwelle zu geben, in kleineren Modellen ist das nicht zu finden. Eine der letzten Arbeiten beschreibt "Theory of Mind" Verhalten, also die Fähigkeit den inneren Zustand eines Anderen in Betracht zu ziehen auch wenn der Zustand nicht direkt beobachtete werden kann.

arxiv.org/abs/2302.02083

Ich würde das so interpretieren dass solches Verhalten ein Grundprinzip der Pragmatik (im linguistischen Sinn) widerspiegelt, nämlich Dialogkontext _implizit_ zu erfassen.

Andere Fähigkeiten die aufgefallen sind, sind Abstraktionsfähigkeiten, die Auflösung mehrdeutiger Referenzen im Satzbau, und Analogieschlüsse.