Endlich habe ich auch über #ChatGPT und Sprachmodelle gebloggt. Allerdings geht es in diesem Beitrag nicht darum, wie diese #KI eigentlich funktionieren, wie man sie richtig einsetzt oder warum sie per se fehlerbehaftet sind.

Vielmehr werfe ich im Beitrag angesichts der Geschehnisse rund um Sydney von Microsoft eine philosophische Frage auf, was das alles für uns Menschen bedeuten könnte.

paper.wf/gisiger/chatgpt-eine-

#PromptEngineering #PromptInjection #SocialEngineering
#FediLZ

Follow

@gisiger

Die kurze Antwort: ja die Ähnlichkeit ist nicht zufällig. Wir beobachten hier "emergent behaviour" das aus den strukturellen Grundlagen der Aufgabe als Nebenprodukt des Lernens spontan entsteht.

Diese Emergenz - also Fähigkeiten die nicht einprogrammiert worden sind sind nun mehrfach für die größten Modelle belegt, da scheint es eine Schwelle zu geben, in kleineren Modellen ist das nicht zu finden. Eine der letzten Arbeiten beschreibt "Theory of Mind" Verhalten, also die Fähigkeit den inneren Zustand eines Anderen in Betracht zu ziehen auch wenn der Zustand nicht direkt beobachtete werden kann.

arxiv.org/abs/2302.02083

Ich würde das so interpretieren dass solches Verhalten ein Grundprinzip der Pragmatik (im linguistischen Sinn) widerspiegelt, nämlich Dialogkontext _implizit_ zu erfassen.

Andere Fähigkeiten die aufgefallen sind, sind Abstraktionsfähigkeiten, die Auflösung mehrdeutiger Referenzen im Satzbau, und Analogieschlüsse.

Theory of Mind May Have Spontaneously Emerged in Large Language Models

Theory of mind (ToM), or the ability to impute unobservable mental states to others, is central to human social interactions, communication, empathy, self-consciousness, and morality. We tested several language models using 40 classic false-belief tasks widely used to test ToM in humans. The models published before 2020 showed virtually no ability to solve ToM tasks. Yet, the first version of GPT-3 ("davinci-001"), published in May 2020, solved about 40% of false-belief tasks-performance comparable with 3.5-year-old children. Its second version ("davinci-002"; January 2022) solved 70% of false-belief tasks, performance comparable with six-year-olds. Its most recent version, GPT-3.5 ("davinci-003"; November 2022), solved 90% of false-belief tasks, at the level of seven-year-olds. GPT-4 published in March 2023 solved nearly all the tasks (95%). These findings suggest that ToM-like ability (thus far considered to be uniquely human) may have spontaneously emerged as a byproduct of language models' improving language skills.

arxiv.org

@boris_steipe Vielen Dank für die „kurze“ Antwort 😅 Ich muss mich da mal einlesen, auch wenn ich mich damit auf dünnes Eis begebe. In dem Thema dilettiere ich vor mich hin. Aber ich werde sicher ein Follow-up verfassen.

Sign in to participate in the conversation
Qoto Mastodon

QOTO: Question Others to Teach Ourselves
An inclusive, Academic Freedom, instance
All cultures welcome.
Hate speech and harassment strictly forbidden.