Ma come si fa a fare ricerche di questo genere?
Hanno valutato le performance dei LLMs attraverso test psicologici elaborati nell’ambito della Theory of Mind (ToM). Non è la prima volta che vengono somministrati test psicologici a una macchina per ricavarne conclusioni infondate. Qui siamo proprio all’assurdo. La ToM non è la Bibbia e nemmeno un teorema di meccanica razionale. È una teoria cognitivista non condivisa da tutti, nemmeno tra i cognitivisti stessi. Ma soprattutto, valutare le performance dei LLMs attraverso le teorie cognitiviste che prendono a modello il funzionamento dei computer per spiegare i processi di pensiero umani è una piena e assurda tautologia. Una barzelletta!
La ricerca, manco a dirlo, è stata fatta nei laboratori Google. Se la cantano e se la suonano.
Link alla ricerca: https://arxiv.org/abs/2405.18870
@Gert Va considerato che la ToM è ampiamente riconosciuta come uno degli strumenti migliori per valutare la comprensione delle dinamiche sociali e delle interazioni umane nonostante le sue limitazioni.
L'obiettivo di Google potrebbe essere cercare di capire meglio l'efficienza dei modelli nelle loro interazioni con le persone per migliorare le loro capacità conversazionali.