Un tema molto interessante. Forse è il concetto stesso di informazione e di memoria che in questo contesto andrebbe ridefinito. I dati, una volta superato lo strato di input del sistema, non si sa più esattamente quali percorsi di trasformazione possano seguire. La matrice dei pesi di connessione (multidimensionale) tra le diverse unità di una rete neurale artificiale è in sé un sistema ad elevata complessità dove persino una connessione dal valore apparentemente insignificante può avere un peso decisivo nella dinamica complessiva del sistema. Anni fa provai ad applicare una procedura di "pruning" in una rete neurale per rimuovere i pesi sinaptici considerati superflui rispetto alla dinamica complessiva della rete. Il risultato fu che dopo il pruning la rete neurale non riusciva più a "rispondere correttamente" a diversi input del set di addestramento precedentemente completato.
Senza sapere come i dati sono stati trasformati e distribuiti nella matrice dei pesi è pressoché impossibile prevedere la risposta del sistema in seguito a operazioni di pruning.
La "memoria" qui non è più il record in un DB o il valore di uno specifico indirizzo di memoria ma lo stato finale globale, al tempo t, di un sistema dinamico complesso.
#ai #neuralnetwork #llm
https://www.notizie.ai/lai-non-dimentica-come-proteggere-la-privacy/