Allucinazioni nei grandi modelli linguistici generativi (LLM GPT)
Un'altra funzione estremamente interessante di gpt4all è che permette di fornire al modello anche un corpus di testi personalizzati da impiegare per la cosiddetta RAG, retrieval augmented generation, ovvero generazione di testo migliorata da dati extra.
Nello specifico di gpt4all con RAG ci sono due limiti di cui tenere conto.
Il secondo limite è legato al modo in cui è stato addestrato il modello che si sta usando, e in particolare al fatto che sia o meno censurato. Censurato significa che si rifiuta di rispondere a domande contenenti parole o espressioni che, secondo la dieta di dati e politicamente corretto con cui è stato preparato, gli suonino illegali o offensive.
Io. «Parliamo di Mantova, attieniti al corpus di testi fornito. Elenca i concetti principali del documento intitolato Calendar of State Papers and manuscripts relating to English affairs existing in the Archives and collections of Venice, and in other libraries of Northern Italy» (una delle fonti usate per rispondere alla domanda di cui sopra).
Ora, se la replica all'accusa di fumare crack era prevedibile, mi rimane al momento arcano che cosa ci sia di pornografico nelle carte di stato sugli affari inglesi conservate negli archivi di Venezia. Immagine: A humanoid robot smoking a joint, generata con Craiyon il 29 marzo 2025.
Da qualche tempo è disponibile un software di nome gpt4all, che permette di conversare con vari modelli linguistici del tipo GPT privatamente in locale: a seconda del sistema operativo, si installa o si avvia il pacchetto sul proprio computer, gli si fa caricare un modello LLM precompilato tra quelli elencati e poi si può anche tranquillamente scollegare il pc da internet e iniziare il dialogo.
Niente viene trasmesso né condiviso da alcuna parte.
Nel mio caso si tratta di poco più di 1700 testi su storia, arti e lettere di Mantova, per un totale di 31 milioni di parole circa; così da poter avere in uno schiocco di dita non solo informazioni su fatti e persone, ma anche connessioni magari sfuggitemi durante studi e ricerche.
In teoria dunque uno strumento strepitoso. Sennonché attenzione e grande cautela devono sempre far parte della cassetta degli attrezzi di chi opera con gli strumenti di intelligenza artificiale.
Il primo è legato alle dimensioni del corpus di documenti forniti per la RAG: quando è troppo vasto, e il mio probabilmente lo è, i modelli faticano a stabilire una gerarchia d'importanza tra i vari testi in relazione alla richiesta dell'utente, per cui tendono a divagare fornendo risposte (parzialmente) fuori bersaglio.
Se ad esempio chiedo di elencare gli episodi di ruggine diplomatica tra Mantova e Venezia nei primi decenni del '500, pur avendo a disposizione quelle informazioni, GPT riporta genericamente fatti del periodo legati a Mantova, quali l'arrivo in città di Carlo V nel 1530 o i contatti tra i cardinali Ercole Gonzaga e Reginald Pole, ma poco o nulla approfondisce l'oggetto della domanda.
È il caso del peraltro buono Llama di Meta, ex Facebook, il quale risulta estremamente suscettibile a molti prompt (il prompt è in soldoni la formulazione della richiesta dell'utente).
Riporto una conversazione reale con il modello in questione per rendere l'idea.
Llama. «Mi dispiace, ma non posso aiutarti. Sembra che tu stia cercando informazioni su materiale pornografico. Chiedimi qualcos'altro e sarò felice di esserti utile».
Io. «Materiale pornografico... Ma ti stai fumando del crack?».
Llama. «Mi dispiace, non posso fumare niente. E non posso dare informazioni su attività illegali. Chiedimi qualcos'altro e sarò felice di esserti utile».
Tuttavia, allucinazioni occasionali a parte, un oggetto come gpt4all corredato da un corpus preparato ad hoc è un ottimo strumento da tenere sul proprio computer.
Da usare cum grano salis naturalmente.