L’intelligenza artificiale (AI) è ampiamente riconosciuta per la sua capacità di analizzare e sintetizzare informazioni da una moltitudine di materiali sia letterari che visivi. Sebbene il suo potenziale di creazione sia vasto, i contenuti generati dall’intelligenza artificiale hanno causato frustrazione negli esseri umani poiché spesso contengono stranezze e imprecisioni (che in alcuni casi sono roba da commedia). Chi non ha riso di un’immagine con troppe mani o un volto vagamente umano ma inquietantemente sbagliato?
Ora sembra che le capacità predittive dell’intelligenza artificiale stiano aumentando e forse superando l’intuizione umana, almeno nel prevedere i risultati della ricerca neuroscientifica. Questa è stata la conclusione di uno studio pubblicato la scorsa settimana su Natura Comportamento Umano in cui Ken Luo, PhD, e il suo team presso l’University College di Londra (UCL), hanno studiato le capacità predittive dei modelli linguistici di grandi dimensioni (LLM). Il loro rapporto è intitolato: “I grandi modelli linguistici superano gli esperti umani nel prevedere i risultati delle neuroscienze.”
Il team dell’UCL ha sviluppato uno strumento chiamato BrainBench per valutare la capacità degli LLM di prevedere i risultati delle neuroscienze. Gli autori hanno presentato a BrainBench coppie di abstract di neuroscienze che includevano background, metodi e risultati. In ciascuna coppia, un abstract era reale, mentre l’altro era plausibile–ma alla fine falso–risultati. BrainBench ha valutato 15 LLM e 171 neuroscienziati umani a cui è stato assegnato il compito di identificare l’abstract corretto in ciascuna coppia.
“Dall’avvento dell’intelligenza artificiale generativa come ChatGPT, gran parte della ricerca si è concentrata sulle capacità di risposta alle domande degli LLM, dimostrando la loro straordinaria abilità nel riassumere la conoscenza da ampi dati di formazione. Tuttavia, invece di enfatizzare la loro capacità di recuperare informazioni passate, abbiamo esplorato se gli LLM potessero sintetizzare la conoscenza per prevedere i risultati futuri”, ha affermato Luo.
“Il nostro lavoro indaga se gli LLM possono identificare modelli in vasti testi scientifici e prevedere i risultati degli esperimenti”, ha spiegato Luo. “Il progresso scientifico spesso si basa su tentativi ed errori, ma ogni esperimento meticoloso richiede tempo e risorse. Anche i ricercatori più esperti potrebbero trascurare gli spunti critici della letteratura”.
Nella competizione tra l’intelligenza artificiale e gli esseri umani, l’intelligenza artificiale era la vincitore. Gli LLM hanno registrato una precisione media dell’81% rispetto al 63% degli esperti umani. Quando il gruppo umano è stato limitato al più alto grado di competenza autodichiarata per dominio, la precisione è aumentata solo al 66%. Gli LLM hanno riferito maggiore fiducia nelle loro decisioni, che avevano maggiori probabilità di essere corrette rispetto ai partecipanti umani allo studio.
“Ciò che è notevole è quanto bene gli LLM possano prevedere la letteratura sulle neuroscienze. Questo successo suggerisce che gran parte della scienza non è veramente nuova ma è conforme ai modelli di risultati esistenti in letteratura. Ci chiediamo se gli scienziati siano sufficientemente innovativi ed esplorativi”, ha commentato l’autore senior dello studio, Bradley Love, PhD, professore alla UCL.
I ricercatori hanno adattato e addestrato una versione di un LLM open source, Mistral, sulla letteratura neuroscientifica, denominata BrainGPT. Quando è stato sottoposto agli stessi test di BrainBench, BrainGPT ha previsto risultati astratti corretti con un’accuratezza dell’86%, rispetto all’accuratezza dell’83% nella versione non addestrata di Mistral.
Il futuro della ricerca e, di fatto, della vita quotidiana dell’umanità sembra comportare l’integrazione dell’intelligenza artificiale. Questo studio mostra l’utilità dell’intelligenza artificiale nel prevedere i risultati degli studi, ma non è infallibile e dovrebbe essere utilizzata come strumento per assistere i ricercatori, non come sostituto dei ricercatori umani.
“Immaginiamo un futuro in cui i ricercatori possano inserire i progetti di esperimenti proposti e i risultati attesi, con l’intelligenza artificiale che offre previsioni sulla probabilità di vari risultati”, ha affermato Luo. “Ciò consentirebbe un’iterazione più rapida e un processo decisionale più informato nella progettazione dell’esperimento”.