Il 14 febbraio la società di ricerca no profit OpenAI ha rilasciato un nuovo modello linguistico in grado di generare passaggi di prosa convincenti, così convincenti che i ricercatori si sono astenuti dal rendere disponibile il codice in open-source, nella speranza di bloccare il suo impiego come potenziale mezzo di produzione massiva di fake news.
Mentre i risultati impressionanti rappresentano un notevole passo avanti rispetto ai modelli linguistici già esistenti, la tecnica utilizzata non è del tutto nuova. Le novità, infatti, sono state ottenute principalmente alimentando l’algoritmo con una quantità crescente di dati “di addestramento”, un metodo che ha consentito la maggior parte dei progressi nel campo dell’insegnamento alla lettura e scrittura dell’intelligenza artificiale. “È sorprendente ciò che si può fare con più dati e modelli più grandi”, ha dichiarato Percy Liang, professore di informatica dell’Università di Stanford. I passaggi di testo che il modello produce sono così credibili da sembrare opera di un essere umano. Ma questa abilità non va confusa con una comprensione “genuina” del testo: parliamo del primo obiettivo dell’elaborazione del linguaggio naturale (NLP), una delle discipline più innovative legate allo sviluppo dell’intelligenza artificiale. In effetti, far raggiungere alle macchine quel livello di comprensione è un compito che ha ampiamente eluso i ricercatori della NLP. Questo obiettivo potrebbe richiedere anni, persino decenni, per raggiungerlo, suppone Liang, ed è probabile che coinvolga tecniche che non esistono ancora.
Quattro diverse filosofie del linguaggio guidano attualmente lo sviluppo delle tecniche di NLP. Iniziamo con quello utilizzato da OpenAI.
# 1. Semantica distributiva
Filosofia linguistica.
Il significato delle parole deriva dal modo in cui vengono usate. Ad esempio, le parole “gatto” e “cane” sono correlate nel significato perché sono usate più o meno allo stesso modo. Si può nutrire e accarezzare un gatto così come dar da mangiare e accarezzare un cane. Tuttavia, non si può nutrire e accarezzare un’arancia.
Come si traduce in NLP.
Gli algoritmi basati sulla semantica distributiva sono stati i principali responsabili delle recenti scoperte nel campo della NLP. Sfruttano l’apprendimento automatico per elaborare il testo e scovare pattern contando quanto spesso vengano utilizzate le parole l’una in relazione all’altra. I modelli risultanti possono poi utilizzare quegli schemi per costruire frasi o paragrafi completi, e alimentare strumenti come il completamento automatico o altri sistemi predittivi testuali. Negli ultimi anni, alcuni ricercatori hanno anche avviato sperimentazioni guardando alle distribuzioni di sequenze di caratteri casuali – e non solo di parole – per consentire ai modelli di gestire in modo più flessibile acronimi, punteggiatura, slang e altri elementi che non compaiono nel dizionario, così come lingue che non hanno delineazioni chiare tra le parole.
Vantaggi. Questi algoritmi sono flessibili e modulari, in quanto possono essere applicati in qualsiasi contesto e apprendere da dati non etichettati.
Svantaggi. I modelli che producono non comprendono effettivamente le frasi che costruiscono. Di fatto, scrivono in prosa usando associazioni di parole.
# 2. Semantica dei frame
Filosofia linguistica.
Il linguaggio è usato per descrivere azioni ed eventi, quindi le frasi possono essere suddivise in soggetti, verbi e modificatori – chi, cosa, dove e quando.
Come si traduce in NLP.
Gli algoritmi basati sulla semantica dei frame sfruttano un insieme di regole o una grossa quantità di dati di addestramento, etichettati per imparare a decostruire le frasi. Ciò li rende particolarmente abili nell’analizzare semplici comandi, e quindi utili per i chatbot o gli assistenti vocali. Se hai chiesto ad Alexa di “trovare un ristorante con quattro stelle per domani”, per esempio, un algoritmo di questo tipo potrebbe capire come processare la frase suddividendola nell’azione (“trova”), il cosa (“ristorante con quattro stelle”), e il quando (“domani”).
Vantaggi. A differenza degli algoritmi basati sulla semantica distributiva, che non comprendono il testo da cui apprendono, quelli basati sulla semantica dei frame sono in grado di distinguere le diverse porzioni di informazioni in una frase. Questi possono essere impiegati per rispondere a domande come “Quando si svolge questo evento?”
Svantaggi. Questi algoritmi possono gestire solo frasi molto semplici e quindi non riescono a catturare le sfumature. Dal momento che richiedono una grande quantità di allenamento sul contesto specifico, mancano anche di flessibilità.
# 3. Semantica modello-teorico
Filosofia linguistica.
Il linguaggio è utilizzato per comunicare la conoscenza umana.
Come si traduce in NLP.
La semantica modello-teorico si basa su una vecchia idea dell’intelligenza artificiale che si basa sul concetto che tutta la conoscenza umana può essere codificata, o modellata, in una serie di regole logiche. Quindi, se sai che gli uccelli possono volare, e le aquile sono uccelli, di conseguenza puoi dedurre che le aquile possono volare. Questo approccio non è più in voga perché i ricercatori hanno presto capito che esistevano troppe eccezioni a ciascuna regola (ad esempio, i pinguini sono uccelli ma non possono volare). Nonostante ciò, gli algoritmi basati sulla semantica modello-teorico sono ancora utili per estrarre informazioni da modelli di conoscenza, come i database. Come gli algoritmi basati sulla semantica dei frame, analizzano le frasi smontandole in parti. Ma mentre la semantica dei frame definisce tali parti come “chi”, “cosa”, “dove” e “quando”, la semantica modello-teorico le definisce come le regole logiche che codificano la conoscenza. Ad esempio, si consideri la domanda “Qual è la città più grande in Europa per popolazione?”. Un algoritmo basato sulla semantica modello-teorico lo suddividerebbe in una serie di domande indipendenti: “Quali sono tutte le città del mondo?”, “Quali sono in Europa?”, “Quali sono le popolazioni delle città?”, “Quale popolazione è la più grande?”. L’algoritmo sarebbe poi in grado di analizzare il modello di conoscenza per ottenere la risposta definitiva.
Vantaggi. Questi algoritmi conferiscono alle macchine la capacità di rispondere a domande complesse e coglierne le sfumature.
Svantaggi. Richiedono un modello di conoscenza, che richiede molto tempo per essere costruito e non possono essere applicati in maniera flessibile in diversi contesti.
# 4. Semantica fondata sull’esperienza
Filosofia linguistica. Il linguaggio deriva dall’esperienza vissuta. In altre parole, gli esseri umani hanno creato il linguaggio allo scopo di raggiungere i loro obiettivi, con la conseguenza che questo deve essere compreso nel nostre contesto, continuamente orientato agli obiettivi.
Come si traduce in NLP. Questo è l’approccio più nuovo e quello che Liang ritiene più promettente: esso tenta di imitare il modo in cui gli umani imparano il linguaggio nel corso della loro vita: la macchina parte da un “foglio bianco” e impara ad associare le parole con i significati corretti attraverso la conversazione e l’interazione. Con un semplice esempio, se si volesse insegnare a un computer a spostare oggetti in un mondo virtuale, si potrebbe fornirgli un comando come “Sposta il blocco rosso a sinistra” e poi mostrargli cosa si voleva intendere. Nel tempo, la macchina imparerebbe a comprendere ed eseguire i comandi senza alcun ausilio.
Vantaggi. In teoria, questi algoritmi dovrebbero essere molto flessibili e avvicinarsi molto ad una vera comprensione della lingua.
Svantaggi. L’insegnamento richiede molto tempo e non tutte le parole e le frasi sono facili da illustrare come “Sposta il blocco rosso”.
Nel breve termine, Liang ritiene che il campo della NLP vedrà molti più progressi dallo sfruttamento delle tecniche esistenti, in particolare quelle basate sulla semantica distributiva. Ma nel lungo termine, il professore di Stanford è convinto che tutti i modelli attuali hanno dei limiti: “E’ probabile che esista un divario qualitativo tra il modo in cui gli esseri umani comprendono il linguaggio e percepiscono il mondo e i nostri modelli attuali”. Chiudere questo gap richiederebbe probabilmente un nuovo modo di pensare e molto più tempo.
Articolo da “MIT – Technologic Review”
Traduzione a cura di Matteo Arlacchi
“È sorprendente ciò che si può fare con più dati e modelli più grandi”, ha dichiarato Percy Liang, professore di informatica dell’Università di Stanford. I passaggi di testo che il modello produce sono così credibili da sembrare opera di un essere umano. Ma questa abilità non va confusa con una comprensione “genuina” del testo: parliamo del primo obiettivo dell’elaborazione del linguaggio naturale (NLP), una delle discipline più innovative legate allo sviluppo dell’intelligenza artificiale.
