Ho interrogato l'intelligenza artificiale sui bumper pubblicitari Rai (SECONDA PARTE)

NOTA: Se vuoi leggere la prima parte, leggila QUI. Altrimenti, se hai fretta, leggi il riassunto subito qui sotto.

Riassunto della puntata precedente. Previously on Sigleitaliane

Dunque, ieri avevo testato tre IA facendo loro domande sui bumper RAI. All'inizio ero rimasto deluso da ChatGPT, parzialmente soddisfatto da Copilot e sbalordito da Mistral. Ma un piccolo esperimento fatto cinque minuti prima di andare a dormire ha fatto crollare tutte le mie certezze per un po'.

Quarto tentativo: Mistral AI again

Precisamente, ieri sera, Mistral, dopo un pomeriggio in cui mi ha descritto tutti i dettagli sui bumper Rai anni '80, alla domanda "descrivi il bumper Pennello", ha risposto in maniera totalmente confusionaria, senza citare alcuna fonte. Come è possibile, mi chiedevo? Che cosa è successo tra il pomeriggio e la sera?

La risposta è arrivata quando ho fatto a Mistral la fatidica domanda "Quali fonti hai usato?". Con mia grande sorpresa, Mistral mi dice di non aver usato fonti, ma di aver provato a descrivere il bumper a partire dalle caratteristiche dei bumper Rai in generale. Mi ha quindi chiesto se volevo approfondire con una ricerca su Internet.

A sentir dire che non aveva usato fonti, ci sono rimasto male. Voglio dire, se tu intelligenza artificiale mi parli dell'atmosfera generica dei bumper Rai, vuol dire che qualche fonte ce l'hai, altrimenti non avresti saputo nemmeno il significato della parola Rai o della parola bumper, che invece più o meno conosci, o almeno così sembra dalle risposte che mi dai. M'avresti potuto rispondere pure che un bumper Rai è "cioccolata bianca alla fermata del 492 mentre gli americani turchesi mangiano feldspato", invece mi parli di sigle pubblicitarie. Quindi qualcosa la sai. Un po' magari fai confusione, mio caro Amico Computer, ma qualcuno ti avrà insegnato qualcosa. Ma mica un intelligenza artificiale impara tutto da sola. Manco gli umani imparano da soli: qualche cosa devono leggerla, ascoltarla o vederla per imparare.

Vabbè dai, proviamo a dirgli di fare 'sta ricerca su Internet a questo Mistral. Vediamo se si riprende. Ed effettivamente Mistral si riprende istantaneamente, e la sua precisione ritorna uguale a quella di qualche ora prima: descrizioni esatte, anni di trasmissione esatte, e citazioni da siti Internet precise.

Ho intuito quindi che ci sono due modalità di risposta per le intelligenze artificiali. In una modalità, l'IA ti risponde in modo vago, tirando a indovinare, a volte sbagliando di grosso, senza cercare su Internet e senza dirti dove ha imparato quello che sta scrivendo. Nella seconda modalità, più precisa, l'IA invece ti va a cercare le informazioni su Internet, ti fornisce dettagli più corretti e ti cita pure le fonti. A volte la seconda modalità scatta in automatico, ma altre volte devi essere tu umano a dire all'IA di cercare su Internet e di mostrare le fonti.

Ma se questo era vero, allora il mio giudizio iniziale negativo su ChatGPT era stato troppo sommario, perché nella prima parte dell'indagine non avevo ancora pensato di chiedergli esplicitamente di fare una ricerca su Internet. Era quindi doveroso tentare di nuovo con ChatGPT.

Quinto tentativo: ChatGPT again

Rieccomi quindi su ChatGPT a chiedere descrizioni dei bumper Rai. La prima risposta che ottengo è ancora uno di quei testi svalvolati di cui avevo parlato nella prima parte dell'indagine. Ma a questo punto, mi faccio furbo e, memore del tentativo precedente su Mistral, chiedo a ChatGPT di cercare i dettagli su Internet.

Il risultato? ChatGPT diventa improvvisamente più preciso, inizia a sciorinare descrizioni abbastanza fedeli, anni di trasmissioni generalmente corretti e citazioni alle fonti dettagliate.

Mi sono dovuto quindi ricredere. Devo modificare il mio giudizio su ChatGPT quando descrive i bumper pubblicitari Rai. È molto meglio di quanto credevo ieri.

Tuttavia, per ora, ritengo Mistral AI ancora superiore a ChatGPT, anche perché quest'ultimo ha successivamente sbagliato una domanda a cui sia Copilot sia Mistral hanno risposto bene al primo tentativo. A nulla è servito autorizzare ChatGPT a cercare informazioni su Internet: quando gli ho chiesto quale bumper pubblicitario cambiava a seconda delle stagioni, s'è inventato una sigla Rai che non esiste e non è mai esistita: 'il famoso bumper con la "cornice stagionale"'. Se per caso sapete che cosa sia una "cornice stagionale", fatemelo sapere. Per me ha lo stesso significato della cioccolata fondente alla fermata del 163 con gli americani verdi che mangiano tungsteno. Ed è pure famoso il bumper, pare.

In più, Mistral è stata l'unica IA che ha prodotto una frase che ho incluso parola per parola in questo sito, perché ci stava benissimo. (Vedere la prima parte dell'indagine per i dettagli.)

Conclusioni

È ora di scriverle queste conclusioni, altrimenti non ne esco più. Per me, quasi tutte le cose che avevo detto ieri rimangono valide: l'IA è un arma a doppio taglio, che può produrre a volte risultati meravigliosi, a volte risultati accettabili e altre volte risultati totalmente sconclusionati. Bisogna sempre controllare se le informazioni che l'IA ti passa sono vere o no, altrimenti si rischia grosso.

Aggiungerei a questo punto che è spesso utile chiedere all'IA da dove ha preso le informazioni che ti sta sputando fuori e, se necessario, forzarla a cercare su Internet. Se per caso l'IA risponde di non aver usato fonti, le chances di ritrovarsi con roba inventata di sana pianta schizzano verso l'alto, e a quel punto dovrebbero suonare almeno mille campanelli d'allarme. Anche coi bumper Rai, SOPRATTUTTO coi bumper Rai, soprattutto se vi trovate alla fermata del 71 e state mangiando berillio insieme ad alcuni turisti americani indaco.

Enzo A24