Se l’emersione dell’AI generativa vi ha lasciati sgomenti sappiate che non avete, non abbiamo ancora visto niente. Il genio è uscito dalla lampada, e sarà difficile che ci rientri. Anzi. La corsa è più sfrenata che mai, e ci sono sei progetti in lizza per creare modelli AI che vanno oltre i 2 trilioni di parametri. Sì, avete letto bene: trilioni.
I titani dell’AI con 2 trilioni di parametri
I sei grandi progetti che competono per il traguardo dei 2 trilioni di parametri sono OpenAI, Anthropic, Google/Deepmind, Meta, un progetto del governo britannico e uno ancora segreto. Ed è una gara “mortale”: per stare al passo servono risorse economiche. Tante. Tra 1 e 2 miliardi di dollari all’anno, per aggiornare costantemente l’hardware (sempre più vorace di calcoli ed energie), assumere centinaia di specialisti e trattenere i migliori membri del team con stipendi milionari e stock options.
GPT-5: il ritorno del Re
Dopo aver preso in contropiede mezzo mondo, tirato un missile a Google e incassato un mucchio di soldi da Microsoft, OpenAI ha già in cantiere il colpo del possibile KO. Quello che potrebbe assicurare all’azienda di Sam Altman la supremazia. GPT-5 sarà completato entro la fine del 2023 e rilasciato a inizio 2024, con un numero di parametri tra i 2 e i 5 trilioni.
Non siamo in grado, al momento, di immaginare le sue capacità.
Claude-Next: Anthropic e il suo ambizioso progetto
Anthropic, il team fondato da ex dipendenti di OpenAI, sta lavorando su un modello chiamato Claude-Next, che punta a essere 10 volte più potente delle AI attuali. Con un finanziamento già ottenuto di 1 miliardo di dollari e altri 5 in arrivo, Anthropic prevede di raggiungere i suoi obiettivi nel corso dei prossimi 18 mesi.
Il loro modello di punta richiederà 10^25 FLOPs, con l’uso di cluster composti da decine di migliaia di GPU. Tra i finanziatori di Anthropic c’è proprio Google, che gioca su più tavoli.
Gemini: Google in cerca di riscatto con Deepmind
Google e Deepmind stanno collaborando per sviluppare un concorrente di GPT-4 chiamato Gemini. Il progetto è iniziato di recente, dopo che Bard ha mostrato di non riuscire a competere con ChatGPT. Gemini sarà un grande modello linguistico con trilioni di parametri, simile a GPT-4 o GPT-5, e utilizzerà decine di migliaia di chip TPU AI di Google per l’addestramento. Non si sa ancora se sarà multimodale.
Deepmind ha anche sviluppato il chatbot basato sul web Sparrow, ottimizzato per la sicurezza e simile a ChatGPT. I ricercatori di DeepMind hanno scoperto che le citazioni di Sparrow sono utili e accurate nel 78% dei casi. Un altro modello di punta di DeepMind è Chinchilla, addestrato su 1,4 trilioni di parametri.
I parametri di un futuro impensabile
Se volete farvi un’idea di cosa significhino 2 trilioni di parametri, sappiate che la stima della quantità totale di dati testuali usabili al mondo sia compresa tra 4,6 trilioni e 17,2 trilioni di parametri.
Tutti i libri, gli articoli scientifici, le notizie, l’intera Wikipedia, il codice pubblicamente disponibile e gran parte del resto di Internet, filtrato per qualità. Lo scibile umano digitale.
Man mano che arriveranno modelli più grandi, emergeranno nuove capacità. Nei prossimi 6 anni, ci saranno miglioramenti nella potenza di calcolo e negli algoritmi per scalare i modelli di mille volte, anzi molto di più.
Il CEO di Nvidia ha previsto modelli IA un milione di volte più potenti di ChatGPT entro 10 anni.
Riuscite a immaginare cosa faranno con noi, cosa faranno al pianeta queste intelligenze artificiali? Pensateci rapidamente. Ormai ci siamo.
