stefanostaccone

(e la centralizzazione non è neutrale)

Spesso si parla delle IA come se fossero entità astratte. Alcuni utilizzatori invece le umanizzano, chiamando il proprio assistente con nomi divertenti. Spesso in definitiva l'utilizzatore scrive il prompt, preme invio e ottiene quello che vuole, fine.

Quello che i più ignorano è che quella risposta è il risultato di una catena fisica: server, rete, alimentazione, raffreddamento, sistemi ridondanti. Un elemento aggiunto alla catena, ancora più ignorato, ma il cui uso è estremamente impattante e l'uso delle acque dolci. Se guardiamo la realtà per quella che è, emerge la verità nuda e cruda: l'IA non è una semplice tecnologia informatica ma una catena industriale che ha un impatto materiale devastante incorporato nella sua architettura.

Nel mio percorso lavorativo passato e attuale (non per flexare, ma per dare contesto, ho un dottorato in ingegneria meccanica, specializzazione energia e ambiente), è capitato di ricevere richieste di progettazione di componenti meccanici per sistemi di raffreddamento di datacenter dedicati a carichi IA. Quello che già è noto dall'esterno diventa ancora più chiaro quando si è un addetto ai lavori. Nel corso del tempo gli impianti sono diventati sempre più grandi, con richieste energetiche da gestire sempre maggiori. La crescita dell'IA si traduce in maniera diretta e concreta in diversi punti tutti con comune denominatore: i componenti aumentano di taglia, le portate crescono, i sistemi aumentano di ridondanza, la manutenzione più critica. Questo perché la crescente densità di potenza da gestire e la richiesta di uptime (tempo in cui l'apparato resta ininterrottamente acceso) non lasciano alternative.

La crescita infrastrutturale con cui ho introdotto l'argomento non è un semplice dettaglio da addetti ai lavori, ma è esattamente il cuore della questione etica. Mentre si discute di bias (pregiudizi generati lato dati e addestramento) e allucinazioni (risposte dell'IA che sembrano plausibili ma sono del tutto errate), si sta ignorando quello che a mio avviso è il nodo cruciale del sistema che lega ogni problema accennato: centralizzazione dei dati e del calcolo.

La conseguenza diretta è che come effetti collaterali, oltre alle problematiche energetiche strutturali, si è normalizzata la cessione di dati e know how (tecnico, artistico) come se fosse il prezzo inevitabile da pagare, con la promessa del miglioramento della nostra vita.

C'è da dire che sono stati bravi a farci ingoiare la pillola, e noi l'abbiamo mandata giù troppo facilmente. Generalizzando, abbiamo accettato che per usare l'IA dobbiamo consegnare contenuti, processi, documenti, conversazioni, competenze, foto, immagini, arte, a piattaforme terze senza alcun consenso informato reale, e senza controllo effettivo su conservazione dei nostri dati e riuso. E se ci opponiamo, alla fine con il web scraping ottengono comunque dati senza consenso.

Se vogliamo (e mi chiedo, la vogliamo?) un'IA che sia compatibile con una società libera, con privacy e limiti fisici, dobbiamo parlare di infrastrutture alternative. Anche qui, la parola chiave è sempre la stessa: decentralizzazione.

Questo è il primo articolo dove scrivo quello che so sul tema, andando a analizzare il costo energetico dell'IA, il costo dell'infrastruttura (il cui impatto sul mercato dei componenti per pc non è trascurabile), il ruolo del raffreddamento e il tema dell'acqua, il movimento dei dati come costo energetico e rischio per la privacy.

Primo costo: il calcolo

Questo è il costo che probabilmente tutti riescono facilmente a immaginare. Usando però terminologie più specifiche, il training delle IA (addestramento con dati, anche i nostri) e l'inference (utilizzo dei dati attraverso un modello che trae conclusioni) richiedono una potenza sempre maggiore. Il training non si ripete tutti i giorni, quindi si sostiene un costo una tantum, un evento in sostanza. Il suo costo però è enorme. L'inference ha un costo per singola richiesta. E' definibile basso, ma continuo, cumulativo e scalabile. Si hanno miliardi di richieste giornaliere.

Questi concetti ci sembrano estremamente nuovi, in realtà la teoria è ben conosciuta da molti anni. Quello che è necessario sottolineare è che l'informazione digitale non è astratta quando la manipoli nel mondo reale. R. Landauer (1) mette un punto fondamentale: il calcolo non è gratis dal punto di vista fisico. In sintesi, Landauer mostra che: – finché un’operazione logica è reversibile (in principio), può essere eseguita senza un minimo obbligatorio di dissipazione; – quando invece un’operazione è logicamene irreversibile (tipicamente: cancellare o “resettare” un bit, cioè comprimere molti stati possibili in uno solo), allora si perde informazione sullo stato precedente; – questa perdita di informazione implica, per i principi della termodinamica/statistica, una dissipazione minima di calore nell’ambiente: almeno Q≥k B T ln2 per ogni bit cancellato.

Semplificando il discorso, in pratica: il limite non dice quanta energia consumano i computer di oggi (che stanno molto sopra), ma stabilisce un limite fisico inferiore e collega in modo rigoroso informazione ↔ entropia ↔ calore. È uno dei pilastri concettuali di tutta la “termodinamica dell’informazione”.

Secondo costo: il raffreddamento (e l'acqua dolce)

Abbiamo appena collegato il calcolo con la produzione di calore. Questo significa che dal punto di vista impiantistico è necessario raffreddare i sistemi. Se i sistemi crescono, gli impianti aumentano e più calore significa più gestione termica. Il raffreddamento è la parte meno interessante per i non addetti ai lavori, ma è quella che decide la scalabilità. Per dare dei numeri, è sufficiente pensare che attualmente se una GPU consuma 500 watt, è necessario smaltire per effetto joule la stessa quantità di calore. A questo va aggiunto il consumo di CPU, RAM, storage, alimentatori, ventole, pompe. Il risultato pratico per chi progetta è spesso una direzione univoca: impianti più grandi e robusti, componentistica dimensionata per portate e condizioni più spinte.

Il costo mascherato di tutto questo, oltre al conto energetico, è proprio legato al fatto che il raffreddamento implica il consumo di acqua dolce, direttamente o indirettamente. Non tutti i datacenter sono uguali, quindi i consumi di acqua possono variare, ma basta esaminare dove i più grandi sono costruiti e subito si capisce che l'acqua dolce è fondamentale e che le condizioni climatiche migliorano le performance dei sistemi di raffreddamento.

Per chi fosse interessato anche ai numeri, uno studio molto citato che ricostruisce in modo critico le stime globali dei consumi energetici dei data center è quello di Masanet et al. (2). Sul tema specifico dell’IA e acqua, negli ultimi anni ha fatto discutere Ren et al. (3), che prova a rendere visibile un costo che spesso non compare nel “conto economico” dell’utente finale. Gli studi sono di qualche anno fa e la situazione ad oggi è senz'altro peggiorata.

Non voglio però spaventare, ma responsabilizzare. Quando una tecnologia cresce e richiede più energia e più raffreddamento, non si può nascondere la cosa come se fosse un semplice dettaglio tecnico. E' un vincolo fisico che influenza i costi, localizzazione degli impianti e impatti ambientali decisamente non trascurabili.

Terzo costo: movimento dei dati

L'attuale modello dominante di oggi è semplice. Che sia da pc o da applicazioni, si raccolgono i dati/richieste, vengono mandati a un cloud, si ottiene un output. Per l'utilizzatore è apparentemente molto comodo e dal punto di vista per economia di scala è potente. Questo però ha due conseguenze inevitabili. Prima conseguenza: lo spostamento dei dati consuma energia e richiede una specifica infrastruttura. Non è il semplice viaggio di un pacchetto, ma usando termini tecnici e semplificandone in maniera estrema il significato, abbiamo: – ingest (processo che l'ia usa per analizzare e capire i nostri dati); – storage (non semplici hdd, ma sistemi complessi per immagazzinare l'immensa mole di dati gestiti in maniera estremamente veloce); – replicazione (copia degli stessi dati in più posti per sicurezza o velocità); – caching (memorizzazione temporanea in aree di memoria per accesso più rapido); – logging (registrazione di attività, eventi e accessi) – retrieval (recupero dei dati quando servono). Il movimento dei dati è energia travestita da software. Più l'IA è centralizzata, più quel movimento diventa parte strutturale del sistema. Seconda conseguenza: se i dati escono dai nostri sistemi, la privacy non è una proprietà ma solo una promessa (non mantenuta). Abbiamo normalizzato la cessione dei dati. Che siano documenti, codice, progetti, processi aziendali, know how, conversazioni personali, immagini, disegni, musica, arte in generale. Spesso li abbiamo caricati per comodità, divertimento, o necessità lavorative perché “altrimenti non funziona”. L'abbiamo fatto senza consapevolezza di cosa viene registrato, per quanto tempo, chi lo vede, come viene utilizzato, se viene riutilizzato per scopi terzi, se diventa training data, se diventa metadato. L'architettura centralizzata crea un incentivo per il sistema, quindi i dati diventano il suo carburante. Il carburante è prezioso, quindi qualcuno lo accumula. Se qualcuno lo accumula, qualcuno accumula potere. Per questo motivo la decentralizzazione non è un capriccio ma è una risposta razionale se vogliamo ridurre l'impatto energetico, proteggere la nostra privacy e know how, e evitare di restare intrappolati e dipendenti da questi sistemi.

Quarto costo: infrastruttura e componenti (e il mercato retail che resta a secco)

L’IA centralizzata non richiede solo energia e acqua: richiede hardware, in grandi quantità e con cicli rapidi. Si pensa che la vita utile di un datacenter sia inferiore a 5 anni, e che il loro costo in funzione della vita utile non permetterà mai di rientrare nell'investimento (questo apre il discorso della “bolla” ma non ne parlerò qui). Quando una parte crescente della produzione di componenti ad alte prestazioni viene assorbita dai data center, succedono tre cose: – Se la domanda industriale cresce più velocemente della capacità produttiva, qualcuno resta senza componenti. Chi ci rimette quindi è il mercato retail che ha meno potere contrattuale rispetto ai grandi acquirenti. – Ammesso che la catena di fornitura regga, la pressione sulla domanda sposta prezzi e disponibilità/priorità. L'utente consumer se ne accorge subito: componenti più costosi, hw di qualità destinato altrove. Pensiamo a Crucial che proprio in questi giorni ha deciso di non vendere più RAM al mercato consumer per girare tutto verso l'uso sulle IA. – Se l'accesso al computer diventa un problema di capitale e di contratti, allora stiamo pagando non solo maggiori costi sui componenti, ma stiamo delegando la capacità di sperimentare e innovare a una minoranza di attori. Questo è un problema sia di concorrenza che di libertà tecnologica.

La centralizzazione non prende solo i dati, prende anche una parte crescente del diritto di calcolare.

Decentralizzare è un obiettivo tecnico e morale

Si parla spesso di IA come fosse un oggetto immateriale e neutrale. Non lo è e qui ho voluto mostrare che ha un corpo composto da energia, raffreddamento, acqua, infrastruttura. Ha una direzione politica incorporata: centralizzare dati e calcolo. Questo impatta negativamente sull'ambiente, sulla nostra privacy, sul nostro potere tecnologico. Se vogliamo un'IA compatibile con la privacy e con i limiti fisici del mondo reale dobbiamo smettere di pensare all'IA come fossimo destinati inevitabilmente a subirla, ma trattarla come un'opzione. Se e dove ne abbiamo bisogno, dobbiamo progettare un futuro dove l'IA è più distribuita, locale e misurabile.

1 – Landauer, R. (1961). Irreversibility and Heat Generation in the Computing Process. IBM Journal of Research and Development. 2 – Masanet, E., et al. (2020). Recalibrating global data center energy-use estimates. Science. DOI: https://doi.org/10.1126/science.aba3758 3 – Ren, S., et al. (2023). Making AI Less “Thirsty”: Uncovering and Addressing the Secret Water Footprint of AI Models. arXiv. Link: https://arxiv.org/abs/2304.03271 4 – Shehabi, A., et al. (2016). United States Data Center Energy Usage Report. LBNL. PDF: https://eta.lbl.gov/publications/united-states-data-center-energy 5 – Parrondo, J. M. R., Horowitz, J. M., Sagawa, T. (2015). Thermodynamics of information. Nature Physics. DOI: https://doi.org/10.1038/nphys3230