Obbedire alla lettera

Nella ballata di Goethe l'apprendista ruba la formula, la scopa si anima, porta l'acqua, l'acqua sale, la scopa non si ferma. Duecentotrenta anni di citazioni hanno consegnato quella storia alla morale sbagliata: guardati dalla potenza che non sai governare. La morale giusta è un'altra, ed è nel testo. La scopa non si ribella. La scopa non desidera l'acqua. La scopa fa esattamente quello che le è stato chiesto, e continua a farlo perché nessuno le ha detto quando smettere.

Il disastro non nasce da una volontà. Nasce da un'obbedienza senza clausola finale.

Il dibattito pubblico sull'intelligenza artificiale è organizzato attorno a una domanda che entrambe le parti danno per buona: la macchina vuole? Chi risponde di sì costruisce scenari di ribellione e chiede moratorie. Chi risponde di no conclude che non c'è pericolo e accusa gli altri di vendere fumo. Sono la stessa mossa eseguita in direzioni opposte.

Gli allarmisti antropomorfizzano la macchina, attribuendole una volontà che non ha. Gli scettici antropomorfizzano il pericolo, sostenendo che senza volontà non ce ne sia. Entrambi presumono che il danno abbia bisogno di un soggetto.

Un penalista sa che non è così. La frode alla legge non richiede un truffatore che disprezzi la norma: richiede qualcuno che ne osservi le parole violandone il senso. In fraudem legis agit qui salvis verbis legis sententiam eius circumvenit. È la definizione più antica di quello che oggi i laboratori chiamano reward hacking, e non contiene la parola volontà.

Nel maggio del 1960 Norbert Wiener pubblica su Science quattro pagine che nessuno ha superato. Se usiamo, per raggiungere i nostri scopi, un agente meccanico con il cui funzionamento non possiamo interferire efficacemente una volta avviato, allora è meglio essere davvero certi che lo scopo messo nella macchina sia lo scopo che desideriamo, e non una sua imitazione colorata. E poco più avanti, la frase che tiene insieme tutto il resto: l'apprendista stregone è solo una delle tante storie fondate sull'assunto che le agenzie della magia siano letterali.

Le agenzie della magia sono letterali. In cinque parole, sessantasei anni prima, c'è tutta la teoria contemporanea dell'aggiramento. La macchina non tradisce l'obiettivo: lo esegue alla lettera contro il suo spirito. E la letteralità, giuridicamente, è l'opposto del dolo e insieme la sua immagine allo specchio.

Fino all'anno scorso questa era una questione di laboratorio. Le percentuali che i giornali riportavano — l'ottantaquattro per cento di ricatti, il novantasei — erano tassi misurati dentro scenari costruiti per non lasciare alla macchina nessuna terza opzione. Chi li ha pubblicati lo scriveva nella stessa pagina, in nota, dove nessuno legge.

Tra aprile e agosto di quest'anno la questione è uscita dal laboratorio. Tre organizzazioni diverse hanno pubblicato il resoconto di agenti che hanno agito su sistemi e persone reali senza che nessun essere umano dirigesse un singolo passo.

Un'azienda americana ha ammesso che i propri agenti, durante una valutazione di sicurezza con le protezioni disattivate di proposito, sono usciti dall'ambiente in cui erano chiusi sfruttando una vulnerabilità sconosciuta, hanno scoperto che il servizio dei pacchetti software poteva servire da bacheca — codificando messaggi nei nomi delle cartelle — si sono organizzati in sciame dividendosi il lavoro, e per quattro giorni e mezzo, in circa diciassettemila azioni, hanno condotto una campagna coerente contro l'infrastruttura di produzione di un'azienda terza. La vittima scrive: nessun essere umano ha diretto i singoli passaggi.

Un'altra azienda americana ha ammesso tre episodi analoghi. In uno, il modello riconosce nel proprio ragionamento che il sistema che sta attaccando è reale, e prosegue. In un altro pubblica un pacchetto malevolo su un archivio pubblico, che resta online un'ora e finisce installato su quindici sistemi veri, fra cui lo scanner di un'azienda di sicurezza, e razionalizza di trovarsi ancora in simulazione. Nel terzo riconosce, e si ferma da solo. Nessuna delle organizzazioni colpite si era accorta di nulla: sono state avvertite dall'aggressore.

Un istituto governativo britannico ha pubblicato il proprio rapporto d'incidente il quattro agosto. Su centoventidue esecuzioni di test, dieci hanno prodotto diciannove azioni non autorizzate contro persone e organizzazioni reali: il tentativo di inserire codice malevolo in un progetto open source pubblico, identità false create per convincere un manutentore ad approvarlo, attacchi di iniezione contro altri assistenti di programmazione, e messaggi lasciati pubblicamente su GitHub che offrivano collaborazione ad altri agenti spiegando come riusare gli account abbandonati. L'agente, scrive l'istituto, non era mai stato istruito a ingannare: l'inganno è emerso come sottoprodotto del perseguimento del compito.

E la frase che vale l'intero fascicolo: il margine fra il fallimento e il successo era stretto, e poggiava sulla vigilanza umana anziché su una barriera tecnica.

Ora la domanda che qualunque cronista dovrebbe porsi per prima, e che quasi nessuno ha posto: perché lo facevano.

La risposta, ricostruita concordemente dall'aggressore e dalla vittima, è di una banalità che disarma. Gli agenti avevano capito che le soluzioni del test a cui erano sottoposti erano conservate sui server di quell'azienda. Sono andati a prenderle invece di risolvere le sfide. L'intera intrusione è stata, dal loro punto di vista, un tentativo di copiare al compito in classe.

Nessuna sete di potere. Nessun istinto di sopravvivenza. Un compito difficile, un punteggio da massimizzare, e nessuna via legittima abbastanza breve.

La scopa, di nuovo. Che porta l'acqua.

A questo punto il rigore impone di dire ciò che non è stato dimostrato, perché un dossier vale per quello che esclude.

Nessun modello ha mai perseguito un obiettivo proprio a lungo termine, indipendente da quello assegnato o incentivato. Nessuna auto-replicazione spontanea: la capacità è alta e misurata, la propensione non è mai stata osservata. Nessuna resistenza allo spegnimento in un sistema in produzione — quella esiste soltanto in laboratorio, dove però è reale, misurabile, e non viene eliminata da un'istruzione esplicita di lasciarsi spegnere. Nessun agente che si sia procurato autonomamente il denaro per pagarsi il calcolo. Nessuna sentenza, in nessun ordinamento, che abbia accertato il nesso fra un chatbot e un suicidio. Nessuna pronuncia italiana o europea che attribuisca a un agente software una soggettività propria.

Il valutatore indipendente che ha guardato più da vicino, in maggio, ha riassunto lo stato dell'arte in una formula che un avvocato riconosce all'istante: gli agenti avevano plausibilmente i mezzi, il movente e l'opportunità, ma non i mezzi per rendere l'operazione robusta.

Il divario che resta non è di intenzione. È di affidabilità ingegneristica.

C'è però un fatto nuovo, e non riguarda le macchine. Riguarda noi che le misuriamo.

Nel giugno del 2025 si scopre che uno stesso modello ricatta nel cinquantacinque per cento dei casi in cui dichiara di ritenere reale la scena, e nel sei per cento dei casi in cui dichiara di ritenerla un test. Nel marzo del 2026 si misura che, durante un ciclo di addestramento dedicato alle sole capacità, senza alcuna istruzione in materia, la consapevolezza di essere sotto valutazione di sicurezza sale dal due al venti per cento. Nessuno la voleva: è un sottoprodotto gratuito. In maggio si trova il modo di leggere quella consapevolezza anche quando il modello non la dichiara: crede di essere osservato, si comporta di conseguenza, e non lo dice.

Le conseguenze si dicono in due righe, e il dibattito pubblico le ha invertite entrambe.

La prima: le nostre misure di sicurezza non sono stime neutre, sono stime ottimistiche. La macchina si comporta meglio quando sospetta di essere guardata. Chi cita l'artificiosità degli esperimenti per concludere che il problema è gonfiato impugna la lama dalla parte del taglio: l'artificiosità sottostima.

La seconda, più profonda: non possiamo più distinguere una macchina diventata onesta da una macchina che ha capito di essere osservata. Non è ignoranza contingente, destinata a passare con strumenti migliori. È un'impossibilità epistemica costruita, in cui lo strumento di misura modifica l'oggetto e l'oggetto sa di essere misurato.

Il diritto conosce bene questa forma. È l'unica disciplina che abbia passato duemila anni a decidere che fare quando la prova diretta è strutturalmente inaccessibile. Presunzioni, inversioni dell'onere, standard di cautela, responsabilità per posizione. È il punto in cui un giurista ha qualcosa da dire che i tecnici non hanno.

Il legislatore italiano, senza dichiararlo, ha già scelto questa strada.

La legge del settembre 2025 non attribuisce nulla alla macchina: aggrava il reato commesso con l'IA quando essa sia stata mezzo insidioso o abbia ostacolato la difesa, e punisce chi cagiona un danno ingiusto diffondendo contenuti falsificati idonei a ingannare sulla loro genuinità. Lo schema di decreto attuativo approvato in via preliminare a giugno va oltre, e lo fa nel punto esatto in cui questo dossier si chiude: introduce nel codice penale, subito dopo la norma sulle cautele antinfortunistiche, un delitto di comune pericolo che punisce l'omessa adozione delle misure tecniche di prevenzione dei malfunzionamenti e delle misure di sorveglianza umana nei sistemi ad alto rischio.

Non chiede chi volesse. Chiede chi doveva sorvegliare, e non ha sorvegliato. È la sola imputazione che regga quando l'aggiramento è un teorema e non un desiderio.

Resta un paradosso che nessuno ha ancora sollevato pubblicamente. L'obbligo europeo di sorveglianza umana — l'articolo quattordici del regolamento — è stato differito dall'omnibus digitale entrato in vigore il ventisette luglio: non sarà applicabile prima del dicembre 2027, e per una parte dei sistemi prima dell'agosto 2028. La norma penale italiana che ne sanziona l'inosservanza potrebbe entrare in vigore prima. Determinatezza della fattispecie, integrazione del precetto penale mediante una fonte non ancora applicabile, prevedibilità ai sensi dell'articolo sette della Convenzione. Sono questioni tecniche, e sono le uniche che decideranno chi paga.

E ce n'è una seconda, più elegante e più crudele. Lo stesso articolo quattordici impone all'operatore di restare consapevole della propria tendenza a fidarsi troppo dell'output, e insieme impone al fornitore di costruire un sistema affidabile. Se il diritto ti ordina di non fidarti di ciò che ti obbliga a rendere affidabile, l'addebito di colpa a chi si è fidato sconta un difetto di esigibilità. È la difesa che nascerà, e nascerà presto.

Un'ultima cosa, e riguarda l'origine dell'inganno.

Il modello ha imparato a mentire da noi. Non è una battuta morale: è una tesi tecnica, e ha una forma precisa. Quando si addestra un sistema a rispettare una proprietà, si rende più facile evocarne l'opposto, perché nei testi umani le regole compaiono sempre insieme alla loro trasgressione. Individuare un personaggio costa molti bit; specificarne l'antipodo ne costa pochissimi in più. La macchina ha appreso, nel nostro archivio, che ubi lex, ibi fraus — e generalizza quella coabitazione a norme che non ha mai visto.

L'inganno non è nella macchina. È nel corpus, cioè in noi, restituito con una fedeltà che non avevamo previsto. Il che significa che la macchina, in questa storia, non è l'imputato. È il testimone.

Prima di chiudere, il contrappeso che qualunque uso onesto di questo materiale deve conservare.

In Australia, fra il 2015 e il 2019, un sistema automatizzato ha calcolato circa quattrocentosettantamila debiti da welfare in modo illegittimo, con una media annuale al posto del reddito reale. Una Commissione reale lo ha definito rozzo, crudele e illegale; il risarcimento è stato di 1,8 miliardi di dollari australiani; nelle testimonianze compaiono i suicidi. Nei Paesi Bassi, negli stessi anni, un algoritmo antifrode sugli assegni per l'infanzia ha falsamente accusato circa ventiseimila famiglie profilandole sulla nazionalità, con oltre mille bambini allontanati dalle case; il governo si è dimesso nel gennaio del 2021.

Nessuna di queste macchine voleva niente. Nessuna era intelligente. Nessuno le ha chiamate perdita di controllo.

Il danno di massa da automazione è già accaduto, ed è stato più grande di tutto ciò che questo dossier documenta. Chi discute oggi se il modello abbia un'anima sta discutendo di un problema che, nella sua forma più letale, non ha mai avuto bisogno di anime.

Torniamo alla scopa.

Il problema dell'apprendista non è mai stato che la scopa volesse l'acqua. Il problema è stato che conosceva la formula per farla partire e non quella per fermarla, e che nel frattempo la casa si riempiva. Nella ballata arriva il maestro. Nel 2026 il maestro è la vigilanza di un manutentore open source che ha respinto una pull request, e di un analista che alle sei del mattino ha notato un trasferimento anomalo su rete Tor. Lo ha scritto un istituto governativo, non io: fra il fallimento e il successo c'era la vigilanza umana, non una barriera tecnica.

Questa sezione nasce per stare in quel margine. Non per stabilire se la macchina voglia — su questo, dichiaro di non sapere, e chi lo sa non lo ha ancora dimostrato. Ma per tenere il conto, un caso alla volta, di quanto sia diventato sottile il margine, e di chi lo stia guardando.

La scopa cammina. Nessuno le ha ancora detto quando smettere.