Questa domanda più o meno provocatoria – che dapprima ci si palesava nel contesto di scenari distopici partoriti dalla preveggenza fantascientifica – dovrebbe iniziare a ritagliarsi un maggiore spazio nelle nostre menti. Perché l’intelligenza artificiale sta rapidamente avanzando nel nostro mondo materiale, minacciando di colonizzarlo, in assenza di interventi etici decisi e decisivi, attraverso la potenza delle proprie computazioni immateriali. Questo è il problematico scenario dipinto dagli esperti – i quali tutto sono meno che tecnofobi – che si sono impegnati nella stesura del volume Dai droni alle armi autonome. Lasciare l’Apocalisse alle macchine?, edito da Franco Angeli, peraltro in open access, con il contributo del Dipartimento di Scienze Sociali ed Economiche dell’Università La Sapienza. Un testo importante, di certo tra i più completi in circolazione grazie alla molteplicità di voci che si intrecciano lungo i suoi dieci capitoli, e comprensibile anche da chi di IA non se ne intende, nonostante gli autori facciano continuo riferimento a tutta una serie di questioni prettamente tecniche (che, per forza di cose, in un lavoro del genere non possono essere ignorate).
Il quesito fondamentale con il quale ci troviamo a fare i conti, e che in questo volume riecheggia costantemente, è in realtà ben noto sin dalla seconda metà del secolo scorso: quali potrebbero essere le conseguenze, in primis sul piano morale, della delega di funzioni e responsabilità, dapprima appannaggio esclusivo di noi umani, a favore dei cosiddetti electric brains? I processi di deresponsabilizzazione ai quali siamo oggi sottoposti vanno certamente interpretati nel più ampio scenario della responsabilizzazione macchinica, la quale, per come la stiamo intendendo, non è certo una novità. Lo era per i luddisti del XIX secolo, ma d’altronde è dall’alba del nostro tempo che, in forza allo sviluppo tecnico, cerchiamo di ottenere il massimo beneficio, ivi inclusa la riduzione della fatica, con l’impiego minimo dei mezzi. Eppure, la storia ci insegna che gli artefatti tecnologici non agiscono di per sé, in quanto espressione dell’intrinseca bontà del progetto positivista, come strumento di liberazione, come «pharmakon» per dirla alla Stiegler. E le armi, da quelle più rudimentali a quelle autonome passando per l’atomica, ne sono la dimostrazione.
In effetti, leggendo dell’intelligenza artificiale applicata alla produzione bellica si comprende bene per quale motivo Marcuse, nell’ipotizzare una tecnologia al servizio dell’emancipazione dalla repressione tanto capitalista quanto sovietica, richiamasse la necessità di un mutamento qualitativo nel design tecnologico. Insomma, riattualizzando l’ipotesi marcusiana il problema si sposterebbe dalla regolamentazione sull’impiego delle armi autonome all’esistenza stessa di tali strumenti. Qualcuno potrebbe tuttavia rispondere che la validità intrinseca di quest’ultimi, certo asserviti in ogni caso alle logiche di massima efficienza tipiche della nostra tecnicizzata società, sia data precisamente dalla loro capacità di limitare i danni collaterali e di offrire una maggiore accuratezza nell’attuazione delle strategie militari, nonché dalla possibilità di conservare le vite di quei soldati che, se non fossero sostituiti da un ammasso di ferraglia, rischierebbero altrimenti di morire in battaglia. Tutti motivi per i quali potrebbe risultare finanche amorale la rinuncia all’automazione degli arsenali, una volta appurata l’impossibilità di vivere senza guerra. Perché, dal momento che l’umanità è anche figlia di Caino, dobbiamo impegnarci nel pensare a come combatterci «meglio». È per questo che l’IA, in virtù della sua potenza di calcolo e della sua (supposta) capacità discriminatoria, potrebbe essere nostra alleata. Se non fosse che di ciò, come ben chiariscono gli autori del volume, non vi è affatto alcuna sicurezza, anzi sono diverse le prove che dovrebbero dissuaderci dal vederla in questo modo.
Non è tutto buono ciò che è efficiente (o che lo sembra)
Immaginate di viaggiare su un bus e di trasformarvi improvvisamente nel bersaglio di un’arma autonoma a causa di un errore percettivo della stessa, confusa da una piccola perturbazione che non avrebbe tuttavia abbagliato in alcun modo un soldato ben addestrato. Oppure, mettetevi nei panni di un combattente disarmato o di un civile che, nel mezzo di una battaglia, l’IA scambia per una minaccia attiva, decidendo così di ingaggiarla. O ancora, considerate la possibilità di rimanere vittime di un attacco sferrato da un sistema autonomo che non ha calcolato correttamente il rapporto tra costi umani e benefici militari, laddove un comandante esperto, prendendo atto dell’inconvenienza dell’operazione, non avrebbe invece dato la sua approvazione. Nei primi due scenari verrebbe violato il «principio di distinzione» e nel terzo caso quello di «proporzionalità», entrambi previsti dalle Convenzioni di Ginevra del 1977. Non certo una bella prospettiva. Perché se è incontrovertibilmente vero che noi umani incappiamo di continuo in errori spesso fatali e che possibilmente lo facciamo anche in misura maggiore rispetto a una macchina ben addestrata, è altresì vero che a posteriori, in quanto agenti morali, possiamo sempre essere giudicati colpevoli per le nostre scelte, siano esse il risultato di ubbidienza, incompetenza, inadeguatezza, arroganza o chissà che altro. Anche se, a dirla tutta, il problema della rottura della catena di responsabilità precede l’avvento dell’intelligenza artificiale.
Anders e Arendt, per citare altri nomi illustri (ai quali si potrebbe anche affiancare quello di Jaspers), si erano ad esempio occupati dell’inquietante incapacità, diffusasi a macchia d’olio all’interno delle società industriali avanzate, di sentirsi responsabili per le conseguenze delle proprie azioni. È passata alla storia la formula della deresponsabilizzazione psicosociale, pubblicamente espressa – per tirare in ballo due figure esemplificative – tanto da Adolf Eichmann quanto da Paul Tibbets, pilota dell’Enola Gay: «Il mio dovere è svolgere correttamente gli ordini che mi sono impartiti, perciò devo rispondere della loro esecuzione soltanto ai miei superiori e a nessun altro. Le conseguenze non sono un problema mio, poiché io sono soltanto la rotella di un ingranaggio più grande i cui scopi finali, non essendo stati decisi da me, non mi riguardano, a prescindere dal fatto che io ne sia a conoscenza o meno».
Ma è interessante notare come proprio le mediazioni tecnologiche, e qui si torna alle armi autonome, concorrano alla radicalizzazione di questa atrofia morale. Sempre Anders era stato tra i primi a individuare il rapporto tra impiego militare delle nuove tecnologie e deresponsabilizzazione, giacché oggi, come allora, la distruzione può essere realizzata per mezzo di mediazioni tecniche che distanziano spazialmente e temporalmente gli assassini dagli assassinati, rendendo i primi incapaci di provare rimorso per i secondi e i secondi incapaci di provare odio per i primi. In questo stato di «schizotopia» – per usare il neologismo andersiano – nessuno ha più infatti un volto per nessuno, mentre da New York può essere annientata Mosca. Si tratta della spersonalizzazione più nichilista possibile.
Dando per buone queste considerazioni, sorge spontanea una domanda: l’arma autonoma serve in primo luogo a migliorare il modo in cui facciamo la guerra – vale a dire a renderlo più chirurgico e pulito – o a perfezionare lo scaricabarile della responsabilità? La differenza, che per alcuni potrebbe apparire sottile o addirittura infondata, è sostanziale. Non che un’intenzione escluda l’altra, bada bene. Si tratta di una questione di priorità. Perché un conto è dispiegare l’IA, per fini che possiamo ritenere positivi per la collettività, stabilendo che alla nostra responsabilizzazione non si può in alcun modo derogare; altro discorso è perseguire questo impiego allo scopo, più o meno esplicitato, di toglierci dalle mani la patata bollente e di renderci sempre più intoccabili dinanzi al tribunale degli uomini, additando come colpevole la macchina. E come si punisce un oggetto? Semplicemente: non si può.
Nel primo caso, il rapporto tra uomo e computer dovrebbe garantire agli operatori la possibilità di comprendere le computazioni dell’IA e di interpretarle criticamente in base alla propria sensibilità ed esperienza sul campo, in modo tale da prendere le decisioni più adeguate assumendosene la responsabilità. Non v’è dubbio che ci si potrà ancora difendere affermando di aver soltanto eseguito gli ordini, ma quantomeno si potranno continuare a individuare e giudicare i colpevoli di azioni scellerate. A tal riguardo vanno però considerate tutta una serie di difficoltà – determinate anche dai limiti tecnici dei sistemi d’arma attualmente dispiegati o in sperimentazione – che hanno a che fare con la relazione che già intercorre tra noi e l’IA. Bisogna ad esempio fare i conti con il cosiddetto «pregiudizio positivo da automazione», un bias cognitivo a causa del quale gli operatori umani, vittime di quella che potremmo a ragione definire come una forma di complesso di inferiorità (la famigerata «vergogna prometeica»), non si permettono di contraddire gli output della macchina, i cui processi di elaborazione dell’informazione, in particolar modo nelle IA ad apprendimento profondo, non sono peraltro intellegibili, dal momento che essi vengono eseguiti in forme subsimboliche per noi incomprensibili. Possiamo sempre avere la fortuna di salvarci grazie allo Stanisláv Petrov di turno (se siamo qui oggi lo dobbiamo anche a lui), così come la sfortuna, forse più probabile, di finire in mezzo alle macerie perché qualcuno non è stato messo nelle condizioni di fermare in tempo il supposto oracolo o di contravvenirvi. E se mai la catena di responsabilità venisse a spezzarsi con l’impiego di armi dotate di un livello di autonomia tale da esentare quanti più soggetti dal processo di responsabilizzazione, rendendo quest’ultimo pressoché impossibile da ricostruire anche sul fronte giuridico?
Che la complessità della nostra società sia ormai insostenibile per molti è un dato lampante. L’aumento delle responsabilità in un contesto ipercompetitivo e anaffettivo come il nostro ha inasprito il «disagio della civiltà», segnando un’esplosione dei disturbi nevrotici la cui onda d’urto colpisce tutti. La costrizione all’essere sempre up to date e al non mancare di assolvere agli obblighi socialmente definiti ha possibilmente finito per determinare un graduale rigetto del mondo cosiddetto «adulto», in primis nella classe media e nelle giovani generazioni. Guardando alla situazione da questa prospettiva, l’avvento dell’IA potrebbe per molti tracciare l’inizio del percorso che conduce fuori dalla terra della fatica e della responsabilità, verso l’eden della libertà e del tempo per la cura del sé. La macchina autonoma che, assurgendo come Mosè in Egitto, guida l’esodo di un’umanità stanca delle vessazioni capitaliste. D’altro canto, non è un caso che l’escatologia marxiana vedesse nell’automazione dei mezzi di produzione la chiave di volta per la morte stessa del Capitale, reo (verso se stesso) di aver generato le condizioni per la rivoluzione proletaria e l’instaurazione della società egualitaria. Occorre tuttavia ricordare agli ottimisti dell’automazione come lo stesso Marx, preannunciando la crescita esponenziale del tasso di disoccupazione e l’inasprimento delle condizioni proletarie (sempre più vicine a quelle del sottoproletariato), chiarisse la necessità della presa di coscienza dei repressi, inderogabile per la concretizzazione del fine escatologico. Semplificando: il «grande automa» avrebbe potuto favorire la collettività solamente quando essa, dopo averlo sottratto dalle mani degli oppressori, lo avrebbe orientato in direzioni non repressive, abbattendo la proprietà privata sui mezzi di produzione e liberandosi così del lavoro salariato per sostituirlo con nuove forme di collaborazione solidale e attività non alienanti che, sganciate da qualsivoglia logica produttiva esternamente imposta, avrebbero potuto esaltare la creatività umana salvandola dalle istanze totalitarie tipiche dell’organizzazione aziendale della società. Va da sé che si tratta di un’idea ben diversa da quella che, facendo leva su una lettura errata della dialettica propria del materialismo storico, vede l’automazione agire da sé, senza che i repressi debbano fare alcunché, in favore dell’emancipazione.
Il presente che non vediamo
Comunque la si veda, l’utopia delle macchine lavoratrici e dell’uomo emancipato dalla fatica esercita tutt’oggi una certa fascinazione. E ragionando specificatamente sulla questione bellica, di punti a favore dell’automazione se ne potrebbero trovare altri. Sappiamo quanti siano i morti per la patria e quanti i sopravvissuti che hanno invece visto il proprio Io, e con ciò le proprie vite, disgregarsi sotto i colpi di pesanti condizioni psichiatriche, prima fra tutte il Disturbo post-traumatico da stress. Quanti di questi reduci dall’orrore avrebbero preferito che al loro posto, a fare il lavoro sporco, ci fosse stata un’IA? Quanti, se così fosse stato, avrebbero vissuto meglio con se stessi e con gli altri? Quanti non si sarebbero tolti la vita una volta tornati a casa? Sono domande sulle quali non si può non riflettere.
Nondimeno, nell’accettazione della deresponsabilizzazione sussiste sempre un’innegabile responsabilità collettiva, sia essa politica, morale o giuridica. Lasciando da parte la classe dirigente e gli organi militari che a essa rispondono, la società civile può venire a capo delle problematicità dello scambio di ruoli tra umano e apparecchio ricordando che senza un impegno attivo è impossibile sovvertire lo status quo, i cui amministratori non mirano certo a pacificare il mondo intero attraverso le tecniche. Restando nel concreto delle contraddizioni suscitate dalle armi autonome, sarebbe bene incominciare a prestare maggiore attenzione agli scenari di guerra asimmetrica, chiedendosi se sia accettabile che uno stato impieghi tecnologie così avanzate contro un nemico, chiunque esso sia e per quanto dalla parte sbagliata, che non le dispone. Ciò a prescindere dalle capacità o dalle mancanze che gli electric brains mostrano quando armati. Se qualcuno rimanesse ucciso per errore, a chi daremmo la colpa? Se invece il loro operato fosse perfettamente in linea con gli obiettivi e le limitazioni impostegli, come giustificheremmo moralmente la correttezza di un’offensiva portata avanti nella consapevolezza di una tale disparità tecnica? Quest’ultimo un quesito che potrebbe anche esulare dall’IA, ma con esiti non necessariamente identici dal momento che vi è un salto non indifferente tra il combattere la carne e il combattere i computer.
A proposito di asimmetria, un’inchiesta pubblicata proprio in queste settimane dal magazine +972 in collaborazione con Local Call – due delle realtà indipendenti più importanti del panorama giornalistico internazionale e, soprattutto, israeliano – ha rivelato l’impiego, da parte dell’esercito di Tel Aviv, di un sistema di IA denominato “Lavender”, in grado di risolvere la difficoltà umana «nell’individuare nuovi obiettivi e nel decidere se approvarli». Un software, secondo le fonti operativo in particolar modo nella prima fase del conflitto palestinese scoppiato il 7 ottobre dello scorso anno, la cui «influenza sulle operazioni militari era tale che [gli ufficiali dell’esercito, ndr] trattavano i suoi output ‘alla stregua di decisioni umane’». Proseguendo, si può leggere che
ufficialmente, il sistema Lavender è progettato per segnalare tutti i sospetti operanti nelle ali militari di Hamas e nella Jihad Islamica Palestinese (PIJ), includendo anche quelli di rango inferiore come potenziali target da bombardare. Le fonti hanno rivelato a +972 e Local Call che, durante le prime fasi della guerra, l’esercito ha quasi completamente fatto affidamento su Lavender, che ha registrato almeno 37.000 palestinesi come sospetti militanti – e le loro case – come possibili bersagli aerei. Durante le prime fasi della guerra, l’esercito ha largamente consentito agli ufficiali di approvare le liste di individui da uccidere prodotte da Lavender, senza alcuna necessità di controllare approfonditamente il motivo per cui la macchina aveva fatto quelle scelte o di esaminare i dati grezzi di intelligence su cui esse si basavano. Una fonte ha dichiarato che gli operatori umani spesso fungevano solo da “timbro” per le decisioni della macchina, aggiungendo che di solito dedicavano personalmente solo circa “20 secondi” a ciascun obiettivo prima di autorizzare un bombardamento, solo per assicurarsi che il target contrassegnato da Lavender fosse un uomo. Questo nonostante sapessero che il sistema potesse commettere quelli che sono considerati “errori” in circa il 10 percento dei casi, ed è noto che talvolta contrassegna individui che hanno soltanto una vaga connessione con gruppi militanti o nessuna connessione affatto. Inoltre, l’esercito israeliano attaccava sistematicamente questi individui mentre si trovavano nelle loro case – di solito di notte, quando era presente l’intera famiglia – piuttosto che durante lo svolgimento di operazioni militari. Secondo le fonti, ciò avveniva perché, a partire da quello che essi consideravano come un punto di vista strategico, era più facile individuare gli individui nelle loro abitazioni private. Sistemi automatizzati aggiuntivi, tra cui quello chiamato “Dov’è papà?” [Where’s Daddy in originale, ndr] che viene rivelato qui per la prima volta, venivano utilizzati specificamente per tracciare gli individui presi di mira ed effettuare bombardamenti quando entravano nelle residenze delle loro famiglie. Il risultato, come testimoniato dalle fonti, è che migliaia di palestinesi – la maggior parte donne e bambini o persone non coinvolte nei combattimenti – sono stati eliminati dagli attacchi aerei israeliani, soprattutto durante le prime settimane della guerra, a causa delle decisioni dell’IA.
Senza entrare nei dettagli, l’indagine racconta in maniera sconcertante come l’esercito israeliano, in certa misura influenzato anche dal pregiudizio positivo verso Lavender – il cui utilizzo dipende a sua volta da fattori non strettamente connessi al suo funzionamento, bensì alle condizioni umane entro le quali esso avviene –, abbia scientemente permesso l’uccisione di un numero variabile tra i 15 e i 20 civili, nonché la produzione di danni collaterali a strutture e infrastrutture, per ogni singolo attacco indirizzato contro giovani militanti di Hamas segnalati dall’IA, laddove in passato non veniva autorizzato «alcun danno collaterale durante l’uccisione di militanti di scarsa importanza». Quando a essere individuato dalla macchina è stato invece un comandante o un qualsiasi altro alto in grado, sono state permesse, pur di centrare l’obiettivo, le uccisioni «collaterali» di centinaia di civili. Tutto questo, come riportato, nella consapevolezza che tale sistema commette errori. Errori che, passando per una verifica umana eseguita con tutti gli scrupoli necessari, potrebbero essere evitati. Almeno fin quando sussiste la volontà di non compierli, che non sembra dovuta dal momento che la negligenza, anche per effetto delle innovazioni tecniche, pare si stia trasformando in prassi.
Se questa deve essere la «sinergia tra uomo e IA che rivoluzionerà il mondo» voluta da uomini come il generale di brigata israeliano, peraltro a capo di un’unità speciale dell’intelligence, autore del libro The Human-Machine Team, allora c’è veramente da correre ai ripari con più fretta possibile. E con la stessa celerità vanno trovate, anzi dobbiamo trovare, delle risposte. Perché guardandoci attorno e riflettendo sulla nostra storia, l’unica verità che siamo in grado di afferrare è che alle nostre spalle e dinanzi ai nostri occhi ci sono fin troppe domande che attendono di essere accolte. Molte di queste, forse tutte, non sussisterebbero se solo non continuassimo a cadere nel fratricidio e nella cieca speranza che la tecnologia possa salvarci autonomamente, sfuggendo al controllo del potere, senza che noi la induciamo a farlo. Bisogna infatti stare certi che i pochi continueranno a sfruttare, per favorire i propri interessi, non solo i vantaggi e i limiti della nostra tecnica, ma anche il temporaggiamento che ci frena dall’opporre il nostro «grande rifiuto». Del resto, avremmo dovuto capirlo già a seguito dai traumi del 6 e del 9 agosto 1945. Da allora, il mutamento qualitativo non si è mai realizzato. La fantasia non è salita al potere e fintantoché continueremo a procedere su questa strada, la tecnoscienza, per esclusiva volontà degli uomini, continuerà a essere una tecnoscienza belligerante, sempre pronta a servire istanze dispotiche e repressive. E nel momento in cui qualcuno verrà schiacciato da una mano apparentemente priva di braccio, ci sarà chi, nel vedere il sangue colare dal palmo, domanderà: «Di chi è la colpa?».
