Decido di pubblicare ora questo post che ho lasciato tra le bozze decisamente per troppo tempo. Questo post nacque come risposta ad un altro di Luca Corsato dal titolo “Proxy, robot e industria” che commenta il mio precedente sul trolley problem.

Il commento di Luca si concentra principalmente sulla questione della sostenibilità economica e si basa sul fatto che la mia proposta di un’etica parametrizzata nei veicoli a guida autonoma non sia economicamente sostenibile.

L’appunto generale che ho fatto subito a Luca è che nel mio post non mi sono mai occupato del fatto che la soluzione che propongo sia economicamente sostenibile. Stavo parlando d’altro e, dal mio punto di vista, anche il post originale di Andrea riguardava un altro tema, ovvero come risolvere il problema del trasferimento di responsabilità nei sistemi a guida autonoma.

In ogni caso, i rilievi di Luca mi hanno fatto pensare ad altri elementi che volevo spiegare con questo post.

L’ETICA COME PRODOTTO NELLE AUTO A GUIDA AUTONOMA

Nel mio precedente post ho abbozzato l’idea di Andrea dell’etica come caratteristica delle (future) auto a guida autonoma. Andrea suggeriva che le aziende si differenzieranno rispetto alle “pre-impostazioni etiche” delle loro macchine. In questo modo, acquistando un auto l’utente compierebbe (anche) una scelta etica facendo dell’auto un proprio “proxy”. Estendendo questa idea, ho suggerito che questa scelta possa essere più complessa e modificabile di modo che ogni auto sia in ogni momento equipaggiata con il “profilo etico” del suo guidatore.

Nella sezione “Le funzioni di un prodotto”, Luca suggerisce che l’idea di avere un profilo etico configurabile comporterebbe dei costi di produzione “molto alti” perché richiederebbe lo sviluppo di:

1. due intelligenze
2. un’interfaccia usabile da chiunque per far effettuare la scelta da qualsiasi utente
3. due team di sviluppo
4. due diversi servizi di assistenza

È sicuramente possibile che implementare un profilo etico nelle auto a guida autonoma, oltre che progettare e realizzare tutti i sistemi ad esso collegati, abbia dei costi; tuttavia questi costi dipendono da come il sistema verrà implementato dai progettisti futuri. In sostanza, sarebbe un sistema più sofisticato rispetto ad un’auto dove le impostazioni etiche sono stabilite dal produttore e non modificabili. Per analogia, si potrebbe pensare alla differenza tra un vecchio telefonino e gli attuali smartphone.

Una prima obiezione che muovo a Luca è perché si debba pensare che uno stesso prodotto (l’automobile), nel caso in cui abbia una configurazione diversa, necessiti di due modi di funzionamento (intelligenze), progettazione (team di sviluppo) e assistenza diversi. Esistono svariati prodotti e servizi – per esempio per le due categorie, rispettivamente gli smartphone ed i motori di ricerca – che sono configurabili o si adattano automaticamente in base alle decisioni, all’uso, alle esigenze o alle caratteristiche del proprio utente. Questo non vuole necessariamente dire che esistano team diversi per ogni possibile combinazione delle scelte che un utente può compiere quando utilizza il prodotto.

Questi aspetti economici sono, tuttavia, secondari se siamo interessati ai problemi etici. I progettisti futuri avranno un problema più grande, il cui sintomo è racchiuso nel “due” (intelligenze, team di sviluppo, ecc.) utilizzato da Luca. Perché dovrebbero essere solo due? L’etica delle auto a guida autonoma è riducibile a un sistema di scelta binario?

Nel seguito cercherò di mostrare che la risposta è no e come questo sia un ulteriore punto che giustifica la necessità di avere dei profili etici.

ANCORA SUL TROLLEY PROBLEM

Lo scopo del trolley problem è mostrare, innanzitutto, che alcune situazioni possono portare a dilemmi etici, ovvero che i dilemmi etici esistono, e, in secondo luogo, che questi dilemmi etici sono altamente sensibili ai dettagli.

Come indicava Andrea nel suo post, il dilemma etico del trolley problem esiste perché non c’è un’unica logica valoriale per stabilire quale sia la scelta migliore.

Altre varianti del trolley problem^[1]Potete leggere alcune delle varianti del trolley sull’omonima voce di Wikipedia. prevedono situazioni simili in cui la decisione è sempre binaria (“sterzare” o “continuare dritto”), ma cambiando in vari modi le caratteristiche delle persone che sono (potenzialmente) uccise. Per esempio, i termini etici della scelta da compiere cambiano radicalmente nel caso in cui in mezzo alla strada ci sia: (a) il proprio fratello minore di 6 anni (b) un terrorista armato.

Quello che mostrano queste varianti è che le scelte compiute dal manovratore/guidatore possono cambiare anche radicalmente in base al contesto. È molto facile complicare la situazione e, volendo, si possono raggiungere livelli di complicazione comicamente assurdi, come in queste vignette di Existenzialist comics, SMBC e Dinosaur comics .

Possiamo immaginare anche delle ulteriori varianti in cui la scelta da compiere non sia necessariamente binaria. Per esempio nel seguente caso che possiamo chiamare “trolley problem lungo la scogliera”:

«Siamo alla guida di un veicolo e stiamo percorrendo una strada alla sommità di una scogliera. Alla nostra destra c’è un precipizio che termina in mare, alla nostra sinistra adiacente alla carreggiata (e senza alcuna protezione) si trova un sentiero che costeggia la parete di roccia. Ad un certo punto, la strada curva bruscamente di modo che ci sia impossibile vedere in anticipo cosa c’è oltre la curva. Immaginiamo di trovare dopo la curva un gruppo di persone in mezzo alla strada e lungo il sentiero un gruppo di escursionisti».

La scelta che abbiamo in questo caso è ternaria:

1. proseguire dritto e colpire le persone che si trovano in mezzo alla carreggiata;
2. sterzare bruscamente a sinistra e colpire gli escursionisti sul sentiero; oppure
3. sterzare bruscamente a destra e finire giù per la scogliera

Quindi il trolley problem non rappresenta un unico problema etico, ma una classe di problemi con infinite varianti. Di fronte a questa evidenza come possiamo immaginare che basti una scelta binaria per rendere la macchina capace di reagire ad ogni possibile dilemma etico gli si presenti? È ragionevole pensare che questa scelta binaria sia programmabile a priori?

Questo ragionamento continua a valere anche nel caso in cui abbiamo una codifica più complessa del profilo etico. L’auto, di fronte a situazioni diverse da quelle che gli sono state sottoposte in fase di “apprendimento” si comporterà in maniera deterministica, ma imprevedibile. Non c’è modo di essere sicuri a priori che queste scelte coincideranno con quelle dell’utente/guidatore.

QUALI DIREZIONI DI SVILUPPO

Arrivati a questo punto potrebbe problema dell’etica nelle auto a guida autonoma (e, in generale, nelle macchine autonome) sembra disperato: i dilemmi etici cui dovranno fare fronte sono potenzialmente infiniti e non c’è quindi modo di essere sicuri che le macchine faranno le stesse scelte che l’utente avrebbe fatto trovandosi nella stessa situazione. Facendo ragionamenti analoghi a questo in cui il profilo etico venga stabilito dal costruttore, dal programmatore, dal progettista o dal legislatore sembra che nessuno sia in grado di avere questa garanzia.

Il problema si può risolvere impostandolo nei termini della responsabilità, in particolare della responsabilità umana. Per definizione una macchine è autonome nel momento in cui la macchina lo è abbastanza da non essere costantemente sotto il diretto controllo di un umano, ma allo stesso tempo non intelligente (in senso forte) abbastanza da essere equiparata ad un umano. Si apre il problema della responsabilità. Ovvero, di chi è la colpa?

Questo problema è un’ulteriore istanza del fatto che “tutti i nostri problemi sociopolitici del futuro avranno un computer al loro interno”^[2]«This means that all of our sociopolitical problems in the future will have a computer inside them, too» op. cit., come previsto da Cory Doctorow nella in “The Coming Civil War over General Purpose Computing” ed in “Lockdown: The coming war on general-purpose computing”.

In questo contesto – con tutte le considerazioni che ne derivano, specie quelle legate alla sicurezza ^[3]Per cui in particolare dovremmo guardare a quanto viene discusso nell’ambito dei dispositivi medici impiantabili (si veda Killed by Code: Software Transparency in Implantable Medical … Continue reading^[4]Senza contare che sono già stati dimostrati svariati casi di hacking, anche remoto, di diversi modelli di auto, uno dei più famosi è quello messo a punto da Charlie Miller e Chris Valasek e … Continue reading il profilo etico è uno strumento per l’utente di controllare il comportamento di un dispositivo comandato da del software che può prendere decisioni potenzialmente molto importanti per la vita dell’utente stesso e altrui.

Il profilo etico si va a inserire nello stesso filone dei movimenti di advocacy che richiedono che il software che controlla dispositivi che realizzano funzioni vitali per un utente, come per esempio i dispositivi medici impiantabil, sia disponibile ^[5]Si vedano: (1) “Could hackers break my heart via my pacemaker?” di Chris Vallance (dic 2015) e (2) “Cyborg lawyer demands software source” di Stilgherrian (gen 2012)., tuttavia si pone a un livello intermedio tra il completo controllo dell’utente (accesso al codice sorgente e possibilità di modificarlo), il completo controllo del produttore (possibilità di scegliere un unico profilo) e il completo controllo del legislatore (comportamento definito dalla legge).

Rimangono da esplorare le conseguenze della proliferazione di diversi profili etici su diversi dispositivi e sulla loro interazione (per esempio esistono configurazioni globali migliori di altre?), ma prima di porsi questi problemi è necessario che la società concordi sul fatto che questo il profilo etico è uno strumento necessario per bilanciare la responsabilità e le liberta di tutte le parti in gioco. Serve quindi che il profilo etico venga studiato, come sta facendo il progetto Moral Machine all’MIT e poi venga effettivamente implementato nelle (prossime) auto a guida autonoma.

---

Nell’immagine: la linea di assemblea robotizzata di Tesla Motors. Foto di
Steve Jurvetson via Flickr (CC-BY 2.0).