PREMESSA. A marzo del 2018 una macchina a guida autonoma di UBER provocò la morte di un passante. Un articolo di Paolo Benanti ci aiuta a fare luce su quanto è accaduto, mostrando come l’incidente non sia avvenuto per un errore di progettazione, ma per qualcosa di molto più profondo che riguarda una questione chiave di tutto il settore e, più in generale, riguarda i limiti intrinseci di ogni progetto di Intelligenza Artificiale.
Ecco in sintesi quanto scrive Paolo Benanti nell’articolo: “Falsi positivi e guida autonoma: vista, visione o percezione?”
UN PO’ DI STORIA. In medicina i falsi positivi sono errori costosi, spaventosi e persino dolorosi. Normalmente in qualunque ambito in cui si presenti una decisione predittiva binaria (vero o falso), un falso positivo indica che è stato erroneamente segnalato come vero (positivo al test) qualcosa che in realtà non lo è. Un esempio in informatica è un antivirus che considera erroneamente dannoso un programma innocuo, generando un falso allarme.
In medicina, dove solitamente viene ipotizzata una malattia, un falso positivo indica un risultato positivo del test nonostante la condizione (ad esempio una gravidanza) non sia presente. Nel caso di un sospetto tumore al seno, sì, il dottore alla fine dirà che la biopsia di controllo dopo quella macchia sulla mammografia mette in chiaro che non c’è da temere. Ma le settimane trascorse sono state strazianti.
Dal verso opposto, un falso negativo non è migliore. Dopo la visita ci si sente dire: “Vada a casa, sta bene, quei mal di testa non sono nulla di cui preoccuparsi”. Ma gli esiti poi saranno ben diversi.
Chiunque costruisca apparecchi di rilevamento – test medici, apparecchiature per la sicurezza o software che deve rendere le automobili a guida autonoma in grado di percepire e valutare l’ambiente circostante – è a conoscenza e decisamente preoccupato da entrambi i tipi di scenario.
Il problema di evitare sia i falsi positivi che i falsi negativi, però, è che più si lavora per evitare uno e più si rischia di cadere nell’altro.
Questa introduzione ci serve per analizzare e commentare i nuovi dettagli del fatale incidente automobilistico di Uber a marzo: questi sottolineano non solo la difficoltà di questo problema, ma la sua centralità.
I FATTI. Secondo un rapporto preliminare pubblicato dalla National Transportation Safety Board (NTSB) a fine maggio, il sistema di Uber ha rilevato la presenza del pedone – Elaine Herzberg – sei secondi prima di colpirla e di ucciderla.
L’ha identificata prima come un oggetto sconosciuto, poi come un veicolo, quindi, alla fine, come una bicicletta.
Per chi non si ricordasse i dettagli la Herzberg stava spingendo una bici, stando con il corpo abbastanza vicino al velocipide (clicca qui per il video dell’incidente). Circa un secondo prima dello schianto, il sistema ha determinato che era necessario schiacciare i freni. Ma come l’NTSB ha spiegato dettagliatamente nel suo rapporto, Uber non aveva impostato il suo sistema per “agire in autonomia” su quel tipo di decisione.
Gli ingegneri hanno impedito alla loro auto di frenare improvvisamente da sola in situazioni analoghe, citiamo, “per ridurre il potenziale di comportamento erratico del veicolo”. L’azienda ha deciso di affidarsi all’operatore umano dell’auto in tali situazioni per evitare incidenti. Questa delega all’umano però apre una serie di problemi completamente diversi.
Gli ingegneri di Uber hanno deciso di non lasciare che la macchina freni automaticamente perché erano preoccupati che il sistema avrebbe potuto reagire in modo eccessivo a cose che non erano importanti o che non c’erano affatto.
Erano, in altre parole, molto preoccupati per i falsi positivi.
È noto, infatti, che i sensori per la guida autonoma dell’automobile interpretano male il vapore, i gas di scarico delle automobili o pezzi di cartone per strada scambiandoli per ostacoli simili agli spartitraffico in calcestruzzo. Hanno scambiato una persona in piedi oziosa sul marciapiede per qualcuno che si preparava a saltare in mezzo alla strada.
Ottenere letture sbagliate della realtà, nella visione del produttore, fa molto di più che bruciare le pastiglie dei freni e provocare la nausea ai passeggeri.
“I falsi positivi sono davvero pericolosi”, afferma Ed Olson, il fondatore della società di mobilità self-driving, May Mobility. “Un’auto che sta pigiando inaspettatamente sui freni rischia di finire tra i rottami”.
Ma gli sviluppatori possono anche fare troppo per evitare falsi positivi, insegnando inavvertitamente il loro software a filtrare i dati vitali. L’Autopilota di Tesla, che mantiene l’auto nella sua corsia e lontano dagli altri veicoli, per evitare di frenare ogni volta che i suoi sensori radar individuano un segnale autostradale o un coprimozzo scartato (il falso positivo), in modo semiautonomo filtra tutto ciò che non si muove.
Questo è il motivo per cui il sistema non è riuscito a vedere i camion fermi nei due casi di incidente provocate da Tesla negli ultimi mesi. Questo è un falso negativo.
VERO O FALSO? Trovare il giusto equilibrio tra ignorare ciò che non importa e riconoscere tutto ciò che è fondamentale è la questione chiave.
Per fare questo bisogna regolare le “manopole” degli algoritmi che gestiscono il software per la guida autonoma. Si tratta di regolare il modo in cui il sistema classifica e reagisce a ciò che vede, testando e ri-testando nuovamente i risultati rispetto ai dati raccolti.
Come ogni problema di ingegneria, è una questione di trade-off.
“Sei costretto a scendere a compromessi”, dice Olson. Per molti sviluppatori di auto a guida autonoma, la risposta al dilemma è stata quella di rendere l’auto un po’ troppo cauta.
Volendo usare un’immagine si sono più ispirati a una vecchia nonna che faceva un giro nella sua Cadillac, che non a un sedicenne che mostrava la Camaro che aveva ricevuto per il suo compleanno con la patente nuova di zecca.
Ma un’auto troppo cauta potrebbe anche rendere frustrati gli altri conducenti umani. Gli altri conducenti potrebbero essere tentati di accelerare presi da un fremito di impazienza, rendendo le strade più pericolose invece che più sicure.
Può anche essere scomodo e costoso: le robo-macchine di oggi hanno la tendenza a premere forte i freni al minimo accenno di una possibile collisione.
Questo è probabilmente il motivo per cui in tutti i report sugli incidenti che coinvolgono macchine a guida autonoma troviamo una grandissima percentuale di collisioni sul posteriore.
E ogni volta che gli sviluppatori armeggiano con quelle “manopole” software, devono ripetere il test del sistema per assicurarsi che i risultati siano soddisfacenti e sicuri.
VISTA E VISIONE. Fini qui l’articolo di Benanti che fa ulteriori riflessioni anche sulla differenza tra vista e visione.
Col termine Vista si intende la Acuità Visiva, cioè l’abilità di distinguere i dettagli a distanza. La Visione invece è la capacità di capire e interpretare quello che vediamo, cioè captare le informazioni, processarle e ricavarne un significato.
Come è facilmente intuibile il processo della visione è molto più complicato e va ben oltre la semplice verifica dell’acutezza visiva.
Oggi siamo in grado di sviluppare telecamere e sensori che hanno una vista molto migliore di quella dell’occhio umano.
Tuttavia la visione non si limita all’utilizzo dell’organo della vista. Gli occhi sono soltanto la parte più esterna di una “macchina complessa”.
L’informazione in entrata, dopo essere stata percepita dalla retina, passa al cervello, dove viene identificata, compresa e processata per essere poi memorizzata e darci la possibilità di rispondere con un’azione adeguata o fornendo a nostra volta altre informazioni.
Alla nascita la visione non è totalmente sviluppata, per questo dobbiamo “imparare a vedere” come impariamo a camminare. L’esperienza è fondamentale per il processo visivo.
La visione coinvolge gli organi visivi e le aree cerebrali preposte, coinvolge le aree cognitive del cervello per una lettura consapevole, alla ricerca di un significato e di una interpretazione “corretta” di ciò che sto vedendo.
Se, per esempio, vedo volare un foglio di giornale mentre sto guidando, mi devo preoccupare? E se mi viene addosso un foglio di metallo? Non basta vedere, devo interpretare ciò che vedo e agire di conseguenza.
CONCLUSIONE PERSONALE. Se oggi abbiamo una vista elettronica molto migliore di quella umana è la capacità di visione e percezione della macchina ci sfugge.
Il problema è irrisolvibile perché non dipende dagli attuali limiti tecnologici o da errori di programmazione, ma dalla scelta con sui si programma.
E’ possibile programmare in modo che la macchina sia estremamente sicura, ma in questo modo rischia di procedere troppo lentamente e fermarsi ad ogni possibile pericolo; oppure si può decidere di tralasciare alcune informazioni e aumentare il possibile rischio di incidente.
A questo punto ci troviamo di fronte ad un problema culturale. Dobbiamo sapere che il rischio zero non esiste, e non dipende dal fatto che il software è inadeguato e deve essere migliorato: il problema nasce da come noi umani decidiamo di impostare il software, cioè come impostiamo la sua “visione”.
La macchina potrà anche apprendere dai propri errori e riconoscere come pericoloso ciò che la prima volta aveva trascurato. Può quindi migliorare con l’esperienza, però non cambia il problema di fondo: il rischio zero non esiste, e non è un problema “tecnico” risolvibile.
POST SCRIPTUM
NEWSLETTER: Qui puoi iscriverti alla mia newsletter (a cadenza mensile per ricevere tutti gli aggiornamenti del blog).
Stefano Pollini. Formazione per PMI e strutture turistiche 