Världens första dödsfall i en robotbil berodde på ett mänskligt fel – och det kan hända igen

Den 20 november offentliggjorde National Transportation Safety Board (NTSB) resultaten av sin utredning av den dödliga Uber-olyckan 2018 i Tempe, Arizona, som allmänt ansågs vara världens första dödsfall i en självkörande bil.

Men i stället för att slå handbojor på Ubers robotbil lyfte utredarna i stället fram de många mänskliga fel som kulminerade i 49-åriga Elaine Herzbergs död. Och de lät en varning ljuda: det kan hända igen.

”Om ditt företag testar automatiserade körsystem på allmänna vägar så handlade den här olyckan om dig”, sade NTSB:s ordförande Robert Sumwalt i sitt öppningsanförande vid utfrågningen i går.

När nämnden läste upp sina slutsatser om den sannolika orsaken till olyckan i Tempe var den första personen som fick skulden Rafaela Vasquez, säkerhetsföraren i fordonet vid tidpunkten för olyckan. Vasquez nämndes aldrig vid namn, men hennes misslyckanden som vakthund för det automatiserade körsystemet visades tydligt av NTSB.

Minuterna innan kollisionen rapporteras Vasquez ha streamat ett avsnitt av The Voice på sin telefon, vilket strider mot Ubers policy som förbjuder telefonanvändning. Faktum är att utredarna fastställde att hon hade tittat ner på sin telefon och bort från vägen i över en tredjedel av den totala tiden hon hade suttit i bilen fram till ögonblicket för kraschen.

Vasquez misslyckande ”att övervaka körmiljön och det automatiserade körsystemets funktion eftersom hon var visuellt distraherad under hela resan av sin personliga mobiltelefon” angavs som den främsta orsaken till olyckan. Men hon delar skulden med sina arbetsgivare på Uber där en sorgligt otillräcklig säkerhetskultur också bidrog till Herzbergs död, enligt nämnden. På samma sätt bar den federala regeringen också sin del av ansvaret för att den inte lyckades reglera autonoma bilverksamheter på ett bättre sätt.

Bild: ABC 15

”Enligt min åsikt har de satt teknikutveckling här före att rädda liv”, sade NTSB:s styrelseledamot Jennifer Homendy om National Highway Traffic Safety Administration (NHTSA), som ansvarar för att reglera säkerhetsstandarder för fordon.

Vid tiden för olyckan hade Ubers Advanced Technologies Group ingen säkerhetsplan för företaget eller något vägledande dokument som identifierade enskilda anställdas roller och ansvar för att hantera säkerheten, sade Michael Fox, senior utredare av trafikolyckor vid NTSB. Företaget saknade också en säkerhetsavdelning och hade ingen särskild säkerhetschef med ansvar för riskbedömning och riskminimering. Under veckorna före olyckan fattade Uber det ödesdigra beslutet att minska antalet säkerhetsförare i varje fordon från två till en. Detta beslut innebar att man tog bort viktig redundans som kunde ha hjälpt till att förhindra Herzbergs död.

Vasquez var inte bara ensam i bilen vid den tidpunkten, utan hennes självbelåtna inställning till bilens automatiserade körsystem bidrog också till olyckan. Och den attityden var sorgligt malplacerad. Bilen upptäckte att Herzberg korsade gatan med sin cykel 5,6 sekunder före kollisionen. Men även om systemet fortsatte att spåra Herzberg ända fram till kraschen identifierade det henne aldrig korrekt som en människa på vägen och förutsåg inte heller exakt hennes väg.

”Automatiseringens självbelåtenhet… måste finnas med i allas vokabulär”, sade Bruce Landsberg, styrelseledamot i NTSB.

Vasquez var helt omedveten om denna konflikt tills det var för sent. En av de implicita lärdomarna från Uber-kraschen och den efterföljande NTSB-utredningen är underutnyttjandet av säkerhetsförare i självkörande bilar, sade Mary ”Missy” Cummings, chef för Humans and Autonomy Lab vid Duke University. Uber och andra företag som testar självkörande bilar anlitar vanligtvis oberoende entreprenörer som säkerhetsförare för att åka runt i bilarna och generera mil. De ses som lite mer än kroppar i säten. I stället bör de ses som kritiska partner i ett testprotokoll som kan ge mycket användbar feedback, sade Cummings.

”Naturligtvis skulle detta kosta pengar”, sade hon. ”Trots allas läpparnas bekännelse om att säkerheten är viktigast, är det ingen som jag känner till som stöder säkerhetsförare på det här sättet.”

Ubers aggressiva företagskultur – behovet av att testa autonoma fordon trots att tekniken inte var klar – har avslöjats inte bara genom den här utredningen, utan också genom stämningen som väckts av Waymo, det självkörande företaget som knoppats av från Google, som anklagar Uber för att ha stulit sina affärshemligheter om självkörande fordon.

Foto: Uber

”Föraren hade en chans att rädda sitt liv”, berättade en tidigare anställd på Uber ATG som var anställd på företaget vid tiden för olyckan för The Verge, ”men Uber hade dussintals.”

Uber ATG stod under enorm press för att visa upp resultat för den nya vd:n Dara Khosrowshahi, som enligt uppgift funderade på att stänga ned divisionen på grund av stigande R&D-kostnader. Det ledde till att de skar ner på detaljer, även om företaget sedan dess har gjort stora framsteg för att åtgärda dessa misstag.

NTSB:s styrelseledamöter sparade sina mest skarpa bedömningar för den federala regeringen. Homendy beskyllde NHTSA för att prioritera teknisk utveckling framför att rädda liv, och hon kallade myndighetens frivilliga vägledning så ”slapp” att den är ”skrattretande”.

De frivilliga säkerhetsriktlinjerna upprättades först under president Obama som fruktade att restriktiva regler för testning av självkörande bilar skulle kunna kväva innovation. Dessa regler har gjorts ännu slappare under president Trump som gick ännu längre genom att eliminera en allstjärnig federal kommitté för fordonsautomatisering som var tänkt att fungera som en ”kritisk resurs” för transportministeriet. Trump avskaffade kommittén utan att ens berätta för några av dess medlemmar, rapporterade The Verge nyligen.

För närvarande har endast 16 företag lämnat in frivilliga säkerhetsrapporter till NHTSA, och många av dem är inte mycket mer än ”marknadsföringsbroschyrer”, säger Ensar Becic, projektledare och utredare av mänskliga prestationer vid Office of Highway Safety. Detta utgör bara en bråkdel av de över 60 företag som testar självkörande bilar enbart i Kalifornien.

”Jag menar att man lika gärna kan säga att vi skulle vilja ha era bedömningar, men att vi egentligen inte kräver det”, sade Homendy under utfrågningen. ”Så varför göra det?”

Transportdepartementet har utfärdat tre versioner av sin säkerhetsvägledning för automatiserade fordon och planerar att utfärda en fjärde version som innehåller lärdomar från Tempe-olyckan, sade Joel Szabat, tillförordnad biträdande understatssekreterare för politik vid transportdepartementet, under en utfrågning i senaten den 20 november. (Det ursprungliga dokumentet heter ”Automated Driving Systems: A Vision for Safety”. ”De borde döpa om det till ’A Vision for Lack of Safety'”, skämtade Homendy.)

I dag finns det inga federala lagar som kräver att operatörer av automatiserade körsystem ska visa att deras fordon är säkra innan de testar dem på allmänna vägar eller tillhandahålla data om urkoppling eller fel i deras automatiserade körsystem. Regeringens enda roll är reaktiv: att återkalla en del om den är defekt eller inleda en utredning i händelse av en olycka.

I sin slutrapport rekommenderar NTSB att detta ändras. AV-operatörer bör krävas, inte uppmuntras, att lämna in säkerhetsbedömningar om de vill testa sina fordon på allmänna vägar, hävdar man, och det måste finnas en process för fortlöpande utvärdering för att avgöra om AV-operatörer håller sig till sina säkerhetsmål.

Men dagen efter att rapporten släpptes vittnade NHTSA:s högsta administratör vid en utfrågning i senaten om att kongressen bör anta en lag för att påskynda utbyggnaden av helt självkörande bilar som saknar traditionella kontroller som ratt och pedaler. För närvarande får myndigheten endast undanta totalt 25 000 fordon från federala säkerhetsstandarder för motorfordon per år.

”Som vi hör från industrin kan det taket vara för litet”, säger NHTSA:s tillförordnade administratör James Owens.

Det tidigare försöket att häva restriktionerna för bilar utan mänsklig kontroll floppade. Demokraterna i senaten blockerade lagförslaget med hänvisning till otillräckliga åtgärder för att garantera säkerheten. Ett andra försök är på gång, men det återstår att se om det kan samla tillräckligt många röster för att gå igenom.

Överdrivet restriktiva federala bestämmelser i detta skede av en snabbt föränderlig teknik kommer med stor sannolikhet att orsaka betydligt mer skada än nytta, säger Raj Rajkumar, professor i elektroteknik och datorteknik vid Carnegie Mellon University. ”Bara för att Uber och deras operatör då betedde sig illa bör alla andra inte straffas”, sade han.

Autonoma fordon ska rädda liv, inte ta dem. Och om människor inte litar på de företag som bygger tekniken kommer den livräddande potentialen hos självkörande bilar aldrig att förverkligas. Bilarna kommer att vandra omkring på gatorna, tomma och underutnyttjade, tills operatörerna drar ur kontakten.

Undersökningar visar att hälften av de vuxna i USA anser att automatiserade fordon är farligare än traditionella fordon som styrs av människor. Åsikterna håller redan på att hårdna, och det är oklart vad som kan göras för att ångra den skada som Uber-kraschen redan har orsakat.