Verdens første dødsfald i en robotbil var resultatet af en menneskelig fejl – og det kan ske igen

Den 20. november offentliggjorde National Transportation Safety Board (NTSB) resultaterne af sin undersøgelse af Uber-ulykken i Tempe i Arizona i 2018, som blev anset for at være verdens første dødsfald i en selvkørende bil.

Men i stedet for at give Ubers robotbil håndjern på, fremhævede efterforskerne i stedet de mange menneskelige fejl, som kulminerede i den 49-årige Elaine Herzbergs død. Og de lød en advarsel: Det kan ske igen.

“Hvis din virksomhed tester automatiserede køresystemer på offentlige veje, så handlede dette uheld om dig,” sagde NTSB’s formand Robert Sumwalt i sin åbningserklæring ved høringen i går.

Da bestyrelsen læste sine konklusioner om den sandsynlige årsag til ulykken i Tempe højt, var den første person, der fik skylden, Rafaela Vasquez, sikkerhedschaufføren i køretøjet på ulykkestidspunktet. Vasquez blev aldrig nævnt ved navn, men hendes svigt som vagthund for det automatiserede køresystem blev tydeligt fremlagt af NTSB.

I minutterne før kollisionen var Vasquez angiveligt i gang med at streame et afsnit af The Voice på sin telefon, hvilket er i strid med Ubers politik, der forbyder brug af telefoner. Faktisk fastslog efterforskerne, at hun havde kigget ned på sin telefon og væk fra vejen i over en tredjedel af den samlede tid, hun havde siddet i bilen frem til ulykkesøjeblikket.

Vasquez’ manglende “overvågning af kørselsmiljøet og driften af det automatiserede køresystem, fordi hun var visuelt distraheret under hele turen af sin personlige mobiltelefon” blev anført som den primære årsag til ulykken. Men hun deler skylden med sine arbejdsgivere hos Uber, hvor en sørgeligt utilstrækkelig sikkerhedskultur også bidrog til Herzbergs død, sagde nævnet. Ligeledes bar den føderale regering også sin del af ansvaret for at undlade at regulere autonome biloperationer bedre.

Billede: ABC 15

“Efter min mening har de sat teknologiske fremskridt her før at redde liv”, sagde NTSB-bestyrelsesmedlem Jennifer Homendy om National Highway Traffic Safety Administration (NHTSA), som er ansvarlig for at regulere køretøjers sikkerhedsstandarder.

På tidspunktet for ulykken havde Ubers Advanced Technologies Group ingen sikkerhedsplan for virksomheden eller et vejledende dokument, der identificerede de enkelte medarbejderes roller og ansvar for at styre sikkerheden, sagde Michael Fox, senior highway accident investigator ved NTSB. Virksomheden manglede også en sikkerhedsafdeling og havde ikke en dedikeret sikkerhedschef med ansvar for risikovurdering og risikoreduktion. I ugerne før ulykken traf Uber den skæbnesvangre beslutning om at reducere antallet af sikkerhedsførere i hvert køretøj fra to til én. Denne beslutning fjernede en vigtig redundans, som kunne have været med til at forhindre Herzbergs død.

Vasquez var ikke alene alene i bilen på det tidspunkt, men hendes selvtilfredse holdning til bilens automatiserede køresystem var også med til at bidrage til ulykken. Og den holdning var sørgeligt malplaceret. Bilen registrerede, at Herzberg var ved at krydse vejen med sin cykel 5,6 sekunder før kollisionen. Men selv om systemet fortsatte med at følge Herzberg lige indtil ulykken, identificerede det hende aldrig korrekt som et menneske på vejen, og det forudsagde heller ikke præcist hendes vej.

“Automatiseringskompatibilitet … skal være en del af alles ordforråd”, sagde Bruce Landsberg, medlem af NTSB’s bestyrelse.

Vasquez var fuldstændig uvidende om denne konflikt, indtil det var for sent. En af de implicitte erfaringer fra Uber-ulykken og den efterfølgende NTSB-undersøgelse er underudnyttelsen af sikkerhedsførere i selvkørende biler, sagde Mary “Missy” Cummings, direktør for Humans and Autonomy Lab på Duke University. Uber og andre virksomheder, der tester selvkørende biler, ansætter typisk uafhængige entreprenører som sikkerhedschauffører til at køre rundt i bilerne og generere kilometer. De betragtes som lidt mere end kroppe i sæder. I stedet bør de ses som kritiske partnere i en testprotokol, der kan give meget nyttig feedback, sagde Cummings.

“Selvfølgelig vil det koste penge,” sagde hun. “På trods af alles læbesnak om, at sikkerhed er altafgørende, er der ingen, som jeg kender til, der støtter sikkerhedsførere på denne måde.”

Ubers aggressive virksomhedskultur – behovet for at teste autonome køretøjer, selv om teknologien ikke var klar – er blevet afsløret ikke kun gennem denne undersøgelse, men også gennem den retssag, der er anlagt af Waymo, det selvkørende selskab, der er udsprunget af Google, og som beskyldte Uber for at stjæle sine forretningshemmeligheder om selvkørende køretøjer.

Foto: Uber

“Chaufføren havde én chance for at redde sit liv”, fortalte en tidligere Uber ATG-medarbejder, der var ansat i virksomheden på ulykkestidspunktet, til The Verge, “men Uber havde dusinvis.”

Uber ATG var under et enormt pres for at vise resultater til den nye administrerende direktør Dara Khosrowshahi, der angiveligt overvejede at lukke afdelingen på grund af stigende R&D-omkostninger. Det fik dem til at skære i hjørnerne, selv om selskabet siden har gjort store fremskridt for at rette op på disse fejltagelser.

NTSB’s bestyrelsesmedlemmer gemte deres mest skarpe vurderinger til den føderale regering. Homendy bebrejdede NHTSA for at prioritere teknologiske fremskridt frem for at redde liv, og hun kaldte agenturets frivillige vejledning så “slap”, at den er “latterlig”.

De frivillige sikkerhedsretningslinjer blev først etableret under præsident Obama, som frygtede, at restriktive regler for test af selvkørende biler kunne kvæle innovationen. Disse regler er blevet gjort endnu mere lempelige under præsident Trump, der gik videre ved at fjerne en all-star føderal komité om køretøjsautomatisering, der skulle tjene som en “kritisk ressource” for transportministeriet. Trump har fjernet udvalget uden at fortælle det til nogle af dets medlemmer, rapporterede The Verge for nylig.

Der er indtil videre kun 16 virksomheder, der har indsendt frivillige sikkerhedsrapporter til NHTSA, hvoraf mange af dem er lidt mere end “markedsføringsbrochurer”, sagde Ensar Becic, projektleder og undersøger af menneskelige præstationer i Office of Highway Safety. Det repræsenterer kun en brøkdel af de over 60 virksomheder, der tester selvkørende biler alene i Californien.

“Jeg mener, I kan lige så godt sige, at vi gerne vil have jeres vurderinger, men vi kræver det virkelig ikke,” sagde Homendy under høringen. “Så hvorfor gøre det?”

Transportministeriet har udsendt tre versioner af sin vejledning om sikkerhed for automatiserede køretøjer, og det planlægger at udsende en fjerde version, der inddrager erfaringerne fra Tempe-ulykken, sagde Joel Szabat, fungerende undersekretær for politik i transportministeriet, under en høring i Senatet den 20. november. (Det oprindelige dokument hedder “Automated Driving Systems: A Vision for Safety”. “De burde omdøbe det til “A Vision for Lack of Safety”,” spøgte Homendy.)

I dag er der ingen føderale love, der kræver, at AV-operatører skal påvise sikkerheden af deres køretøjer, før de afprøver dem på offentlige veje eller leverer data om udkoblinger eller fejl i deres automatiserede køresystemer. Regeringens eneste rolle er reaktiv: at tilbagekalde en del, hvis den er defekt, eller iværksætte en undersøgelse i tilfælde af en ulykke.

I sin endelige rapport anbefaler NTSB, at dette ændres. AV-operatører bør være forpligtet, ikke opfordret, til at indsende sikkerhedsvurderinger, hvis de ønsker at teste deres køretøjer på offentlige veje, argumenterer den, og der skal være en proces for løbende evaluering for at afgøre, om AV-operatører holder sig til deres sikkerhedsmål.

Men dagen efter, at rapporten blev offentliggjort, vidnede NHTSA’s øverste administrator på en høring i Senatet om, at Kongressen bør vedtage en lov for at fremskynde udbredelsen af fuldt selvkørende biler, der mangler traditionelle kontroller som rat og pedaler. I øjeblikket har agenturet kun lov til at undtage i alt 25.000 køretøjer fra føderale sikkerhedsstandarder for motorkøretøjer om året.

“Som vi hører fra industrien, er dette loft måske for lille”, sagde NHTSA’s fungerende administrator James Owens.

Det tidligere forsøg på at ophæve begrænsningerne for biler uden menneskelig kontrol floppede. Demokraterne i Senatet blokerede lovforslaget med henvisning til utilstrækkelige foranstaltninger til at sikre sikkerheden. Et andet forsøg er på vej, men det er endnu uvist, om det kan samle stemmer nok til at blive vedtaget.

Overdrevent restriktive føderale regler på dette stadie af en hurtigt skiftende teknologi vil højst sandsynligt forårsage betydeligt mere skade end gavn, sagde Raj Rajkumar, professor i elektrisk og computerteknik ved Carnegie Mellon University. “Bare fordi Uber og deres operatør derefter opførte sig dårligt, bør alle andre ikke straffes,” sagde han.

Autonome køretøjer skal redde liv, ikke tage dem. Og hvis folk ikke har tillid til de virksomheder, der bygger teknologien, vil det livreddende potentiale i selvkørende biler aldrig blive realiseret. Bilerne vil strejfe rundt i gaderne, tomme og underudnyttede, indtil operatørerne trækker stikket ud.

Opgørelser viser, at halvdelen af de voksne i USA mener, at automatiserede køretøjer er farligere end traditionelle køretøjer, der betjenes af mennesker. Meningerne er allerede ved at hærde, og det er uklart, hvad der kan gøres for at fortryde den skade, som Uber-ulykken allerede har forårsaget.