De eerste dode robotauto ter wereld was het gevolg van menselijke fouten – en het kan opnieuw gebeuren

Op 20 november heeft de National Transportation Safety Board (NTSB) de resultaten vrijgegeven van zijn onderzoek naar de fatale Uber-crash van 2018 in Tempe, Arizona, waarvan algemeen werd aangenomen dat het ’s werelds eerste dode door een zelfrijdende auto was.

Maar in plaats van de handboeien op de robotauto van Uber te slaan, benadrukten onderzoekers in plaats daarvan de vele menselijke fouten die culmineerden in de dood van de 49-jarige Elaine Herzberg. En ze klonk een waarschuwing: het kan weer gebeuren.

“Als uw bedrijf geautomatiseerde rijsystemen test op de openbare weg, deze crash, het ging over u,” zei NTSB-voorzitter Robert Sumwalt gisteren in zijn openingsverklaring van de hoorzitting.

Toen de raad zijn bevindingen over de waarschijnlijke oorzaak van de crash in Tempe voorlas, was de eerste persoon die de schuld kreeg Rafaela Vasquez, de veiligheidsbestuurder in het voertuig op het moment van de crash. Vasquez werd nooit bij naam genoemd, maar haar tekortkomingen als waakhond voor het geautomatiseerde rijsysteem werden door de NTSB op een grimmige manier in beeld gebracht.

In de minuten voor de botsing, was Vasquez naar verluidt een aflevering van The Voice aan het streamen op haar telefoon, wat in strijd is met het beleid van Uber dat telefoongebruik verbiedt. In feite hebben onderzoekers vastgesteld dat ze naar beneden had gekeken op haar telefoon en weg van de weg voor meer dan een derde van de totale tijd dat ze in de auto was geweest tot het moment van het ongeval.

Vasquez’s falen “om de rij-omgeving en de werking van het geautomatiseerde rij-systeem in de gaten te houden, omdat ze gedurende de hele reis visueel werd afgeleid door haar persoonlijke mobiele telefoon” werd genoemd als de primaire oorzaak van het ongeval. Maar ze deelt de schuld met haar werkgevers bij Uber, waar een jammerlijk ontoereikende veiligheidscultuur ook heeft bijgedragen tot de dood van Herzberg, aldus de raad. Evenzo droeg de federale overheid ook haar deel van de verantwoordelijkheid voor het falen om autonome auto-operaties beter te reguleren.

Beeld: ABC 15

“Naar mijn mening hebben ze hier technologische vooruitgang boven het redden van levens gesteld,” zei NTSB-bestuurslid Jennifer Homendy over de National Highway Traffic Safety Administration (NHTSA), die verantwoordelijk is voor het reguleren van veiligheidsnormen voor voertuigen.

Op het moment van de crash had de Advanced Technologies Group van Uber geen bedrijfsveiligheidsplan of leidend document dat individuele werknemersrollen en verantwoordelijkheden identificeerde om de veiligheid te beheren, zei Michael Fox, senior snelwegongevallenonderzoeker bij de NTSB. Het bedrijf had ook geen veiligheidsdivisie en had geen speciale veiligheidsmanager die verantwoordelijk was voor risicobeoordeling en -beperking. In de weken voor het ongeluk nam Uber de noodlottige beslissing om het aantal veiligheidsbestuurders in elk voertuig terug te brengen van twee naar één. Dat besluit verwijderde belangrijke redundantie die de dood van Herzberg had kunnen helpen voorkomen.

Niet alleen was Vasquez alleen in de auto op het moment, maar haar zelfgenoegzame houding over het geautomatiseerde rijsysteem van de auto heeft ook bijgedragen aan de crash. En die houding was jammerlijk misplaatst. De auto detecteerde dat Herzberg de straat overstak met haar fiets 5,6 seconden voor de botsing. Maar hoewel het systeem Herzberg bleef volgen tot aan het ongeval, heeft het haar nooit correct geïdentificeerd als een mens op de weg, noch heeft het nauwkeurig haar pad voorspeld.

“Automatisering zelfgenoegzaamheid … moet in ieders vocabulaire,” zei Bruce Landsberg, een NTSB bestuurslid.

Vasquez was zich totaal niet bewust van dit conflict totdat het te laat was. Een van de impliciete lessen van de Uber-crash en het daaropvolgende NTSB-onderzoek is de onderbenutting van veiligheidsbestuurders in zelfrijdende auto’s, zei Mary “Missy” Cummings, directeur van Humans and Autonomy Lab aan de Duke University. Uber en andere bedrijven die testen zelf rijden auto’s meestal huren onafhankelijke contractanten als veiligheid chauffeurs om rond te rijden in de auto’s en kilometers te genereren. Ze worden gezien als niet veel meer dan lichamen op stoelen. In plaats daarvan moeten ze worden gezien als kritische partners in een testprotocol dat zeer nuttige feedback kan geven, zei Cummings.

“Natuurlijk, dit zou geld kosten,” zei ze. “Ondanks ieders lippendienst dat veiligheid voorop staat, ondersteunt niemand die ik ken veiligheidsbestuurders op deze manier.”

Uber’s agressieve bedrijfscultuur – de noodzaak om autonome voertuigen te testen, ook al was de technologie nog niet klaar – is niet alleen door dit onderzoek blootgelegd, maar ook door de rechtszaak die Waymo, het zelfrijdende bedrijf dat is voortgekomen uit Google, heeft aangespannen en dat Uber beschuldigt van het stelen van zijn handelsgeheimen op het gebied van zelfrijden.

Foto: Uber

“De chauffeur had één kans om haar leven te redden,” vertelde een voormalige Uber ATG-werknemer die bij het bedrijf was op het moment van de crash, aan The Verge, “maar Uber had er tientallen.”

Uber ATG stond onder enorme druk om resultaten te laten zien aan de nieuwe CEO, Dara Khosrowshahi, die naar verluidt overwoog om de divisie te sluiten vanwege de stijgende R&D-kosten. Dat leidde hen om hoeken te snijden, hoewel het bedrijf sindsdien aanzienlijke stappen heeft gezet om die fouten aan te pakken.

De bestuursleden van de NTSB bewaarden hun meest verzengende beoordelingen voor de federale overheid. Homendy verweet de NHTSA voorrang te geven aan technologische vooruitgang boven het redden van levens, en ze noemde de vrijwillige begeleiding van het agentschap zo “laks” dat het “lachwekkend” was.

De vrijwillige veiligheidsrichtlijnen werden voor het eerst vastgesteld onder president Obama, die vreesde dat beperkende regels voor het testen van zelfrijdende auto’s innovatie zouden kunnen verstikken. Die regels zijn nog lakser gemaakt onder president Trump, die nog verder ging door een federaal all-star comité voor automatisering van voertuigen te elimineren dat bedoeld was om te dienen als een “kritieke bron” voor het ministerie van Vervoer. Trump schrapte de commissie zonder het zelfs aan sommige van zijn leden te vertellen, meldde The Verge onlangs.

Tot nu toe hebben slechts 16 bedrijven vrijwillige veiligheidsrapporten ingediend bij de NHTSA, waarvan er veel neerkomen op weinig meer dan “marketingbrochures”, zei Ensar Becic, projectmanager en onderzoeker van menselijke prestaties in het Office of Highway Safety. Dat vertegenwoordigt slechts een fractie van de meer dan 60 bedrijven die alleen al in Californië zelfrijdende auto’s testen.

“Ik bedoel dat je net zo goed zou kunnen zeggen dat we uw beoordelingen zouden willen, maar we eisen het echt niet,” zei Homendy tijdens de hoorzitting. “Dus waarom zou je het doen?”

Het Department of Transportation heeft drie versies van zijn veiligheidsrichtlijnen voor geautomatiseerde voertuigen uitgegeven, en het is van plan om een vierde versie uit te brengen waarin de lessen uit de Tempe-botsing zijn verwerkt, zei Joel Szabat, waarnemend ondersecretaris van beleid bij het Department of Transportation, tijdens een hoorzitting van de Senaat op 20 november. (Het oorspronkelijke document heet “Automated Driving Systems: A Vision for Safety.” “Ze zouden het moeten hernoemen tot ‘A Vision for Lack of Safety,'” grapte Homendy.)

Tot op de dag van vandaag zijn er geen federale wetten die AV-exploitanten verplichten om de veiligheid van hun voertuigen aan te tonen voordat ze ze op de openbare weg testen of gegevens te verstrekken over ontkoppelingen of storingen in hun geautomatiseerde rijsystemen. De enige rol van de overheid is reactief: om een onderdeel terug te roepen als het defect is of een onderzoek te starten in het geval van een crash.

In zijn eindrapport beveelt de NTSB aan om dat te veranderen. AV-exploitanten moeten worden verplicht, niet aangemoedigd, om veiligheidsbeoordelingen in te dienen als ze hun voertuigen op de openbare weg willen testen, betoogt het, en er moet een proces zijn voor voortdurende evaluatie om te bepalen of AV-exploitanten zich aan hun veiligheidsdoelen houden.

Maar de dag nadat het rapport werd vrijgegeven, getuigde de topadministrateur van de NHTSA tijdens een hoorzitting van de Senaat dat het Congres een wet moet aannemen om de inzet van volledig zelfrijdende auto’s te versnellen die traditionele bedieningselementen zoals stuurwielen en pedalen missen. Momenteel mag het agentschap slechts een totaal van 25.000 voertuigen per jaar vrijstellen van federale veiligheidsnormen voor motorvoertuigen.

“Zoals we van de industrie horen, kan die limiet te klein zijn”, zei NHTSA-waarnemend beheerder James Owens.

De vorige poging om de beperkingen van auto’s zonder menselijke controles op te heffen flopte. Democraten in de Senaat blokkeerde het wetsvoorstel, onder verwijzing naar onvoldoende maatregelen om de veiligheid te waarborgen. Een tweede poging is in de werken, maar het valt nog te bezien of het kan verzamelen genoeg stemmen om door te gaan.

Overmatig beperkende federale regelgeving in dit stadium van een snel veranderende technologie zal zeer waarschijnlijk aanzienlijk meer kwaad dan goed doen, zei Raj Rajkumar, een professor in elektrische en computertechniek aan de Carnegie Mellon University. “Alleen omdat Uber en hun operator zich toen slecht gedroegen, moet iedereen niet worden gestraft,” zei hij.

Autonome voertuigen worden verondersteld levens te redden, niet ze te nemen. En als mensen geen vertrouwen hebben in de bedrijven die de technologie bouwen, dan zal het levensreddende potentieel van zelf-rijdende auto’s nooit werkelijkheid worden. De auto’s zullen leeg en onderbenut door de straten zwerven, totdat de exploitanten de stekker eruit trekken.

Polls tonen aan dat de helft van de Amerikaanse volwassenen denkt dat geautomatiseerde voertuigen gevaarlijker zijn dan traditionele voertuigen die door mensen worden bestuurd. De meningen zijn al aan het verharden, en het is onduidelijk wat er kan worden gedaan om de schade ongedaan te maken die de Uber-crash al heeft veroorzaakt.