První smrt robotického auta na světě byla důsledkem lidské chyby – a může se opakovat

Národní úřad pro bezpečnost dopravy (NTSB) 20. listopadu zveřejnil výsledky vyšetřování smrtelné nehody Uberu v Tempe v Arizoně z roku 2018, která byla považována za první smrtelné neštěstí samořízeného auta na světě.

Vyšetřovatelé však místo toho, aby robotickému vozu společnosti Uber nasadili pouta, poukázali na mnoho lidských chyb, které vyústily ve smrt 49leté Elaine Herzbergové. A vyslovili varování: mohlo by se to opakovat.

„Pokud vaše společnost testuje systémy automatizovaného řízení na veřejných silnicích, tato nehoda, to bylo o vás,“ řekl předseda NTSB Robert Sumwalt ve svém včerejším úvodním prohlášení slyšení.

Když rada nahlas přečetla svá zjištění o pravděpodobné příčině nehody v Tempe, první obviněnou osobou byla Rafaela Vasquezová, bezpečnostní řidička ve vozidle v době nehody. Vasquezová nebyla nikdy jmenovitě označena, ale její selhání jako hlídače automatického systému řízení bylo NTSB vystaveno na odiv.

V minutách před nárazem Vasquezová údajně sledovala na svém telefonu epizodu seriálu The Voice, což je v rozporu se zásadami společnosti Uber zakazujícími používání telefonu. Vyšetřovatelé totiž zjistili, že více než třetinu z celkového času, který strávila ve voze až do okamžiku nehody, se dívala dolů na telefon a odvracela pohled od vozovky.

Jako hlavní příčina nehody bylo uvedeno, že Vasquezová „nesledovala jízdní prostředí a činnost automatizovaného systému řízení, protože byla po celou dobu jízdy vizuálně rozptylována svým osobním mobilním telefonem“. Podle komise však sdílí vinu se svými zaměstnavateli ve společnosti Uber, kde k Herzbergově smrti přispěla i žalostně nedostatečná kultura bezpečnosti. Stejně tak nesla svůj díl odpovědnosti i federální vláda, která nedokázala lépe regulovat provoz autonomních vozů.

Obrázek: ABC 15

„Podle mého názoru zde upřednostnili technologický pokrok před záchranou životů,“ uvedla členka rady NTSB Jennifer Homendyová na adresu Národního úřadu pro bezpečnost silničního provozu (NHTSA), který je zodpovědný za regulaci bezpečnostních standardů vozidel.

V době nehody neměla skupina Advanced Technologies Group společnosti Uber žádný firemní bezpečnostní plán nebo řídicí dokument, který by určoval role a povinnosti jednotlivých zaměstnanců při řízení bezpečnosti, uvedl Michael Fox, vedoucí vyšetřovatel dálničních nehod v NTSB. Společnost také neměla oddělení pro bezpečnost a neměla vyhrazeného manažera pro bezpečnost, který by byl zodpovědný za hodnocení a zmírňování rizik. V týdnech před nehodou učinila společnost Uber osudné rozhodnutí snížit počet bezpečnostních řidičů v každém vozidle ze dvou na jednoho. Toto rozhodnutí odstranilo důležitou redundanci, která mohla pomoci zabránit Herzbergově smrti.

Nejenže Vasquezová byla v té době ve voze sama, ale k nehodě přispěl i její samolibý přístup k systému automatického řízení vozu. A tento postoj byl žalostně nemístný. Auto zjistilo, že Herzbergová 5,6 sekundy před nárazem přechází ulici s jízdním kolem. Ale přestože systém sledoval Herzbergovou až do nehody, nikdy ji správně neidentifikoval jako člověka na silnici, ani přesně nepředpověděl její dráhu.

„Samolibost automatizace… musí být ve slovníku každého z nás,“ řekl Bruce Landsberg, člen rady NTSB.

Vasquezová si tohoto konfliktu vůbec nebyla vědoma, dokud nebylo příliš pozdě. Jedním z implicitních poučení z nehody Uberu a následného vyšetřování NTSB je nedostatečné využití bezpečnostních řidičů v samořízených vozech, uvedla Mary „Missy“ Cummingsová, ředitelka laboratoře Humans and Autonomy Lab na Dukeově univerzitě. Uber a další společnosti, které testují samořízená auta, obvykle najímají nezávislé smluvní partnery jako bezpečnostní řidiče, kteří jezdí v autech a generují kilometry. Jsou považováni za něco víc než těla na sedadlech. Místo toho by měli být vnímáni jako důležití partneři v testovacím protokolu, kteří mohou poskytnout velmi užitečnou zpětnou vazbu, řekl Cummings.

„Samozřejmě by to stálo peníze,“ řekla. „Navzdory tomu, že všichni mluví o tom, že bezpečnost je nejdůležitější, nikdo, o kom vím, bezpečnost řidičů tímto způsobem nepodporuje.“

Agresivní firemní kultura společnosti Uber – potřeba testovat autonomní vozidla, přestože technologie nebyla připravena – byla odhalena nejen díky tomuto vyšetřování, ale také díky žalobě podané společností Waymo, samořídicí společností vyčleněnou ze společnosti Google, která obvinila Uber z krádeže svých obchodních tajemství týkajících se samořízení.

Foto: Uber

„Řidička měla jednu šanci zachránit si život,“ řekl serveru The Verge jeden z bývalých zaměstnanců Uber ATG, který v době nehody ve společnosti pracoval, „ale Uber jich měl desítky.“

Uber ATG byl pod obrovským tlakem, aby ukázal výsledky novému generálnímu řediteli Darovi Khosrowshahimu, který údajně zvažoval uzavření divize kvůli rostoucím nákladům na výzkum a vývoj. To je vedlo ke škrtům, ačkoli společnost od té doby učinila významné kroky k odstranění těchto chyb.

Členové rady NTSB si svá nejostřejší hodnocení schovali pro federální vládu. Homendyová obvinila NHTSA, že upřednostňuje technologický pokrok před záchranou životů, a dobrovolné pokyny agentury označila za tak „laxní“, až jsou „směšné“.

Dobrovolné bezpečnostní pokyny byly poprvé zavedeny za prezidenta Obamy, který se obával, že restriktivní pravidla upravující testování samořízených automobilů by mohla potlačit inovace. Tato pravidla byla ještě více zmírněna za prezidenta Trumpa, který šel ještě dál a zrušil federální výbor pro automatizaci vozidel, který měl sloužit jako „kritický zdroj“ pro ministerstvo dopravy. Trump tento výbor zrušil, aniž by o tom informoval některé jeho členy, uvedl nedávno server The Verge.

Do dnešního dne předložilo NHTSA dobrovolné bezpečnostní zprávy pouze 16 společností, z nichž mnohé představují jen o málo více než „marketingové brožury“, uvedl Ensar Becic, projektový manažer a vyšetřovatel lidské výkonnosti v Úřadu pro bezpečnost silničního provozu. To představuje jen zlomek z více než 60 společností, které testují samořízená vozidla jen v Kalifornii.

„Chci říct, že byste mohli rovnou říct, že bychom chtěli vaše hodnocení, ale opravdu ho nevyžadujeme,“ řekl Homendy během slyšení. „Tak proč to dělat?“

Ministerstvo dopravy vydalo tři verze pokynů pro bezpečnost automatizovaných vozidel a plánuje vydat čtvrtou verzi, která bude zahrnovat poznatky z nehody v Tempe, uvedl Joel Szabat, zastupující náměstek pro politiku na ministerstvu dopravy, během senátního slyšení 20. listopadu. (Původní dokument se jmenuje „Automated Driving Systems: Vize pro bezpečnost“. „Měli by ho přejmenovat na ‚Vize pro nedostatek bezpečnosti‘,“ zavtipkoval Homendy.“)

Dnes neexistují žádné federální zákony, které by po provozovatelích AV vyžadovaly, aby před testováním svých vozidel na veřejných komunikacích prokázali jejich bezpečnost nebo poskytli údaje o odpojení nebo poruchách svých systémů automatizovaného řízení. Jediná role vlády je reaktivní: stáhnout součástku, pokud je vadná, nebo zahájit vyšetřování v případě nehody.

NTSB ve své závěrečné zprávě doporučuje toto změnit. Tvrdí, že pokud chtějí provozovatelé AV testovat svá vozidla na veřejných komunikacích, měli by být povinni předložit hodnocení bezpečnosti, nikoliv podporováni, a že je třeba zavést proces průběžného hodnocení, který by určil, zda se provozovatelé AV drží svých bezpečnostních cílů.

Den po zveřejnění zprávy však vrchní správce NHTSA na slyšení v Senátu vypověděl, že Kongres by měl přijmout zákon, který by urychlil zavádění plně samořízených automobilů, které postrádají tradiční ovládací prvky, jako je volant a pedály. V současné době smí agentura vyjmout z federálních bezpečnostních norem pro motorová vozidla celkem pouze 25 000 vozidel ročně.

„Jak slyšíme od průmyslu, tento limit může být příliš malý,“ řekl úřadující správce NHTSA James Owens.

Předchozí pokus o zrušení omezení pro automobily bez lidského řízení ztroskotal. Demokraté v Senátu návrh zablokovali s odkazem na nedostatečná opatření k zajištění bezpečnosti. Připravuje se druhý pokus, ale teprve se uvidí, zda se podaří sehnat dostatek hlasů, aby prošel.

Příliš restriktivní federální předpisy v této fázi rychle se měnící technologie velmi pravděpodobně způsobí podstatně více škody než užitku, uvedl Raj Rajkumar, profesor elektrického a počítačového inženýrství na Carnegie Mellon University. „Jen proto, že se pak Uber a jeho provozovatel chovali špatně, by neměli být trestáni všichni ostatní,“ řekl.

Autonomní vozidla mají zachraňovat životy, ne je brát. A pokud lidé nebudou důvěřovat společnostem, které tuto technologii vytvářejí, pak se potenciál samořízených aut, který zachraňuje životy, nikdy nenaplní. Auta se budou potulovat po ulicích, prázdná a nevyužitá, dokud je provozovatelé neodpojí.

Průzkumy ukazují, že polovina dospělých Američanů si myslí, že automatizovaná vozidla jsou nebezpečnější než tradiční vozidla řízená lidmi. Názory se již přitvrzují a není jasné, co lze udělat, aby se napravily škody, které již havárie Uberu způsobila.