Pierwsza na świecie śmierć samochodu robota była wynikiem błędu ludzkiego – i może się powtórzyć

20 listopada Krajowa Rada Bezpieczeństwa Transportu (NTSB) opublikowała wyniki swojego dochodzenia w sprawie śmiertelnej katastrofy Ubera z 2018 r. w Tempe w Arizonie, która, jak powszechnie uważano, była pierwszą na świecie śmiercią spowodowaną przez samochód samojezdny.

Ale zamiast klepać mankiety na robotycznym samochodzie Ubera, śledczy zamiast tego podkreślili wiele ludzkich błędów, które kulminowały w śmierci 49-letniej Elaine Herzberg. I zabrzmiało ostrzeżenie: to może się powtórzyć.

„Jeśli twoja firma testuje zautomatyzowane systemy jazdy na drogach publicznych, ta katastrofa, to było o tobie”, przewodniczący NTSB Robert Sumwalt powiedział w swoim oświadczeniu otwierającym przesłuchanie wczoraj.

Gdy zarząd przeczytał na głos swoje ustalenia dotyczące prawdopodobnej przyczyny katastrofy w Tempe, pierwszą osobą, która została obwiniona była Rafaela Vasquez, kierowca bezpieczeństwa w pojeździe w momencie katastrofy. Vasquez nigdy nie została nazwana z imienia i nazwiska, ale jej błędy jako strażnika zautomatyzowanego systemu jazdy zostały pokazane przez NTSB.

W minutach przed zderzeniem, Vasquez był podobno streaming odcinek The Voice na jej telefonie, który jest wbrew Uber polityki zakazującej korzystania z telefonu. Śledczy ustalili, że przez ponad jedną trzecią czasu spędzonego w samochodzie, aż do momentu zderzenia, Vasquez spoglądała w dół na swój telefon i nie zwracała uwagi na drogę.

Zaniechanie przez Vasquez „monitorowania środowiska jazdy i działania zautomatyzowanego systemu jazdy, ponieważ przez cały czas podróży była rozproszona wzrokowo przez swój osobisty telefon komórkowy” zostało uznane za główną przyczynę wypadku. Ale ona dzieli winę z jej pracodawców w Uber, gdzie żałośnie nieodpowiednia kultura bezpieczeństwa również przyczyniły się do śmierci Herzberg, zarząd powiedział. Podobnie, rząd federalny również poniósł swoją część odpowiedzialności za brak lepszej regulacji autonomicznych operacji samochodowych.

Obraz: ABC 15

„Moim zdaniem położyli zaawansowanie technologiczne tutaj przed ratowaniem życia”, członek zarządu NTSB Jennifer Homendy powiedział o National Highway Traffic Safety Administration (NHTSA), który jest odpowiedzialny za regulowanie standardów bezpieczeństwa pojazdów.

W czasie katastrofy, Uber’s Advanced Technologies Group nie miał korporacyjnego planu bezpieczeństwa lub dokumentu przewodniego, który zidentyfikował indywidualne role pracowników i obowiązki w zakresie zarządzania bezpieczeństwem, powiedział Michael Fox, starszy śledczy ds. wypadków drogowych w NTSB. Firma nie posiadała również działu bezpieczeństwa i nie miała dedykowanego kierownika ds. bezpieczeństwa odpowiedzialnego za ocenę i ograniczanie ryzyka. W tygodniach poprzedzających katastrofę, Uber podjął fatalną decyzję o zmniejszeniu liczby kierowców bezpieczeństwa w każdym pojeździe z dwóch do jednego. Ta decyzja usunęła ważną redundancję, która mogła pomóc zapobiec śmierci Herzberga.

Nie tylko Vasquez była sama w samochodzie w tym czasie, ale jej zadufana postawa dotycząca zautomatyzowanego systemu jazdy samochodu również przyczyniła się do katastrofy. A to nastawienie było żałośnie nietrafione. Samochód wykrył, że Herzberg przechodziła przez ulicę z rowerem na 5,6 sekundy przed zderzeniem. Ale mimo, że system kontynuował śledzenie Herzberg aż do momentu wypadku, nigdy nie zidentyfikował jej poprawnie jako człowieka na drodze, ani nie przewidział dokładnie jej drogi.

„Automatyzm samozadowolenia… musi być w słowniku każdego”, powiedział Bruce Landsberg, członek zarządu NTSB.

„Oczywiście, to będzie kosztować pieniądze,” powiedziała. „Pomimo tego, że wszyscy twierdzą, że bezpieczeństwo jest najważniejsze, nikt, o kim wiem, nie wspiera kierowców bezpieczeństwa w ten sposób.”

Agresywna kultura korporacyjna Ubera – potrzeba testowania pojazdów autonomicznych, mimo że technologia nie była gotowa – została ujawniona nie tylko dzięki temu dochodzeniu, ale także dzięki pozwowi wniesionemu przez Waymo, samojezdną firmę wyodrębnioną z Google, która oskarżyła Ubera o kradzież swoich tajemnic handlowych dotyczących samojezdnych pojazdów.

Fot: Uber

„Kierowca miał jedną szansę na uratowanie jej życia”, powiedział The Verge jeden z byłych pracowników Uber ATG, który był z firmą w czasie wypadku, „ale Uber miał dziesiątki.”

Uber ATG był pod ogromną presją, aby pokazać wyniki nowemu CEO, Dara Khosrowshahi, który podobno rozważał zamknięcie oddziału ze względu na rosnące koszty R&D. To doprowadziło ich do cięcia na skróty, choć firma od tego czasu poczyniła znaczne postępy, aby zająć się tymi błędami.

Członkowie zarządu NTSB zachowali swoje najbardziej ostre oceny dla rządu federalnego. Homendy obwiniał NHTSA za priorytetowe traktowanie postępu technologicznego nad ratowaniem życia, a ona nazwała dobrowolne wytyczne agencji tak „pobłażliwe”, że aż „śmieszne”.

Dobrowolne wytyczne dotyczące bezpieczeństwa zostały po raz pierwszy ustanowione za czasów prezydenta Obamy, który obawiał się, że restrykcyjne zasady regulujące testowanie samojeżdżących samochodów mogą zdławić innowacje. Zasady te zostały jeszcze bardziej złagodzone przez prezydenta Trumpa, który posunął się dalej, eliminując federalną komisję ds. automatyzacji pojazdów, która miała służyć jako „krytyczny zasób” dla Departamentu Transportu. Trump zlikwidował komisję, nie informując nawet niektórych jej członków, jak donosi The Verge.

Do tej pory tylko 16 firm złożyło dobrowolne raporty bezpieczeństwa do NHTSA, z których wiele to niewiele więcej niż „broszury marketingowe”, powiedział Ensar Becic, kierownik projektu i badacz wydajności ludzkiej w Biurze Bezpieczeństwa Drogowego. To reprezentuje tylko ułamek z ponad 60 firm testujących samojeżdżące samochody w samej Kalifornii.

„Chodzi mi o to, że równie dobrze można powiedzieć, że chcielibyśmy waszych ocen, ale tak naprawdę nie wymagamy tego” – powiedział Homendy podczas przesłuchania. „Więc po co to robić?”

Departament Transportu wydał trzy wersje swoich wytycznych dotyczących bezpieczeństwa zautomatyzowanych pojazdów i planuje wydać czwartą wersję, która uwzględnia wnioski wyciągnięte z katastrofy w Tempe, powiedział Joel Szabat, p.o. podsekretarza polityki w Departamencie Transportu, podczas przesłuchania w Senacie 20 listopada. (Oryginalny dokument nosi tytuł „Automated Driving Systems: A Vision for Safety”. „Powinni zmienić jego nazwę na 'Wizja braku bezpieczeństwa'” – zażartował Homendy.)

Dzisiaj nie ma żadnych przepisów federalnych wymagających od operatorów AV, aby zademonstrowali bezpieczeństwo swoich pojazdów przed przetestowaniem ich na drogach publicznych lub dostarczyli dane o wyłączeniach lub awariach w swoich zautomatyzowanych systemach jazdy. Jedyna rola rządu jest reaktywna: wycofanie części z rynku, jeśli jest wadliwa lub wszczęcie dochodzenia w przypadku wypadku.

W swoim raporcie końcowym NTSB zaleca zmianę tego stanu rzeczy. Operatorzy AV powinni być zobowiązani, a nie zachęcani, do przedstawiania ocen bezpieczeństwa, jeśli chcą testować swoje pojazdy na drogach publicznych, argumentuje, i musi istnieć proces ciągłej oceny, aby określić, czy operatorzy AV trzymają się swoich celów bezpieczeństwa.

Ale dzień po raporcie został wydany, NHTSA’s top administrator zeznał na przesłuchaniu w Senacie, że Kongres powinien uchwalić prawo, aby przyspieszyć wdrożenie w pełni samojeżdżących samochodów, które nie mają tradycyjnych kontroli, takich jak kierownice i pedały. Obecnie agencja może zwolnić tylko 25.000 pojazdów z federalnych norm bezpieczeństwa pojazdów silnikowych rocznie.

„Jak słyszymy od przemysłu, że limit może być zbyt mały,” powiedział NHTSA p.o. administratora James Owens.

Poprzednia próba zniesienia ograniczeń samochodów bez kontroli człowieka flopped. Demokraci w Senacie zablokował ustawę, powołując się na niewystarczające środki w celu zapewnienia bezpieczeństwa. Druga próba jest w pracach, ale to pozostaje do zobaczenia, czy to może uzyskać wystarczającą liczbę głosów, aby przejść.

Nadmiernie restrykcyjne przepisy federalne na tym etapie szybko zmieniającej się technologii będzie bardzo prawdopodobnie spowodować znacznie więcej szkody niż pożytku, powiedział Raj Rajkumar, profesor inżynierii elektrycznej i komputerowej w Carnegie Mellon University. „Tylko dlatego, że Uber i ich operator wtedy zachowali się źle, wszyscy inni nie powinni być karani”, powiedział.

Autonomiczne pojazdy mają ratować życie, a nie je odbierać. A jeśli ludzie nie ufają firmom, które budują technologię, wtedy ratujący życie potencjał samojezdnych samochodów nigdy się nie zmaterializuje. Samochody będą jeździć po ulicach, puste i niewykorzystane, dopóki operatorzy nie wyciągną wtyczki.

Sondaże pokazują, że połowa dorosłych Amerykanów uważa, że zautomatyzowane pojazdy są bardziej niebezpieczne niż tradycyjne pojazdy obsługiwane przez ludzi. Opinie już się utwardzają i nie jest jasne, co można zrobić, aby cofnąć szkody, które krach Uber już spowodował.