Нужни са по-високи стандарти при автономните системи

Макар двете катастрофи с Boeing 737 Max все още да се разследват, дизайнът, тестването и внедряването на софтуера изглежда са изиграли важна роля. Роля е изиграл и процесът, чрез който хората би трябвало да могат да поемат контрола от дефектиращ софтуер. Говори се, че разследващите катастрофите са открили, че ръчното управление вместо автопилота е изисквало вдигането на лост, което някои пилоти не са имали силата да направят.

В ситуации на живот и смърт е сериозна грешка да се приеме, че човешкият фактор ще може да установи проблема със софтуера и ще поеме навреме контрола, за да го реши. Сега действащите системи рискуват опасно да приспят вниманието на хората. Нещо повече, това допускане означава, че автоматичните системи няма нужда да бъдат съвършени, и че вместо това трябва да бъдат само „достатъчно автоматизирани”.

Междувременно, нарастващата употреба на машинни алгоритми, които не могат да обяснят своите решения, може да направи още по-трудно за хората и компютрите да работят гладко и безопасно заедно. Поверяването на компютрите на критични решения се базира на разбирането, че те ще свършат работата далеч по-добре от хората. След като позволяваме на компютрите да вземат такива решения автономно, трябва да настояваме за нови по-строги софтуерни стандарти.

Трябва да се изисква от инженерите да направят своите системи работещи при всички обстоятелства поне толкова добре, колкото хората, ако не и по-добре. Винаги трябва да има възможност хората да поемат контрола от машините, но това не трябва да бъде извинение за калпавия дизайн на системите. Трябва да сме много по-малко толерантни към сфотуерни бъгове. Несправедливо, нереалистично и неразумно е да приемем, че човешката намеса може да компенсира непълния или лош дизайн на автоматизираната система.

Автоматизацията може да осигури по-голяма безопасност на хората. Тя ще направи много индустрии по-ефективни. Но делегирайки повече отговорност на алгоритмите, трябва да повишим и изискванията си. Стандартите и практиките, които бяха достатъчно добри, когато програмите просто асистираха на хората, са неадекватни за автономните системи, при които е заложен човешки живот. Колкото по-бързо извършим тази промяна, толкова по-скоро ще усетим пълната полза от автоматизацията, и ще преодолеем опасностите й.