Нужни са по-високи стандарти при автономните системи

Делегираме все повече и по-важни решения на компютрите. Критиците се тревожат за сигурността на живота ни в свят на алгоритми, като тези опасения са разбираеми. Отговорът обаче не е в по-малката автоматизация. Всъщност ние се нуждаем от повече от нея, пише за Financial Times Дейвид Сийгъл, основател и съпредседател на инвестиционната група Two Sigma.

Доскоро основната роля на компютрите бе да помагат на хората да вземат решения. Електронният лист помага на анализатора с изчисленията, необходими, за да се планират определени действия. По подобен начин алгоритъмът може да препоръча конкретни инвестиции, но хората обикновено оценяват мъдростта на търговската стратегия, определят параметри за риск мениджмънт и наблюдават отблизо цялата дейност.

Това вече се променя. Все по-често на компютрите и изкуствения интелект се поверяват цели процеси, като в някои случаи е въпрос на живот и смърт, както при управлението на автомобили и самолети. Тази важна технологична промяна предизвика значителен дебат. Защитниците твърдят, че статистически автоматизацията носи по-голяма безопасност, като в много случаи това е вярно. Критиците посочват събития, в които компютрите са взели опасни решения, които разумни хора биха избегнали.

Този спор отразява предизвикателствата пред новите технологии, които още не се разбират напълно. Стандартите за качество на софтуера са от критична важност, както начуих чрез години на изследвания върху роботиката в Лабораторията за изкуствен интелект на MIT и след десетилетия на конструиране на автономни и полуавтономни системи за финансови услуги. Програмирането на компютрите да подпомагат хората да вземат решения е много по-лесно от програмирането им да действат напълно самостоятелно.

Като компютърен учен моята цел при изграждането на автоматизирана система бе да я направя колкото се може по-безгрешна и ефективна, но с вградени системи за защита и процедури за справяне с грешки. Това означава изграждане и тестване на системи с достатъчно висок стандарт, за да можем да им се доверим, и включване в дизайна на процедури за гладко справяне с всяка грешка. Заради тези защити обикновено е приемливо за определна програма, подпомагаща хората, от време на време да греши. Но ако софтуерът, направляващ вашата кола или самолет се провали, става въпрос за нещо съвсем друго.

Качеството на компютърните системи, които вземат решения трябва да е много по-високо, още повече когато се касае за човешки живот. И тъй като този софтуер по природа е много сложен, безопасното му тестване и поддържането на висок стандарт за качество е особено трудно. Последните инциденти с автопилотни системи в цивилната авиация и автономните коли потвърдиха това. Със сигурност ще последват още.