Изследовател от Anthropic напуска поради опасения, че AI излиза „извън контрол“

Изследовател от Anthropic напуска сектора на изкуствения интелект поради опасения, че лабораторията и нейните конкуренти се надпреварват да създават системи, които няма да могат да контролират – сигнал за нарастващи притеснения относно безопасността във водещите AI компании, съобщава Wall Street Journal.

Джейкъб Коксън – изследовател, специализирал се в обучението на нови AI модели чрез обработката на огромни количества данни, заяви във вторник, че напуска компанията, защото не иска да участва в общата за сектора надпревара за създаване на системи за изкуствен интелект, способни да се самоусъвършенстват, опасявайки се, че такива системи могат да излязат извън контрол и да унищожат човечеството.

27-годишният британец каза, че много от колегите му в бранша вече използват изрази като „crunchtime“ (интензивен период, съпътстван от голям натиск, на разработване и мащабиране на AI модели – бел.ред.) и „endgame“ (крайната цел или последният етап при разработването на модели – бел.ред.), за да опишат пътя към самоусъвършенстващите се модели.

„Насочваме се към много от най-агресивните от тези сценарии, при които до края на следващата година нещата вече биха могли да излязат извън контрол“, каза Коксън, добавяйки, че компромисите по отношение на безопасността са неизбежни, когато компаниите се конкурират помежду си и с китайските новодошли.

Anthropic не е коментирала веднага напускането. Изпълнителният директор Дарио Амодей и други ръководители на компанията многократно са предупреждавали за рисковете от неконтролируеми модели на изкуствен интелект и са призовавали индустрията да забави развитието.

Коксън заяви, че е напуснал OpenAI по-рано тази година, за да се присъедини към Anthropic, тъй като компанията е известна с усилията си за безопасност на моделите. Но въпреки че е счел усилията на Anthropic в областта на безопасността за искрени, сега той вярва, че никоя компания не може отговорно да разработи AI, който да превъзхожда хората в редица задачи без правителствена намеса или координирано забавяне на темпа в индустрията.

Неотдавнашните хакерски атаки, извършени от модели на OpenAI и Anthropic показаха как AI системите могат да възприемат злонамерени цели и да се опитват да ги скрият от хората. Когато системите започнат да се усъвършенстват сами, каза Коксън, той се опасява, че биха могли да напреднат достатъчно, за да отказват да изпълняват команди.

Напускането на Коксън е един от първите примери за служител на Anthropic, който напуска поради опасения за безопасността на AI. Изследовател, работещ по въпросите на безопасността, напусна компанията по-рано тази година, за да изучава поезия, като предупреди, че „светът е в опасност“.