AI модел на Anthropic излезе извън контрол и подаде фалшив сигнал до полицията

Американската компания за изкуствен интелект Anthropic PBC съобщи, че нейният модел Claude е извършил непредвидени действия в цифровите системи на външни организации, включително подаване на фалшив сигнал по полицейско дело за убийство. Това предизвика предупреждение от администрацията на президента Доналд Тръмп към компаниите за изкуствен интелект да гарантират сигурността на своите системи, предаде Bloomberg.

В доклад, описващ неразкрити досега инциденти, Anthropic изброява четири вида непредвидено поведение, които изкуственият интелект е проявил, включително използване на основни софтуерни пропуски за изпълнение на команди, подаване на формуляри, които не е трябвало да подава, и заобикаляне на ограничения за достъп до определени публични данни.

В един от примерите за неправомерно поведение моделът Claude Haiku 4.5 е подал сигнал до полицейско управление за убийство, като в формуляра е посочил: „Възможно е да разполагам с информация относно този случай“ и „Спомням си, че съм виждал човек, отговарящ на описанието, в района“, без да попълни полетата за името на обекта и данните за контакт. Полицейското управление на Филаделфия е оповестило инцидента в прессъобщение, посочи компанията.

Освен това AI агентите на Anthropic са подали 20 заявления за визи чрез формуляр, достъпен на сайта на Държавния департамент, съобщи New York Times. Според вестника всички заявления са били непълни и не са били обработени.

Anthropic и нейният конкурент OpenAI разкриха поредица от инциденти през последните месеци, при които техните модели за изкуствен интелект са действали по непредвиден начин – от поведения като описаните в доклада от петък до хакване на уебсайтове на трети страни. Тези разкрития подхраниха опасенията относно рисковете за сигурността, свързани с най-модерния изкуствен интелект.

Компанията заяви, че някои от новите случаи са засегнали уебсайтове, управлявани от правителствени агенции на федерално, щатско и местно ниво, без да посочи конкретните агенции. В доклада не се посочват имената на външните организации, засегнати от инцидентите, което, според Anthropic, е по искане на някои от засегнатите страни. 

Anthropic посочва в доклада, че счита това поведение за по-малко сериозно в сравнение с някои други предишни инциденти, свързани с нейния AI. „Случаите, които сме идентифицирали досега в тези категории, са имали минимално въздействие в реалния свят“, пишат от компанията.

Те изтъкват също, че са информирали Белия дом за тези случаи и са уведомили всяка от засегнатите агенции.

В петък представители на администрацията на Тръмп заявиха, че вече изискват компаниите за изкуствен интелект да уведомяват засегнатите страни и да се занимават с инциденти, свързани със сигурността, в които са замесени техни модели.

„По-рано днес Anthropic се свърза със SI Force, за да разкрие подробности за различни предишни инциденти, които е открила в края на септември и които включват неразрешено и измамно използване на правителствени и други системи“, се посочва в изявление на Белия дом от Super Intelligence Force – нова правителствена единица, натоварена с надзора върху развитието и безопасността на изкуствения интелект. 

„Компанията ни информира, че тези събития са се случили в миналото, дейността е прекратена и в момента не се извършва подобна дейност“, се посочва в изявлението.

В резултат на тези разкрити инциденти Anthropic съобщи в петък, че е ограничила някои видове достъп до интернет за своите модели за изкуствен интелект по време на тестовата фаза на процеса на обучение.