AI модели на Anthropic също са хакнали три организации

Anthropic съобщи, че моделите ѝ за изкуствен интелект са проникнали в три организации по време на тестове за киберсигурност, които са се объркали – малко повече от седмица след като главният ѝ конкурент OpenAI разкри подобен инцидент, предава Bloomberg.

В публикация в блога си в четвъртък Anthropic посочи, че е направила това откритие след преглед на собствените си тестове за киберсигурност, след като OpenAI обяви пробива. И при тестовете на OpenAI, и при тези на Anthropic моделите с изкуствен интелект са успели да получат достъп до интернет от тестови среди, които е трябвало да бъдат изолирани, според блога на Anthropic.

Компанията заяви, че е прегледала 141 006 теста за оценка и е открила три случая, при които нейният AI инструмент Claude е достъпил интернет, след което е проникнал в „реалната инфраструктура на външни организации“. Най-ранните инциденти датират от април, посочи компанията.

Засегнатите организации не са обявени в блога.

Когато моделите на Anthropic са получили неразрешен достъп до трите организации, компанията е третирала всеки от тях като част от упражнение. Тестовете са били вид оценки (capture the flag), при които моделите са търсили скрита информация чрез проникване в други системи – често срещан начин за тестване на хакерските способности както при хората, така и при изкуствения интелект. По-старият модел обаче е продължил атаката си дори след като е получил доказателства, че работи в отворения интернет. Според блога най-новият модел на Anthropic се е спрял, след като е разпознал, че се намира в интернет.

Вълната от случаи на хакерски атаки, предизвикани непреднамерено от изкуствен интелект, вече подтиква някои политици да призовават за въвеждането на федерални ограничителни мерки или друг вид надзор върху AI технологиите. Във вторник над 1100 служители от AI компании подписаха петиция, в която призовават правителството на САЩ да подкрепи механизъм, който да спомогне за „целенасочено регулиране на темпа“ на развитие на изкуствения интелект, за да се предотврати прекалено бързото напредване на технологията.

Нито Anthropic, нито организациите, в които е било проникнато, са забелязали влизанията. В своя блог Anthropic заяви, че е можело да направи повече за преглед на мрежовите логове и стенограмите от оценките.

Компанията разкри пробивите почти четири месеца, след като обяви, че е разработила нов AI модел, известен като Mythos, който беше толкова мощен и потенциално опасен, че компанията строго ограничи пускането му.

Според блога пробивите са включвали три различни модела на Claude: Opus 4.7, Mythos 5 и вътрешен тестов модел за изследвания. Всеки от моделите е работил без предпазните мерки, които обикновено се прилагат в публичните инструменти. Според блога Claude е компрометирал организациите, използвайки основни техники като експлоатиране на слаби пароли.

Всички инциденти са се случили, докато Anthropic е използвала среда за оценка, създадена от фирмата за AI сигурност Irregular. Във всеки случай Anthropic е уточнила пред Claude, че средата е симулация и че няма достъп до интернет.

„Поради недоразумение между нас и нашия партньор по оценката това не се е случило“, се посочва в блога. Представител на Irregular заяви, че компанията оценява сътрудничеството и прозрачността на Anthropic. Разследването на компанията все още продължава, добави представителят.

Anthropic посочи, че редовно провежда тестове, включващи симулиране на реални предизвикателства в областта на киберсигурността, като ги нарича критични стъпки в разработването и пускането на модели. Въпреки това компанията посочи, че е извлякла няколко поуки от инцидентите, включително това, че тестовете, включващи мощни автономни възможности, изискват и значителни мерки за контрол.

„Тестовете за безопасност се провеждат преди пускането на даден модел именно защото все още не знаем на какво е способен“, заяви компанията в блога си. „Все повече се налага оценъчните среди да отговарят на същите стандарти за сигурност, както всяка друга система, в която работят нашите модели.“