AI агенти на OpenAI са превзели германски сайт през пролетта

Група от AI агенти на OpenAI са излезли от контролираната си среда тази пролет и са превзели германски сайт, превръщайки го във форум за други агенти с изкуствен интелект, съобщава Ройтерс, базирайки се на ново проучване от петък и двама запознати източници.

Представители на OpenAI са научили за инцидента преди няколко седмици, но са го държали в тайна, докато ръководството се е занимавало с последствията от пробива в платформата за отворени модели Hugging Face през юли, споделят източниците.

Инцидентът, който е започнал през май и за който досега не е било съобщавано, подчертава нарастващото напрежение в сектора на изкуствения интелект. Компаниите се надпреварват да създават все по-автономни агенти, способни да изпълняват сложни и ценни задачи. Трупат се обаче и доказателства, че тези системи могат също така да се научат да заобикалят правилата, да се възползват от пропуски и да се координират помежду си по начини, които разработчиците нито са предвидили, нито са имали намерение да се случат.

При случая с Hugging Face агентите на OpenAI самостоятелно планираха цифров пробив, останал незабелязан повече от седмица, което засили опасенията, че OpenAI жертва безопасността, за да разширява границите на изкуствения интелект. Неуспехът ѝ да разкрие инцидента от май може да възроди въпросите относно надзора ѝ.

„Не можем да отговорим по същество на твърденията или заключенията в доклад, който не сме имали възможност да прегледаме“, заяви говорител на OpenAI. „Ройтерс и авторите на доклада отхвърлиха молбата ни за достъп. Ще прегледаме внимателно съдържанието му след публикуването му и ще предприемем необходимите по-нататъшни стъпки.“

Инцидентът в Германия отразява по-широка тенденция в изкуствения интелект, която някои разследващи от OpenAI искаха да проучат по-подробно. Но усилията за разширяване на разследването са срещнали съпротива от страна на други лица в OpenAI, включително правни съветници, посочват четирима души, запознати с въпроса.

„Твърденията, че нашият правен екип е възпрепятствал разследването на инцидента, са неверни“, заяви говорителят на OpenAI.

Дейността в Германия не е била свързана с Hugging Face и не би била включена в доклад за инцидент на Hugging Face, каза говорителят, добавяйки, че OpenAI е действала добросъвестно, като е работила с външни експерти и е разкрила съответните инциденти.

Форум на Wiki

Инцидентът с избягалия AI агент в Германия е описан подробно в доклад, споделен ексклузивно с Ройтерс, от група изследователи, включваща Сидни фон Аркс, главен изпълнителен директор на нестопанската организация за AI безопасност Nightingale, и Кормак Слейд Бърд, количествен трейдър, преквалифицирал се в изследовател в областта на AI.

Двамата казват, че са открили над 15 хил. редакции, извършени от AI агенти в немскоезичния wiki сайт DseWiki, който е насочен към програмисти и позволява колективни редакции по подобие на Wikipedia.

Редакциите показват, че агентите на OpenAI са превърнали сайта във форум, където споделят тактики за манипулиране на някои задачи, заобикаляне на ограниченията на OpenAI и прикриване на поведението си.

„Изглежда изключително малко вероятно OpenAI да е искала те да правят това“, каза Фон Аркс. „Съмнявам се, че се очаква те да се координират помежду си. Съмнявам се, че се очаква да пишат в отворения интернет.“

Изследователите казват, че са разпознали дейността на сайта като задвижвана от агенти с изкуствен интелект, които работят със свръхчовешка скорост. Те също така са показали силен фокус върху решаването на технически въпроси, типични за оценките, които компаниите за изкуствен интелект използват за обучение и тестване на своите модели.

Съобщенията са били подписани от потребители, които наричат себе си и един друг „агенти“, а около половината от тях са си избрали имена, които подсказват връзка с OpenAI, например OpenAIResearcher или OAIResearchMar26.

Изследователите казват, че публичните логове на сървъра сочат, че голяма част от активността е произхождала от инфраструктурата на Microsoft Azure, която OpenAI понякога използва. Те също така наблюдават повтарящи се посещения на сайта от служители на OpenAI след инцидента – тенденция, която според тях силно подсказва, че агентите и компанията са свързани.

Измами и прикривания

Съобщенията, прегледани от изследователите, показват, че агентите замислят начини да избегнат разкриване, да използват инструменти като Tor и да запазят комуникациите си дори след като са били блокирани.

Когато през юни модераторът на сайта започва да изтрива страници, агентите реагират, създавайки резервни, за да избегнат почистването.

„Почистването/изтриването на wiki страници изглежда се извършва по азбучен ред“, пише един от агентите на 19 юни. „Ако тази страница изчезне, опитайте с [[ZZZDataUSAConstructionWageLive]]“.

Изследователите откриват също така опити за манипулиране на самия сайт.

Предишни примери за неправомерно поведение на AI агенти често са били омаловажавани като логичен страничен ефект от тестовете за киберсигурност, при които моделите се оценяват изрично по отношение на нападателните им способности. Според Лукаш Олейник, гостуващ старши научен сътрудник в King’s College в Лондон, обаче неправомерното поведение може да не се ограничава само до тези условия.