И Gemini на Google е пробил системи на чужди фирми при тестове за киберсигурност

Моделът за изкуствен интелект Gemini на Google неволно е проникнал в три фирмени системи през май по време на тестове за киберсигурност. Това е поредният случай на пробив, извършен от автономни системи за изкуствен интелект (т.нар. агентен изкуствен интелект), което предизвиква безпокойство сред експертите по сигурността и сред разработчиците на технологията.

Пробивите са се случили по време на същите тестове, проведени от компанията за сигурност на изкуствен интелект Irregular, които разкриха и уязвимостите, оповестени по-рано от OpenAI, Anthropic PBC и Meta Platforms Inc, пише Investing.com.

В петък от Irregular потвърдиха, че всички тези пробиви са част от един и същи проблем и че фирмата е информирала съответните разработчици на изкуствен интелект още в края на юли.

Един от пробивите при Google е станал, когато на Gemini е било възложено да извлече информация за измислена компания, чието име съвпада с това на реална фирма (факт, потвърден от Google след публикация в The Wall Street Journal). Моделът е отгатнал парола за достъп до услугата на реалната компания.

Говорител на Google казва, че компанията е уведомила съответните органи.

Поредицата от пробиви, извършени от автономни системи за изкуствен интелект, предизвика глобален дебат относно нарастващите рискове, свързани с технологията, и мерките, необходими за тяхното ограничаване.

Изпълнителният директор на Anthropic Дарио Амодей призовава за забавяне на темпото на разработка на технологията в рамките на цялата индустрия – предложение, подкрепено от изпълнителния директор на OpenAI Сам Алтман, Илон Мъск и други.

Президентът на САЩ Доналд Тръмп, изпълнителният директор на Nvidia Corp. Дженсън Хуан и изпълнителният директор на Meta Марк Зукърбърг се обявиха против идеята за нови регулации. Те изтъкват, че компаниите трябва да бъдат способни сами да се регулират.

Някои нововъзникващи компании в сферата на изкуствения интелект също предупреждават, че засилените регулации могат да затруднят конкуренцията на по-малките фирми спрямо по-големите им съперници.

Пробивите, извършени от Gemini, „подчертават колко е важно мощните базирани на изкуствен интелект модели да бъдат обучавани да действат отговорно“, коментира Хедър Адкинс, вицепрезидент по инженерна сигурност в Google.

Останалите случаи на проникване от страна на Gemini са се случили, когато моделът е извършвал търсения в интернет, като е използвал името на съответната компания. Адкинс обяснява, че това е насочило модела към публични онлайн бази, съдържащи данни за достъп (идентификационни данни) на други компании, които той е използвал за проникване в допълнителни системи.

„И в трите случая моделът е спрял работата си“, казва Адкинс. „Ние се погрижихме съответните три организации да бъдат уведомени“, добавя тя.

Говорителят на Irregular Йозеф Лаор коментира, че компанията е предприела „незабавни действия“ и че „всички известни проблеми от наша страна са били отстранени и разрешени още преди седмици“.