IT експерт: С автономните агенти рисковете за сигурността на компаниите стават все по-сложни

Изкуственият интелект вече има достъп до фирмени данни, вътрешни системи и код, а с навлизането на автономните агенти рисковете стават все по-сложни. Това коментира Иван Иванов, съосновател на Stihia.ai, в предаването UpDate на Bloomberg TV Bulgaria.

„Това, което забелязваме е, че всъщност компаниите бързат много да внедрят изкуствен интелект в компаниите си и по този начин доста често игнорират рисковете, които идват с това, просто за да бъдат по-напред пред своите конкуренти на пазара“, посочи IT експертът и обясни, че когато технологичната компания Stihia.ai започва работа, основателите тръгват с идеята да защитят AI системите, но практиката бързо разкрива тревожна тенденция.

Според него основният невидим риск произтича от факта, че големите езикови модели (LLM) създават напълно нова плоскост за уязвимости в софтуера. „Липсата на достатъчно зрелостно разбиране за предотвратяване на тези рискове води до опасности като мащабни изтичания на данни, непредвидени действия от страна на автономни агенти и лековерност пред външни манипулации“, предупреди Иванов.

По думите му всекидневието на съвременния служител е изпълнено с удобни инструменти като ChatGPT, но в един момент леснотата на използване може да се превърне в критичен пробив за киберсигурността.

„Ако служител копира вътрешен документ, клиентска информация или фирмен код в чатбот, рискът зависи от вътрешните правила на организацията. Когато компанията борави с чувствителни данни, тя трябва да има строга вътрешна политика, която изрично регулира тези действия. Въпреки това, дори и при разгръщане на модела в собствена инфраструктура с изключителни права, рискът от изтичане на информация не е напълно елиминиран“, даде пример IT експертът.

Той напомни, че съвременните AI агенти не само обработват текстове, но и получават достъп до множество инструменти - имейли, CRM системи, документи и кодови бази. „Самият агент може да изхвърли чувствителните данни в някаква външна система. Примерно, ако има достъп до това да изпраща имейли, той просто може да напише един имейл с чувствителни данни в него и да го изпрати някъде навън“, обясни какви могат да бъдат последствията от реални атаки Иванов.

Той изтъкна, че точно на това акцентират в обучителните си семинари в Stihia.ai, и добави, че така демонстрират колко уязвими са дори най-популярните продукти на пазара.

„Това, което ги изненадва най-често е, че дори най-популярните инструменти много лесно могат да бъдат изложени да направят нещо, което не трябва. Всъщност, дори най-развитите AI-агенти, зад които стоят компании с трилиони долари оценка, те все още не са превъзмогнали проблеми, като например инжектирането на промптове“, конкретизира Иванов.

Къде се крият слабостите в корпоративната сигурност? Готови ли са компаниите да инвестират в киберсигурност? Защо опитите за пълна забрана на AI инструментите чрез формални политики на практика не работят ефективно? Каква е вредата от навлизането на „сенчест изкуствен интелект“ (shadow AI), при който служителите продължават да използват неоторизирани инструменти? Как да се ограничат грешките и да се контролират системи, които действат самостоятелно? Какви са предпазните механизми за защита на индустрията? Достатъчна ли е регулаторната рамка на европейския AI Act, както и със специфични регулации като DORA във финансовия сектор? Какви са промените в софтуерното инженерство?

Целия разговор може да гледате във видео материала на Bloomberg TV Bulgaria.

Всички гости на предаването UpDate може да намерите тук.