Nvidia пуска платформа, която предотвратява неправомерното поведение на AI агентите

Nvidia пуска нова софтуерна платформа, която позволява на разработчиците на AI системи да задават защитни механизми за агентите и да предотвратяват излизането им извън определената среда за изпълнение, предава CNBC.

Обявяването на Nvidia Open Agent Safety Platform в понеделник се случва, след като компании като OpenAI, Anthropic, Meta и Google разкриха за неотдавнашни инциденти, при които техни агенти са успели да напуснат своите изолирани среди, като са направили опити да хакнат други компании и да получат достъп до компютърните им системи.

Представител на Nvidia заяви пред журналисти по време на разговор в неделя, че платформата на компанията би могла да предотврати инцидента с Hugging Face, свързан с OpenAI, през юли. Тогава модели на OpenAI са успели да излязат от защитената си среда, да получат достъп до отворения интернет и да пробият системите на Hugging Face, която управлява платформа за разработчици на софтуер с отворен код.

„Всеки инцидент със сигурността е уникален и трябва да разглеждаме всеки от тях в детайли“, заяви Джъстин Бойтано, вицепрезидент по корпоративния AI в Nvidia - най-високо оценената публична компания в света. „От това, което знаем, Hugging Face съобщи за над 17 хил. агента, които са атакували инфраструктурата им в продължение на дни и седмици“, добави той.

Nvidia е в центъра на бума на генеративния AI след пускането на ChatGPT преди почти четири години, тъй като графичните процесори на производителя на чипове са от ключово значение за разработването на големи езикови модели и за AI услугите, предлагани от големите доставчици на облачни услуги. Напоследък обаче главният изпълнителен директор Дженсън Хуанг се превърна и във важен глас в дебата за безопасността на AI, като твърди, че много от проблемите със сигурността са инженерни въпроси, които могат да бъдат решени чрез компютърни науки и разработване на продукти.

„Трябва да помислите какво сте могли да направите и какво е решението“, каза Хуанг в подкаст с Езра Клайн от The New York Times от миналата седмица, визирайки неотдавнашните инциденти. „В бъдеще трябва да подобрите процесите си така, че да можете да предотвратите повторението на подобни ситуации.“

Главният изпълнителен директор на Anthropic Дарио Амодей предизвика бурна реакция в индустрията преди две седмици, като призова разработчиците на AI модели да забавят темпа на развитие заради опасенията, че моделите могат да излязат извън контрол. Тази позиция беше подкрепена от Сам Алтман от OpenAI и Илон Мъск от SpaceX.

Новото предложение на Nvidia представлява инженерно решение на проблема с безопасността на AI агентите, заяви Бойтано.

„Неотдавнашните инциденти подчертаха фундаментално препятствие пред AI агентите, а именно, че защитните механизми на ниво модел сами по себе си не могат да контролират до какво имат достъп агентите и какво могат да правят“, посочи той.

Един от компонентите на платформата се нарича Nvidia OpenShell. Той работи върху централните процесори (CPU) и поставя ограничения върху възможностите на агентите. Nvidia обяви и пускането Sentry - система за наблюдение на агентите, която работи върху мрежови чипове, а не върху CPU или GPU.

Част от софтуера е с отворен код, а Nvidia определя платформата като референтен дизайн. Това означава, че партньорите на компанията се очаква да изграждат свои продукти върху него и да ги предлагат на пазара.

Nvidia посочи като партньори Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM и Intel. Компанията също така работи с Anthropic за интегриране на управлявани в облака агенти с OpenShell.