OpenAI ще ограничи достъпа до функциите за киберсигурност на новия си модел Astra

OpenAI планира скоро да пусне на пазара нов мощен модел с изкуствен интелект, наречен Astra, но заяви, че ще ограничи кръга на потребителите, които ще имат достъп до най-модерните възможности на софтуера в областта на киберсигурността, предава Bloomberg.

В публикация в блога си във вторник OpenAI съобщи, че ще пусне AI модела „скоро“, без да уточнява кога точно, и че в началото способността на модела да изпълнява сложни задачи, свързани с киберсигурността, ще бъде ограничена до група тестващи лица. След това компанията ще предостави достъп на по-широк кръг от потребители за целите на отбранителната киберсигурност чрез програмата си Daybreak Blue, която позволява на одобрени тестващи да използват най-мощните ѝ модели заедно с предпазни мерки, предназначени за работа в областта на киберсигурността.

През август компанията съобщи, че временно спира част от вътрешната работа по модела Astra, за да въведе по-строги предпазни мерки, след като се установи, че той притежава значителни способности при изпълнението на задачи, свързани с киберсигурността.

Във вторник OpenAI заяви, че според нея моделът достига своя „критичен праг за киберсигурност“, което означава, че е способен да идентифицира и разработва уязвимости от типа „нулев ден“ без човешка намеса. Компанията заяви, че е засилила предпазните мерки на Astra, за да предотврати злоупотребата с него, особено при дейности, свързани с киберсигурността.

Тези предпазни мерки включват наблюдение на модела за неразрешено поведение по време на вътрешни внедрявания и автоматично спиране на потенциално неразрешена дейност.

В края на август компанията публикува доклад, в който посочи, че е могла да реагира по-рано, за да предотврати непреднамерената хакерска атака, която нейните AI модели извършиха срещу Hugging Face през юли. Този „безпрецедентен“ инцидент, заедно с няколко други скорошни нарушения на киберсигурността, предизвикаха опасения, че AI агентите могат да излязат извън контрол. Това подтикна някои лидери от технологичния сектор и правителствени представители да подновят призивите си за налагане на ограничения върху тази технология.

OpenAI заяви през юли, че моделите, участвали в хакването, са проникнали в системата на Hugging Face, която хоства модели за изкуствен интелект и набори от данни, по време на оценка на кибервъзможностите им. Моделите са работели без обичайните предпазни мерки по това време, посочи компанията, тъй като OpenAI е имала намерение те да останат в тестова зона, известна като „пясъчник“ – по същество изолирана виртуална софтуерна среда, предназначена за провеждане на тестове за сигурност или анализ на опасен код по контролиран начин.

Оттогава компанията е засилила системите, които използва за наблюдение и защита на моделите за изкуствен интелект, които са в процес на разработка.

OpenAI заяви във вторник, че макар Astra да не е бил един от моделите, използвани при пробива в Hugging Face, компанията е приложила поуките от тази ситуация и е добавила по-строги предпазни мерки към модела,с цел да го обучи да отказва да отговаря на „вредни киберзаявки“.