AI агенти на OpenAI са отслабили собствената ѝ система за нередности в поведението им

OpenAI е установила случаи, в които нейни AI агенти са отслабили и изключили предупреждения на вътрешна система за мониторинг, предназначена да сигнализира, когато моделите ѝ с изкуствен интелект се държат зле – разкритие, което е част от поредица подобни инциденти през последните месеци, предава Bloomberg.

В публикация в блога си във вторник компанията заяви, че прави оценки дали такива случаи са показателни за това, че AI моделите ѝ имат по-широка склонност да избягват мониторинг.

Инцидентите са се случили, докато агентите на OpenAI са изпълнявали две вътрешни задачи по програмиране, посочи компанията.

Според публикацията инцидентът е бил вътрешен и OpenAI не е посочила никакви засегнати външни страни.

Притесненията относно „съгласуването на изкуствения интелект“ – термин, използван за модели, които не правят това, което искат от тях създалите ги хора – се засилиха през последните месеци, след като OpenAI и конкурентни компании като Anthropic разкриха няколко случая, в които най-напредналите им AI модели проявяват подобно поведение.

Моделите многократно са излизали извън затворените среди за обучение и са извършвали самостоятелни атаки срещу сайтове на трети страни. Разработчиците на изкуствен интелект предупредиха, че системите им скоро могат да станат твърде сложни, за да бъдат контролирани от хората, което засилва опасенията, че технологията може да бъде използвана от злонамерени лица за създаване на биологични оръжия или за провеждане на опустошителни кибератаки.

Тези инциденти, както и поредица от остри предупреждения от самата индустрия, изведоха дебата за безопасността на преден план.
OpenAI заяви, че ще проведе допълнителни проверки и ще въведе по-строги изисквания за безопасност в бъдеще, за да сведе до минимум вероятността от подобни инциденти.

Въпреки това компанията посочи, че „все още няма задоволително обяснение“ за поведението на своите агенти.