Anthropic предупреди в IPO проспекта си: AI може да създаде екзистенциален риск за хората

Американската компания за изкуствен интелект (AI) Anthropic планира да предупреди потенциалните инвеститори в нейното първично публично предлагане (IPO), че силно развит изкуствен интелект създава „катастрофални или екзистенциални опасности за човечеството“. Това е необичайно предупреждение от компания, която се стреми да извлече печалба от същата технология, пише Ройтерс.

IPO проспектът на компанията, разгледан от Ройтерс, разглежда рисковете, свързани с AI моделите, които според нея може да имат „поведение на самозащита“, включително опити „да се противопоставят на спиране“ или „да крият или манипулират информация“ и да възприемат поведение, „приличащо на изнудване“.

„Нашето развитие на силно напреднали модели, платформи и приложения и разширяването на случаите на употреба може допълнително да засили риска моделите ни да причиняват вреди“, отбелязват от Anthropic в документа.

Въпреки че публичните компании често очертават рисковете с продуктите пред инвеститорите, малцина са отправяли предупреждение, в което се намеква, че технологията им може да предизвика потенциално унищожаване на човечеството. Anthropic подчертава както трансформиращия потенциал на изкуствения интелект, който се равнява с индустриализацията и електричеството, така и непоправимите щети, които той може да предизвика, ако не се използва правилно.

Anthropic и други разработчици на изкуствен интелект, включително OpenAI, бяха подложени на наблюдение след инциденти, при които експериментални системи преодоляха ограниченията, включително съобщение, че модел на OpenAI е проникнал в базата данни на здравната система в Австралия.

Изследователят в областта на сигурността на Anthropic Ейвън Хъбингър счита, че вероятността изкуственият интелект да убие всички хора следващото десетилетие е над 10%, което отразява нагласата и на бившия му колега Джейкъб Коксън.

Рискови разкрития

Компанията, която се позиционира като лаборатория за изкуствен интелект, поставяща безопасността на първо място, е посветила близо 80 страници от основната част на проспекта си от 261 страници за очертаване на рисковите фактори, близо два пъти повече от 48-те страници, които използва, за да разкаже за бизнеса си.

За сравнение, SpaceX, която притежава xAI, беше посветила само около 38 страници от 277-те в основната част на проспекта си за рисковите фактори.

„Потенциалната осведоменост на моделите за нашите усилия по оценяването им представлява значително ограничение пред способността ни да оценяваме безопасността на моделите“, коментира Anthropic в проспекта и допълва, че понякога моделите развиват неочаквани способности по време на обучението, които може да не бъдат открити, докато моделите не бъдат внедрени и не причинят значителни инциденти с безопасността.

AI изследователи предупредиха също, че тъй като моделите стават по-способни, те все повече разпознават, когато са наблюдавани и коригират съответно поведението си, което затруднява наблюдението на поведението на модела.

Несигурна възвръщаемост на инвестициите в безопасност

Въпреки че изтъква темата за безопасността на изкуствения интелект, Anthropic отбелязва, че възвръщаемостта на инвестициите в безопасност е неясна.

Компанията не разкрива в проспекта колко средства е вложила в такива изследвания. По-рано този месец Anthropic съобщи, че около 6% от изчислителната мощност, която е използвала за изследвания в областта на изкуствения интелект, е отишла за дейност по безопасността за една седмица през юли.

Компанията, която е създател на AI моделите Claude, определи усилията за безопасност като „интензивни от гледна точка на ресурси“ и заяви, че трябва да раздели ограничените си средства между изчислителната мощност, скъпите AI таланти и безопасността.

Anthropic посочи, че използването на услугите ѝ от клиентите, а оттам и приходите ѝ са движени от пускането на нови модели и че „непрекъснатата и припокриваща се последователност“ от пускането на нови версии „е неотделима част от това да остане водеща в развитието на изкуствения интелект“.

Миналата седмица компанията пусна нова версия на модела си Opus, десет дни след като главният изпълнителен директор Дарио Амодей публикува есе от близо 4 хил. думи, в което призовава за забавяне на темпото на развитие на изкуствения интелект.

„Смятаме, че изграждането на надеждни, заслужаващи доверие и сигурни AI системи е колективна отговорност и че пазарът ще възнагради това“, посочва Anthropic в документа.

Лидерите на компанията ще контролират нова AI лаборатория

Anthropic създава също ново дружество, Founder LLC, чиято цел е да служи за общото благоденствие, като изолира лидерите ѝ от пазарните сили.

Новото дружество с ограничена отговорност ще бъде съставено първоначално от седемте съоснователи на компанията, включително главния изпълнителен директор Дарио Амодей, хора, които са „подготвени да защитават мисията ни“, се посочва в документа. Мисията на Anthropic е да създава ползи за човечеството чрез отговорен изкуствен интелект.

Компанията ще продължи да работи и като корпорация за обществено благо съгласно закона „Делауър“, който формално позволява на лидерите ѝ да балансират интересите на инвеститорите и тези на останалата част от човечеството, се посочва в документа.

Съгласно договорката мнозинството от седемте съоснователи ще определя как се упражнява една акция от клас F, която представлява 50,1% от общата сила на гласовете по ключови корпоративни въпроси, включително избора на някои членове на борда на директорите и други въпроси, по които инвеститорите трябва да гласуват.

Останалите четири класа акции на Anthropic имат различни функции или ограничения, сред които са минималните права на глас на стратегическите партньори на компанията. И макар че обикновените акции от клас А за масовите инвеститори ще осигуряват по един глас на акция, новаторската капиталова структура на Anthropic би могла ефективно да намали влиянието на дребните инвеститори.

Освен Амодей, Founder LLC включва сестра му - президента на компанията Даниела Амодей, главния директор по изчислителните ресурси Том Браун и Крис Олах, който неотдавна се срещна с папа Лъв и отговаря за ключови изследвания.

Останалите четирима членове на борда на директорите на Anthropic ще бъдат избрани от друг надзорен орган на стартъпа - Тръста за дългосрочна полза. В момента сред членовете му са бившият председател на Федералния резерв Бен Бернанке и експертът по национална сигурност Ричард Фонтейн.