ChatGPT преживява бум, но разходите за изкуствения интелект достигат до небето

Преди да се появи ChatGPT на OpenAI и да привлече вниманието на света със способността си да създава завладяващи изречения, един малък стартъп, наречен Latitude, впечатлява потребителите със своята игра AI Dungeon, която им позволява да използват изкуствен интелект, за да създават фантастични истории, базирани на написаното от тях.

Но докато AI Dungeon става по-популярна, главният изпълнителен директор на Latitude Ник Уолтън вижда, че разходите за поддържане на базираната на текст ролева игра започват да растат.

Ситуацията се усложнява, когато Уолтън открива, че търговци на съдържание използват AI Dungeon, за да генерират промоционални текстове – възможност за употреба, която неговият екип никога не е предвиждала, но която добавя към сметката за изкуствен интелект на компанията.

В пика през 2021 г. Уолтън изчислява, че Latitude е харчила близо 200 хил. долара месечно за т.нар. генеративен изкуствен интелект на OpenAI и за Amazon Web Services, за да може да отговори на милионите потребителски заявки, които се налага да обработва всеки ден.

„Шегувахме се, че имаме човешки служители и имаме служители с изкуствен интелект, като сме похарчили приблизително еднакво за всеки от тях“, коментира Уолтън. „Ние харчим стотици хиляди долари на месец за изкуствен интелект , а не сме голям стартъп, така че това е огромна цена“.

До края на 2021 г. Latitude преминава от използването на софтуера на OpenAI към по-евтин, но също способен езиков софтуер, предлаган от стартъпа AI21 Labs, споделя Уолтън, добавяйки, че стартиращата компания е включила и модели с отворен код и безплатни езикови модели в своята услуга, за да намали разходите. Сметките за генеративен изкуствен интелект на Latutide са спаднали до под 100 хил. долара на месец, казва Уолтън, а стартъпът таксува играчите месечен абонамент за по-развитите функции с изкуствен интелект, за да се опита да намали разходите си.

Скъпите сметки на Latitude за изкуствен интелект подчетават една неприятна истина, която стои зад скорошния бум на технологиите за генеративен изкуствен интелект: разходите за разработване и поддържане на софтуера могат да бъдат изключително високи, както за фирмите, които стоят зад основните технологии (обикновено наричани големи езици или базови модели), така и за тези, които използват изкуствен интелект за захранване на собствения си софтуер.

Високата цена на машинното обучение е неприятна реалност в индустрията, докато рисковите инвеститори се оглеждат за компании, които потенциално биха могли да струват трилиони, а големи играчи като Microsoft, Meta и Google използват значителния си капитал, за да си спечелят лидерство в технология, което по-малките конкуренти не могат да наваксат.

Но ако маржът за приложения с изкуствен интелект е перманентно по-малък от предишните маржове на софтуера като услуга поради високата цена на изчисленията, това може да попари настоящия бум.

Високите разходи за обучение и работата на големите езикови модели е структурната цена, която различава случващото се от предишните изчислителни бумове. Дори когато софтуерът е изграден или обучен, той все още изисква огромна изчислителна мощ, за да поддържа големите езикови модели, защото те правят милиарди изчисления всеки път, когато върнат отговор на дадена заявка. За сравнение, обслужването на уеб приложения или страници изисква много по-малко изчисления.