Бумът на изкуствения интелект е инфраструктура, маскирана като софтуер

Дали стартъпите за изкуствен интелект (AI) са нещо като софтуерни компании? Откакто чатботът ChatGPT на OpenAI направи своя шеметен дебют в края на 2022 г., инвеститорите се отнасят към новата технология така, сякаш тя споделя същите финансови характеристики като предишните доставчици на компютърен код: ниски пределни разходи и потенциал за огромен мащаб. Това убеждение помогна за повишаване на оценката на OpenAI до 300 млрд. долара, докато конкурентът Anthropic се стреми към оценка от 100 млрд. долара. Залогът е, че фирмите, които привличат потребители рано, ще се утвърдят като интерфейс по подразбиране за AI, събирайки накуп данни, дистрибуция и ценова мощ. В крайна сметка така се утвърдиха софтуерни гиганти като Microsoft, Salesforce и Oracle, пише Себастиан Пелехеро в коментар за Ройтерс.

Тази аналогия започва да се пропуква, защото AI фирмите имат коренно различни разходи. Обучението на голям езиков модел може да струва стотици милиони долари. Но да накараш модела да генерира отговори в реално време – процес, известен като правенето на изводи – е постоянен разход. Всяко запитване завърта хиляди чипове, консумирайки енергия и комуникационна честотна лента. Това прилича по-малко на софтуер и повече на комунална услуга - енергоемък бизнес, силно свързан с инфраструктурата, чиито текущи разходи зависят от потребителското търсене.

Залозите са огромни. Задоволяването на бъдещото търсене на услуги за изводи в световен мащаб ще изисква минимум 3,7 трлн. долара инвестиции в центрове за данни, фокусирани върху изкуствения интелект, смята McKinsey. Очаква се този разход да увеличи нарастващото търсене на електроенергия до приблизително 733 тераватчаса, колкото за захранването на 68 млн. домакинства, твърди Международната агенция по енергетика.

За да разберете защо, помислете как работят заявките към изкуствения интелект. Средноголемите модели обикновено работят с клъстери от два до четири чипа, докато по-големите задачи могат да изискват до 8. Генерирането на 1 млн. токена - общ бенчмарк за напреднали натоварвания, може да отнеме 30 до 40 минути на клъстер с 8 чипа, което се равнява на приблизително 40 до 55 долара разходи за директни изчисления при използване на процесорите H100 на Nvidia, въз основа на текущите цени в Amazon Web Services. За разлика от традиционния софтуер, където пределните разходи се приближават до нула, всяка заявка към изкуствения интелект води до нови разходи.

Енергията утежнява нещата още повече. Чип H100 консумира около 700 вата при пълно натоварване, а при индустриални цени от 10 до 15 цента на киловатчас в Съединените щати, разходите за енергия бързо се трупат. Фирма, обслужваща 10 млрд. токена дневно, може да се изправи пред годишна сметка за ток от милиони долари, а охлаждането и неефективността често удвояват това натоварване.

И все пак, докато разходите за всяка AI заявка остават упорити, приходите на заявка намаляват. От 2022 г. насам цените на токените са спаднали до 280 пъти, твърдят от Станфордския университет. По-големите потребители могат да договарят сделки за обем, които намаляват стандартните цени на токените наполовина.

Ценовата война е до голяма степен стратегическа. Разработчиците на модели намаляват цените, за да стимулират ползването, да заложат пазарен дял и да заключат потребителите. Но това заграбване на дял изпревари ефективността и сви маржовете. Доставчиците, които зависят от наемането на капацитет за облачни изчисления, трябва умело да управляват тези разходи, като същевременно се конкурират с големите технологични платформи, на които разчитат.