ChatGPT преживява бум, но разходите за изкуствения интелект достигат до небето

Тези изчисления също така изискват специализиран хардуер. Въпреки че традиционните компютърни процесори могат да управляват модели за машинно обучение, те са бавни. Повечето обучения и отговори на заявки сега се случват на графични процесори (GPU), които първоначално бяха предназначени за 3D игри, но се превърнаха в стандарт за приложенията с изкуствен интелект, защото могат да правят много изчисления едновременно.

Nvidia произвежда повечето графични процесори за индустрията с изкуствен интелект, а нейният основен чип за работа в центрове за данни струва 10 хил. долара. Учените, които изграждат тези модели, често се шегуват, че „топят графични процесори“.

Обучване на модели

Анализатори и представители на технологичната индустрия изчисляват, че ключовият процес по обучение на голям езиков модел като GPT-3 на OpenAI може да струва повече от 4 млн. долара. По-развитите модели биха могли да струват повече, споделя Роуън Къран, анализатор във Forrester, фокусиран в изкуствения интелект и машинното обучение.

Най-големият модел на Meta – LLaMA, който беше пуснат през февруари, ползва 2048 графични процесора A100 на Nvidia за обучение на 1,4 трлн. токена (750 думи са около 1000 токена), което отнема около 21 дни, каза компанията, когато го представи.

Нужни са били 1 млн. GPU часа за обучение. При специалните цени на Amazon Web Services това би струвало над 2,4 млн. долара. А при 65 млрд. параметъра, той е по-малък от сегашните GPT модели на OpenAI, като ChatGPT-3, който има 175 млрд. параметъра.

Клемент Деланг, главен изпълнителен директор на стартъпа за изкуствен интелект Hugging Face, коментира, че процесът по обучване на големия езиков модел Bloom на компанията е отнел повече от два месеца и половина и е изисквал достъп до суперкомпютър, който е „нещо като еквивалентa на 500 GPU”.

Организациите, които изграждат големи езикови модели, трябва да бъдат внимателни, когато наново обучават софтуера, (което помага да се подобрят неговите способности), тъй като това струва изключително много, казва той.

„Важно е да осъзнаем, че тези модели не се обучават през цялото време, всеки ден например“, споделя Деланг, отбелязвайки, че това е причината модели като ChatGPT да нямат информация за последните събития. Познанията на ChatGPT спират през 2021 г., коментира той.

„Всъщност в момента обучаваме втората версия на Bloom, а това ще струва около 10 млн. долара“, твърди Деланг. „Така че това е нещо, което не искаме да правим всяка седмица“.

Кой плаща за отговорите на потребителските заявки?

За да използват обучен модел за машинно обучение, за да правят прогнози или да генерират текст, инженерите залагат на процес на т.нар. „умозаключения“, който може да бъде много по-скъп от обучаването, защото може да се наложи да се изпълнява милиони пъти при популярен продукт.