Как Nvidia създаде най-добрия чип за бума на генеративния изкуствен интелект?

H100 се оказа особено популярен сред технологичните гиганти като Microsoft и Amazon, които изграждат цели центрове за данни, базирани на тях, както и сред стартъпите за генеративен изкуствен интелект като OpenAI, Anthropic, Stability AI и Inflection AI, защото им обещават по-добра производителност, която може да ускори пускането на продукти или да намали разходите за обучение с времето.

„Що се касае до получаването на достъп, да, така се усеща подсилването на GPU с нова архитектура, коментира Иън Бък, ръководител на бизнеса на Nvidia с високопроизводителни компютри. Бък има трудната задача да увеличи предлагането на H100, за да отговори на търсенето. „Това се случва в свръхмащаб“, допълва той, посочвайки, че някои големи клиенти искат доставки на десетки хиляди процесори.

Необичайно големият чип е „ускорител“, проектиран да работи в центрове за данни, има 80 млрд. транзистора, пет пъти повече от процесора, който се ползва в най-новия iPhone. Въпреки че е два пъти по-скъп от своя предшественик A100, пуснат на пазара през 2020 г., ранните потребители казват, че H100 предлага поне три пъти по-добро представяне.

„H100 решава въпроса с мащабируемостта, който измъчва създателите на модели с изкуствен интелект“, коментира Емад Мостаке, съосновател и главен изпълнителен директор на Stability AI, една от компаниите, които стоят зад услугата за генериране на изображения Stable Diffusion. „Това е важно, тъй като ни позволява да тренираме по-големи модели по-бързо, като това преминава от изследователски към инженерен проблем“.

Въпреки че пускането на H100 на пазара беше идеално, пробивът на Nvidia в изкуствения интелект може да се проследи до две десетилетия назад, до иновация в софтуера, не толкова в чипа.

Нейният софтуер Cuda, разработен през 2006 г., позволява на процесорите да бъдат ползвани като ускорители на други видове натоварвания отвъд графичните. След това около 2012 г. Бък обясни: „Изкуственият интелект ни намери“.

Изследователи в Канада осъзнаха, че GPU са идеални за създаване на невронни мрежи – форма на изкуствен интелект, вдъхновена от начина, по който невроните си взаимодействат в човешкия мозък, а оттогава това се превърна в нов фокус за развитието на ИИ. „Бяха нужни почти 20 години, за да стигнем до нивото, на което сме днес“, коментира Бък.

Сега Nvidia разполага с повече софтуерни, отколкото хардуерни инженери, за да може да поддържа различните видове фреймуърк, които се появиха за изкуствения интелект през следващите години, и да направи своите чипове по-ефективни в статистическите изчисления, необходими за обучени на моделите с ИИ.

Hopper беше първата архитектура, оптимизирана за „трансформатори“ – подход към изкуствения интелект, който стои в основата на „генеративния предварително обучен трансформиращ“ чатбот.. Близката работа на Nvidia с изследователи в сферата на изкуствения интелект ѝ позволи да забележи появата на трансформатора през 2017 г. и да започне да нагажда софтуера си спрямо него.

„Nvidia може би е видяла бъдещето преди всички останали предвид акцента си в създаването програмируеми GPU”, коментира Нейтън Бенаич, генерален партньор в Air Street Capital, която е инвеститор в стартъпи с изкуствен интелект. „Тя е забелязала възможността и е заложила много на нея, като постоянно изпреварваше своите конкуренти“.

Бенаич смята, че Nvidia е около две години пред своите конкуренти, но допълва: „Нейната позиция далеч не е непобедима както на хардуерния, така и на софтуерния фронт“.

Мостаке от Stability AI е съгласен. „Следващото поколение чипове от Google, Intel и други наваксват и дори Cuda става по-малко защитен, тъй като софтуерът е стандартизиран“.

За някои в индустрията за изкуствен интелект ентусиазмът на Wall Street тази седмица изглежда прекалено оптимистичен. Въпреки това „засега пазарът на чипове за изкуствен интелект изглежда ще остане такъв, че победителят Nvidia ще грабне всичко“, казва Джей Голдбърг, основател на консултантската компания за чипове D2D Advisory.