Любители острого: как OpenAI создала свой первый чип и стала конкурентом Nvidia
Ричард Хо, один из создателей первого TPU-чипа Google, основал полупроводниковое подразделение OpenAI. Сейчас он занимается внедрением первых чипов, сталкивается с пессимистичными настроениями вокруг ИИ и ведет «дружеское соперничество» с Nvidia
Спустя два года после того, как Ричард Хо занял пост вице-президента OpenAI по проектированию оборудования, он отправился в Азию в компании гендиректора Сэма Альтмана и группы исследователей. Целью поездки стали встречи с крупнейшими производителями чипов в мире: TSMC, Samsung и SK Hynix.
На встречах Альтман был прямолинеен. OpenAI и так использует колоссальные вычислительные ресурсы, и ее потребности должны были лишь вырасти, поэтому полупроводниковой индустрии следовало бы увеличить мощности. «Слушайте, через несколько лет нам понадобится гораздо больше железа, — вспоминает Хо слова Альтмана, обращенные к ним. — Пожалуйста, стройте больше заводов».
Компании действительно расширили производство: были построены новые предприятия, где физически изготавливаются компьютерные чипы. Однако, по словам Хо, этого было недостаточно, чтобы покрыть ненасытный спрос OpenAI. Отчасти именно дефицит мощностей заставил OpenAI задуматься о собственном производстве, и Альтман поручил Хо создать команду с нуля. Два года спустя компания анонсировала свой первый полупроводник — Jalapeno, чип для инференса (процесс, при котором модель принимает новые входные данные, обрабатывает их с помощью уже настроенных параметров и выдает результат) языковых моделей. В июне представители OpenAI объявили, что чип удалось создать за девять месяцев, и к концу года его начнут устанавливать в дата-центрах.
«Ограничение, с которым мы имеем дело сейчас, отчасти связано с тем, что строительство [новых заводов] не началось два с половиной года назад — тогда мы оказались бы в куда более выгодном положении», — признался Хо в интервью Forbes USA. Еще до того, как Хо присоединился к OpenAI, он, будучи специалистом в Google, участвовал в разработке первого TPU-чипа. В беседе с Forbes USA он говорил о том, как формировал команду, почему в качестве партнера по полупроводникам выбрал Broadcom, а не Nvidia и AMD, и как дискуссии о пессимистических настроениях вокруг ИИ («думеризм» — убеждения в отсутствии будущего или надежды на улучшение жизни) повлияли на его работу по созданию чипов. Расшифровка интервью была отредактирована для краткости и ясности.
Forbes USA (F): — Начнем с простого: почему чип получил название Jalapeno («Халапеньо»)?
Ричард Хо (Р.Х.): — Мы умеем посмеяться над собой. В столовой нашего офиса стоит стойка с разными соусами, к которой наша команда постоянно тянется. Кстати, наша команда называется Hot Peppers («Острые перцы») — как раз в честь этих соусов. Поэтому и устройство, и проект было логично назвать в честь того, что мы любим, — чего-то острого.
F: — Зачем OpenAI создавать собственный чип?
Р.Х.: — Думаю, суть в том, чтобы контролировать всю инфраструктуру целиком. У OpenAI, очевидно, есть модели, и компания хорошо с ними справляется; есть и программный стек, который переносит информацию, — до сих пор это были в основном GPU. Если мы сможем контролировать [этот стек], то это правда даст нам возможность делать больше и намного лучше. Контроль над дата-центрами, чипами, системами внутри них, моделями и ПО позволяет нам работать эффективнее. Вместо жестких интерфейсов на каждом уровне можно комбинировать и переставлять компоненты, немного повышая эффективность. И в итоге это ведет к большим вычислительным возможностям ИИ при более низком энергопотреблении для пользователя. Для нас это главный показатель: насколько эффективно мы предоставляем возможности ИИ на каждый ватт потребляемой энергии.
F: — Разработка собственного чипа — дорогой и требующий больших ресурсов процесс. Можете поделиться, как возникла эта идея? О чем конкретно шла речь и что вам сказал Сэм Альтман?
Р.Х.: — Наши первые беседы с ним, по сути, вращались вокруг вопроса: «Стоит ли нам создавать собственное оборудование?» Это не было предрешено. Скорее мы просто смотрели, какие у нас есть варианты. Хотели узнать, можем ли мы получить необходимое, обратившись к существующим поставщикам — AMD, Nvidia, Intel — с просьбой создать то, что нам нужно. Оказалось, из-за их очень широкого рынка получить от них желаемое было крайне тяжело. Кроме того, им приходилось сохранять унаследованные архитектуры. И мы решили — после очень нейтрального анализа, — что если проектировать собственный чип с нуля, то он окажется гораздо эффективнее всего, что было создано на унаследованной архитектуре. И вот тогда Сэм, по сути, дал свое разрешение: «Ладно, давайте начинать».