Ненасытный интеллект
Создание искусственных интеллектов следующих поколений, еще более масштабных, сложных и точных, столкнулось с неожиданным препятствием: их работа требует так много электричества, что существующие мощности могут просто не справиться с генерацией.
Узкое горлышко
Чем крупнее, тем «умнее» становятся нейросети. При обучении они перерабатывают огромные массивы данных, настраивая миллиарды, а то и триллионы своих внутренних переменных. Чем больше у модели таких параметров, тем проще ей находить закономерности и связи. Вышедшая в 2018 году GPT-1 использовала 117 млн переменных, GPT-2 – около 1,5 млрд, а в GPT-4, по некоторым данным, их более 1,7 трлн. Однако по мере увеличения размеров нейросети оказываются все более «прожорливыми»: если обучение GPT-2 обошлось компании OpenAI всего в 50 тыс. долл., то на GPT-4 пришлось потратить уже более 100 млн.
Деньги нужны на инфраструктуру и работу дата-центров, питание и охлаждение десятков и сотен тысяч графических процессоров. Энергетические затраты, как и финансовые, растут экспоненциально. Эксперты подсчитали, что для подготовки GPT-4 было затрачено 51–62 ГВт·ч – такого количества электроэнергии мегаполису Сан-Франциско хватило бы на несколько дней.
По данным Международного энергетического агентства (МЭА), на вычисление и хранение данных сегодня уходит до 1,5% всей мировой электроэнергии. В США эта цифра уже достигла 4,4%; ожидается, что к 2028 году она вырастет до 12%. Однако новые огромные дата-центры для будущих нейросетей грозят сделать ситуацию куда более напряженной. В Вайоминге запланировано строительство дата-центра,