Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

8 советов стоматологов, как быстро и просто улучшить состояние зубов 8 советов стоматологов, как быстро и просто улучшить состояние зубов

Как поддерживать красоту и здоровье зубов

ТехИнсайдер
Что ваш музыкальный вкус говорит о вашей личности: только наука Что ваш музыкальный вкус говорит о вашей личности: только наука

Любите поп-хиты? А, может быть, вы фанат хэви-метал? Что это говорит о вас?

ТехИнсайдер
Миниатюрный орнитоптер стал одноногим прыгуном Миниатюрный орнитоптер стал одноногим прыгуном

Как инженеры создали робота-прыгуна массой меньше грамма

N+1
Разговоры о яйцах: какие лучше — C0, C1 или C2? Разговоры о яйцах: какие лучше — C0, C1 или C2?

Что означают буквы и цифры на яйцах? Как правильно яйца хранить?

ТехИнсайдер
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Что такое женская стерилизация и почему в России растет запрос на эту процедуру Что такое женская стерилизация и почему в России растет запрос на эту процедуру

Насколько эффективна женская стерилизация и угрожает ли она демографии

Forbes
Что делать, если пылесос начал неприятно пахнуть: 7 возможных причин и методы их устранения Что делать, если пылесос начал неприятно пахнуть: 7 возможных причин и методы их устранения

Как избавиться от нежелательных запахов, исходящих от вашего пылесоса

ТехИнсайдер
No Frost или капельная система: что лучше? No Frost или капельная система: что лучше?

Основных типов разморозки холодильника два: капельная система и No Frost

CHIP
Анатомия крика Анатомия крика

Какой крик можно считать полезным, а какой – разрушительным?

Здоровье
С приставкой E: как развиваются онлайн-сервисы такси, доставки и бронирования в России С приставкой E: как развиваются онлайн-сервисы такси, доставки и бронирования в России

Условный таймлайн развития сервисов такси, доставки и бронирования в России

Правила жизни
Хроническое употребление каннабиса связали с повышенным риском болезней сердца и сосудов Хроническое употребление каннабиса связали с повышенным риском болезней сердца и сосудов

Употребление каннабиса связано с риском сердечно-сосудистых заболеваний

N+1
Станция «Динамо» Станция «Динамо»

В роли «динамщиков» все чаще выступают мужчины. Что случилось с сильным полом?

Лиза
Роман бестселлер Роман бестселлер

Роман Евдокимов вопреки сложившейся моде играет не самого себя, а своих героев

Men Today
Не такой простой как кажется: вы представить себе не могли, как грифель попадает в карандаш Не такой простой как кажется: вы представить себе не могли, как грифель попадает в карандаш

Спасибо овцам, которые упростили нашу жизнь и подарили нам первые карандаши

ТехИнсайдер
Яркие миры Яркие миры

Разноцветные животные планеты

Вокруг света
Взяла и успокоилась. 4 лекарственных растения, которые стоит держать в домашней аптечке Взяла и успокоилась. 4 лекарственных растения, которые стоит держать в домашней аптечке

Природа – лучший лекарь. Главное – научиться использовать ее потенциал

Лиза
Уникальный российско-американский тепловоз ТЭРА-1 продается на «Авито» – почему он вам не знаком Уникальный российско-американский тепловоз ТЭРА-1 продается на «Авито» – почему он вам не знаком

ТЭРА-1: тепловоз с российской базой и американской начинкой

ТехИнсайдер
Слово пацанам Слово пацанам

На свете много мужчин, которые начинают общение с грубости и хамства. Зачем?

VOICE
Кокосовым маслом можно не только смазать лицо и блинчики, но и натереть газонокосилку Кокосовым маслом можно не только смазать лицо и блинчики, но и натереть газонокосилку

С бытовой точки зрения кокосовое масло просто незаменимо

ТехИнсайдер
Схема мироздания Схема мироздания

Что объединяет орнамент, тело человека, элементарные частицы и земной шар?

Вокруг света
Дом с медальном Дом с медальном

Современная загородная усадьба с ландшафтом

SALON-Interior
Белка в доме: как ухаживать за грызуном Белка в доме: как ухаживать за грызуном

Стоит ли заводить белку в качестве домашнего животного?

ТехИнсайдер
Личное дело Личное дело

Если ты заболела, кажется, что тебя прокляли, что говорить об этом стыдно

Grazia
«Поскребись своим телом по истории XX века — и никогда не захочешь ее повторять» «Поскребись своим телом по истории XX века — и никогда не захочешь ее повторять»

Тома Селиванова о своем фильме «Пепел и доломит»

Weekend
Почему в Китае приговорили к смерти австралийского писателя и за какие преступления казнили иностранцев в КНР Почему в Китае приговорили к смерти австралийского писателя и за какие преступления казнили иностранцев в КНР

Почему в Китае приговорили писателя и за что в КНР казнят туристов

СНОБ
Меняю стресс на секс: почему россияне покупают товары для взрослых охотнее алкоголя Меняю стресс на секс: почему россияне покупают товары для взрослых охотнее алкоголя

С помощью чего взрослые россияне справляются со стрессом?

Forbes
Марина Коняшкина: «Иногда на завтрак, обед и ужин у нас был только батон с красной икрой» Марина Коняшкина: «Иногда на завтрак, обед и ужин у нас был только батон с красной икрой»

Захлебываясь слезами, позвонила маме: «Все кончено, я проиграла»

Коллекция. Караван историй
7 триллеров и детективов для интеллектуалов 7 триллеров и детективов для интеллектуалов

Книги из жанра тру-крайм, которые все еще способны вас удивить

Maxim
Деловой подход Деловой подход

О том, как входить в новый коллектив, быть в нем эффективным и на хорошем счету

Psychologies
Трюки капитализма! Вот почему вы тратите в супермаркетах больше денег, чем планировали Трюки капитализма! Вот почему вы тратите в супермаркетах больше денег, чем планировали

Вы идете за хлебом, а выходите из магазина с двумя сумками продуктов?

ТехИнсайдер
Открыть в приложении