Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Эксперты: для здоровья лучше пить чай с шоколадом, нежели чем вино! И вот почему Эксперты: для здоровья лучше пить чай с шоколадом, нежели чем вино! И вот почему

Сочетание щоколада и чая обладает мощными антиоксидантными свойствами

ТехИнсайдер
Как справиться с тревогой: 10 шагов к спокойствию Как справиться с тревогой: 10 шагов к спокойствию

Как остановить тревожные мысли, заземлиться и успокоиться

ТехИнсайдер
Как проверить скорость SSD на запись и чтение Как проверить скорость SSD на запись и чтение

Программы для проверки скорости работы твердотельного накопителя

CHIP
«Близкие отказываются помогать с ребенком, ведь они не просили меня рожать»: история читательницы и комментарий психолога «Близкие отказываются помогать с ребенком, ведь они не просили меня рожать»: история читательницы и комментарий психолога

Почему семья может не поддерживать маму с ребенком? История читательницы

Psychologies
Ученые заявили, что дисциплина не поможет побороть лишний вес. Дело в другом Ученые заявили, что дисциплина не поможет побороть лишний вес. Дело в другом

Похудение — это битва, выходящая за рамки чистой силы воли

Inc.
Семь правил внутренней гармонии Семь правил внутренней гармонии

Если заботиться о себе, достичь внутренней гармонии не так сложно

Здоровье
Как разговаривать с пьяным человеком? Как разговаривать с пьяным человеком?

Как вести себя в ситуации, когда пьяного человека невозможно игнорировать?

Psychologies
9 трендов в уборке, которые стоит попробовать в этом году: мнение профессиональных клинеров 9 трендов в уборке, которые стоит попробовать в этом году: мнение профессиональных клинеров

Что сейчас считается трендом в области наведения порядка и чистоты в доме?

VOICE
«Так и живет большинство»: отрывок из романа о бегстве из невыносимого брака «Так и живет большинство»: отрывок из романа о бегстве из невыносимого брака

Отрывок из романа Антонии Байетт «Вавилонская башня»

Forbes
Если вы родились в СССР, то в 1990-е годы у вас сформировалась разрушительная привычка Если вы родились в СССР, то в 1990-е годы у вас сформировалась разрушительная привычка

Как понять, что терпение вместо пользы начинает разрушать нас изнутри?

Psychologies
«Заставить женщин рожать больше невозможно»: Екатерина Шульман о демографии «Заставить женщин рожать больше невозможно»: Екатерина Шульман о демографии

Почему нельзя изменить ситуацию, запрещая аборты и принуждая женщин рожать

Forbes
«Лучшие пропускают искусство через сердце, через эмоции» «Лучшие пропускают искусство через сердце, через эмоции»

Почему кроме коммерческой и художественной ценности на арт-рынке важна любовь

Правила жизни
Как в африканских странах осваивают криптовалюту и поможет ли это торговле с Россией Как в африканских странах осваивают криптовалюту и поможет ли это торговле с Россией

Какие цифровые инструменты можно использовать для торговли со странами Африки

Forbes
Принцесса была ужасная: как две королевские дочери устроили бунт в монастыре Принцесса была ужасная: как две королевские дочери устроили бунт в монастыре

Про принцесс, с которыми шутки были плохи

Forbes
Павианы анубисы переночевали на опорах ЛЭП Павианы анубисы переночевали на опорах ЛЭП

Ученые заметили несколько групп павианов анубисов, ночующих на опорах ЛЭП

N+1
Какой же вы интеллектуал с чувством юмора, если не знаете эти 14 цитат советского гения смешного Аркадия Аверченко! Какой же вы интеллектуал с чувством юмора, если не знаете эти 14 цитат советского гения смешного Аркадия Аверченко!

Каждый интеллектуал с чувством юмора обязан знать эти цитаты Аркадия Аверченко

Maxim
«Тётя Аврора» вылетела в три часа… «Тётя Аврора» вылетела в три часа…

Я как безумный метался и думал: мы или они? Мы или они?

Дилетант
Порноместь: 6 причин, почему мужчины делятся интимными фото и видео бывших подруг Порноместь: 6 причин, почему мужчины делятся интимными фото и видео бывших подруг

Что такое порноместь и почему мужчины это делают

Psychologies
Искусство запрещать Искусство запрещать

Одна из самых громких сенсаций в новейшей истории арт-рынка

Правила жизни
Словарь электротехники Словарь электротехники

Гид по электрокарам

Men Today
Белых пятен больше нет Белых пятен больше нет

Десять удивительных географических объектов, открытых в XX и XXI веке

Вокруг света
Как бизнес способствует развитию инклюзивности Как бизнес способствует развитию инклюзивности

Как бизнес содействует повышению качества жизни социально уязвимых групп

СНОБ
«Когда я боюсь , я иду напролом» «Когда я боюсь , я иду напролом»

Ксения Трейстер — о твердом характере и желании быть во всем первой

OK!
«С каждым вдохом: Удивительная история наших легких» «С каждым вдохом: Удивительная история наших легких»

О поиске препарата для борьбы с идиопатическим легочным фиброзом

N+1
По Ленинским местам По Ленинским местам

8 вещей, которые нужно сделать в Ульяновске и окрестностях

Лиза
Любовный треугольник: почему все стороны мирятся с изменами Любовный треугольник: почему все стороны мирятся с изменами

Как любовный треугольник может быть удобен каждому из участников?

Psychologies
Пой, ласточка, пой Пой, ласточка, пой

Какими умениями нужно обладать, чтобы стать оперным певцом

Лиза
Хочу булочку! Хочу булочку!

Как есть мучное и при этом не набирать вес: советы нутрициолога

Лиза
По разным канонам По разным канонам

Фантазия на тему усадьбы с винтажной мебелью и отделкой конца XIX в.

Идеи Вашего Дома
Масленица в Коломне Масленица в Коломне

Кругом угощения, блины, сладости! И этот дух сохранили в Коломне и сегодня!

Лиза
Открыть в приложении