Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Издержки профессии: почему у гонщиков Формулы-1 такие большие шеи Издержки профессии: почему у гонщиков Формулы-1 такие большие шеи

Гонщик Формулы-1 — не просто водитель, он настоящий спортсмен

ТехИнсайдер
Шанс для защиты: как реагировать на иски прокуратуры о пересмотре итогов приватизации Шанс для защиты: как реагировать на иски прокуратуры о пересмотре итогов приватизации

Общие тенденции прокурорских исков имущества и защита от них

Forbes
Разработана умная роботизированная инвалидная коляска Разработана умная роботизированная инвалидная коляска

Как умное кресло-коляска позволяет находить оптимальный путь к пункту назначения

ТехИнсайдер
Радость, усни Радость, усни

«Герой наших снов»: анекдот о славе и цифровом капитализме с Николасом Кейджем

Weekend
Млечный Путь и Андромеда прямо сейчас мчатся навстречу друг другу — космический апокалипсис или слияние галактик? Млечный Путь и Андромеда прямо сейчас мчатся навстречу друг другу — космический апокалипсис или слияние галактик?

Млечный Путь и Андромеда сейчас стремительно движутся навстречу друг другу

Inc.
Хендмейд-косметика Хендмейд-косметика

Так ли безопасна хендмейд-косметика, как может показаться?

Здоровье
Как полюбить себя: 5 фраз, которые помогут тебе это сделать Как полюбить себя: 5 фраз, которые помогут тебе это сделать

Пять фраз, которые полезно повторять не только другим, но и себе

VOICE
Ню и автор Ню и автор

«Обнаженная муза Пьера Боннара»: бесхитростный байопик художника

Weekend
Зумеры в России мечтают о раннем браке и большой семье: почему для них это важно Зумеры в России мечтают о раннем браке и большой семье: почему для них это важно

Почему одна из главных ценностей зумеров — создание собственной семьи?

Psychologies
Что такое мнительность и кто такой мнительный человек: объяснение гештальт-терапевта Что такое мнительность и кто такой мнительный человек: объяснение гештальт-терапевта

Что значит — мнительный характер? Почему он вреден для вашей жизни?

Psychologies
Что такое компрессия в двигателе и по каким причинам ее может не быть Что такое компрессия в двигателе и по каким причинам ее может не быть

Все о компрессии двигателя: как проверить и почему она пропадает

РБК
Каким получился «Герой наших снов» — фильм-анекдот о внезапной славе неудачника Каким получился «Герой наших снов» — фильм-анекдот о внезапной славе неудачника

«Герой наших снов» — одна из лучших картин от студии А24 за последние годы

Правила жизни
Как арестовывали Даниила Хармса. Отрывок из книги Как арестовывали Даниила Хармса. Отрывок из книги

Глава из книги «Даниил Хармс. Жизнь человека на ветру»

СНОБ
Как вылечить робота Как вылечить робота

На участке окончательной приемки врач пытается реанимировать пациента-андроида.

ТехИнсайдер
Окончание трилогии о мотивации. Что делать, если ребенок ничего не хочет Окончание трилогии о мотивации. Что делать, если ребенок ничего не хочет

Как вести себя родителям, если ребенок все время лежит на диване

СНОБ
Попкорн — вред или польза для здоровья? Узнайте интересные факты о популярной закуске! Попкорн — вред или польза для здоровья? Узнайте интересные факты о популярной закуске!

Попкорн — относительно полезная закуска или вредный снэк?

ТехИнсайдер
Искусственный интеллект смог создать «идеальное» пиво Искусственный интеллект смог создать «идеальное» пиво

ИИ доработал состав пенного напитка, который смог поразить дегустаторов-людей

ТехИнсайдер
Женские таблетки Женские таблетки

Противозачаточные средства: свойства, не связанные с контрацепцией

Лиза
6 стратегий, которые помогут влюбленным выразить свои чувства 6 стратегий, которые помогут влюбленным выразить свои чувства

Как поделиться чувствами с «тем самым» человеком?

Psychologies
Депрессия, одиночество и боязнь критики: почему 30-летние страдают на работе Депрессия, одиночество и боязнь критики: почему 30-летние страдают на работе

Отрывок из книги о том, как жить, когда тебе за 30

Forbes
«Это я — Эдичка» — непонятый роман Эдуарда Лимонова «Это я — Эдичка» — непонятый роман Эдуарда Лимонова

Скандальный роман Эдуарда Лимонова, содержание которого понимают неправильно

СНОБ
Издательский бизнес с энтузиазмом 1990-х: как Анна Штейнман управляет «Фантом Пресс» Издательский бизнес с энтузиазмом 1990-х: как Анна Штейнман управляет «Фантом Пресс»

Как Анна Штейнман открывала и вела издательский бизнес в 1990-х

Forbes
Стоит ли рвать Конституцию морей? Стоит ли рвать Конституцию морей?

Какие выгоды и издержки влечет выход из-под режима Конвенции по морскому праву

Монокль
Долгая история: на какие книжные серии стоит обратить свой взгляд Долгая история: на какие книжные серии стоит обратить свой взгляд

Легендарные книжные серии, достойные вашего внимания

Maxim
Простые способы сохранить зелень свежей в холодильнике Простые способы сохранить зелень свежей в холодильнике

Эффективные способы продлить свежесть зелени

ТехИнсайдер
Не просто жена: как появились первые леди и почему они стали влиять на политику Не просто жена: как появились первые леди и почему они стали влиять на политику

Как институт «первых леди» распространился на жен (и мужей) лидеров государств

Forbes
9 трендов в уборке, которые стоит попробовать в этом году: мнение профессиональных клинеров 9 трендов в уборке, которые стоит попробовать в этом году: мнение профессиональных клинеров

Что сейчас считается трендом в области наведения порядка и чистоты в доме?

VOICE
Что опытные велосипедисты делают иначе, чем все остальные: 10 полезных навыков Что опытные велосипедисты делают иначе, чем все остальные: 10 полезных навыков

Несколько привычек опытных велосипедистов, делающие поездки легче

ТехИнсайдер
Сила мысли Сила мысли

Какими способностями наделяют людей «умные» экзоскелеты

РБК
Рождение литературного слова из духа математики Рождение литературного слова из духа математики

Сухово-Кобылина можно в полной мере считать «иксом», «невидимой величиной»...

Наука
Открыть в приложении