Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Трагическая история Одри Мэнсон, первой американской супермодели Трагическая история Одри Мэнсон, первой американской супермодели

Путь первой американской супермодели Одри Мэнсон к славе

ТехИнсайдер
Заряд бодрости. 7 фруктов, которые лучше всего есть на завтрак Заряд бодрости. 7 фруктов, которые лучше всего есть на завтрак

Какие фрукты не только придадут тебе энергию с самого утра, но и оставят сытой

Лиза
Неприятная правда о чат-ботах c ИИ: они способны выдавать незаконную информацию Неприятная правда о чат-ботах c ИИ: они способны выдавать незаконную информацию

Эксперты выяснили, что многие чат-боты на базе ИИ легко поддаются манипуляциям

Inc.
Женщины в деле Женщины в деле

Бизнес – дело мужчин? Как бы не так!

Лиза
Пять языков любви Пять языков любви

Секрет прочных отношений

kiozk originals
По ком звонит телефон По ком звонит телефон

Как работают похитители средств граждан и как им противостоять

Деньги
Как правильно ездить на электросамокате в 2024 году: номера, карточки и новые штрафы Как правильно ездить на электросамокате в 2024 году: номера, карточки и новые штрафы

Электросамокаты, гироскутеры, моноколеса и иже с ними впервые добавили в ПДД

Maxim
Психопаты, социопаты, нарциссы: в чем разница Психопаты, социопаты, нарциссы: в чем разница

Социопаты — это не серийные убийцы, которых мы привыкли видеть на экранах

Psychologies
Червяги покормили детенышей «молоком» из клоаки Червяги покормили детенышей «молоком» из клоаки

Самки кольчатых червяг кормят детенышей богатым липидами и углеводами «молоком»

N+1
Команда «На взлёт» Команда «На взлёт»

Эксперты назвали художников, чьи работы имеют шанс вырасти в цене

RR Люкс.Личности.Бизнес.
Рождение литературного слова из духа математики Рождение литературного слова из духа математики

Сухово-Кобылина можно в полной мере считать «иксом», «невидимой величиной»...

Наука
12 цитат 98-летнего долгожителя, которые помогут найти себя в жизни 12 цитат 98-летнего долгожителя, которые помогут найти себя в жизни

Мы же решили узнать у 98-летнего жителя, что он думает о счастье и смысле жизни

Psychologies
Своевременное вневременное Своевременное вневременное

Как математик Александр Константинов стал художником чистой линии

Weekend
10 абсолютно тошнотворных коктейлей 10 абсолютно тошнотворных коктейлей

Все эти коктейли существуют на самом деле, и их отвратительные названия тоже

Maxim
Незаменимы во все времена Незаменимы во все времена

Как трансформировалась профессия водителя такси и какое будущее ждет ее

РБК
Как и зачем айтишник из Якутии пытается сохранить исчезающие языки малочисленных народов России с помощью современных технологий Как и зачем айтишник из Якутии пытается сохранить исчезающие языки малочисленных народов России с помощью современных технологий

Как эколог стал IT-специалистом и сложно ли ИИ говорить на редких языках

СНОБ
Самые лучшие и горячие кинофильмы про стриптиз Самые лучшие и горячие кинофильмы про стриптиз

Стриптиз в кино: драма, черная комедия, спорный фильм с ДжейЛо

Maxim
«Пустые клеточки» таблицы Менделеева «Пустые клеточки» таблицы Менделеева

Откуда берутся новые химические элементы? Зачем расширять таблицу Менделеева?

Наука и жизнь
Идеал в деталях Идеал в деталях

11 качеств женщины, которые больше всего цепляют мужчин

Лиза
Стоит только начать Стоит только начать

Советы для тех, кому лень заниматься спортом или всегда некогда

Лиза
«Мы пытаемся найти героя поколения» «Мы пытаемся найти героя поколения»

Сергей Жуков — из тех людей, кого так просто и не представишь

OK!
Психиатр Ирвин Ялом женился второй раз в 92 года: почему он решился на этот шаг? Психиатр Ирвин Ялом женился второй раз в 92 года: почему он решился на этот шаг?

Разбираемся в тонкостях позднего брака — особенно после утраты супруга

Psychologies
Два аспида не поделили червягу Два аспида не поделили червягу

Исследователи стали свидетелями битвы за добычу между двумя коралловыми аспидами

N+1
Спа среди хвойного леса Спа среди хвойного леса

Превращение неиспользуемой части гаража в домашний спа-комплекс

Идеи Вашего Дома
Экстремальная глажка и вышивка по металлу: 10 самых странных хобби в мире Экстремальная глажка и вышивка по металлу: 10 самых странных хобби в мире

Рассказываем о 10 самых странных увлечениях на свете

ТехИнсайдер
На новой волне На новой волне

Почему так важна саморефлексия и как ее в себе прокачать

Лиза
Никого не джалло Никого не джалло

«Красные комнаты»: барочный канадский хоррор об убийствах в даркнете

Weekend
Дарвину и не снилось Дарвину и не снилось

Какие специалисты могут запрограммировать искусственную эволюцию

РБК
Сопрано для диктатуры пролетариата Сопрано для диктатуры пролетариата

Как «Тоску» Пуччини заставили бороться за коммуну

Weekend
Как найти идеального партнера для секса? Как найти идеального партнера для секса?

Идеальный секс начинается с вашего мозга, а не с физиологических потребностей

Psychologies
Открыть в приложении