Что влияет на прогресс языковых ИИ-моделей?

ТехИнсайдерHi-Tech

Как языковые ИИ-модели добились такого невероятного прогресса всего за десятилетие

Владимир Губайловский

Дата-центр. Nvidia

Группа исследователей проанализировала рост больших языковых моделей с 2012 года до наших дней, и постаралась ответить на вопрос: за счет чего этот рост достигнут? Как показали ученые на прогресс в развитии языковых моделей повлияли два фактора: алгоритмические инновации и рост вычислительных мощностей. Сейчас вычислительные мощности — важнее, но, видимо, так будет не всегда. 

Люди думают примерно с одной и той скоростью. Когда хайп спадет, и сумасшедшие деньги, которые сегодня вкладывают в вычислительные мощности, более-менее иссякнут, алгоритмы своей важности не потеряют.

В 2012 году лучшими языковыми моделями были небольшие рекуррентные сети, которым было сложно сформировать связные предложения. Но если мы перенесемся в сегодняшний день, то увидим большие языковые модели, такие как GPT-4, которые превосходят большинство американских абитуриентов университетов по тесту SAT. Как стал возможен такой быстрый прогресс?

В новой работе исследователи из Epoch, MIT FutureTech и Северо-Восточного университета решили разобраться с этим вопросом. Их исследование разделяет движущие силы прогресса в языковых моделях на два фактора: увеличение объема вычислений, используемых для обучения языковых моделей, и алгоритмические инновации.

Результаты исследования показывают, что благодаря усовершенствованиям алгоритмов объем вычислений, необходимый для обучения языковой модели до определенного уровня производительности, сокращается вдвое примерно каждые восемь месяцев.

«Этот результат имеет решающее значение для понимания как исторического, так и будущего прогресса языковых моделей», — говорит Энсон Хо, соавторов работы. «Хотя масштабирование вычислений имеет решающее значение, они все-таки только один из моментов. Чтобы получить полную картину, вам необходимо учитывать невероятный прогресс в изобретении алгоритмов».

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мальчик или девочка? Вероятность рождения сына или дочери не равна 50/50 Мальчик или девочка? Вероятность рождения сына или дочери не равна 50/50

Как возраст матери играет ключевую роль в определении пола будущего ребенка

ТехИнсайдер
Как научиться отжиматься: советы для новичков Как научиться отжиматься: советы для новичков

Отжимания, как известно, трудно выполнять правильно. Но не невозможно!

ТехИнсайдер
На зарядку становись: как развиваются инфраструктурные технологии для электромобилей На зарядку становись: как развиваются инфраструктурные технологии для электромобилей

Как инфраструктура для электромобилей способна изменить рынок

Forbes
Любовный треугольник: почему все стороны мирятся с изменами Любовный треугольник: почему все стороны мирятся с изменами

Как любовный треугольник может быть удобен каждому из участников?

Psychologies
Типы старения лица и кожи: какие бывают и как их определить Типы старения лица и кожи: какие бывают и как их определить

Какие типы старения лица и организма существуют?

РБК
Теодор Курентзис, дирижер-харизматик Теодор Курентзис, дирижер-харизматик

Оркестр musicAeterna — редкий случай среди независимых симфонических оркестров

Монокль
Русский «Юнкерс»: как немцы помогали развивать авиацию в СССР Русский «Юнкерс»: как немцы помогали развивать авиацию в СССР

Вначале сотрудничества казалось, что Junkers и Россия созданы друг для друга

ТехИнсайдер
«Мы мало времени проводим вместе»: как решить эту проблему — 11 главных шагов «Мы мало времени проводим вместе»: как решить эту проблему — 11 главных шагов

Как сохранить союз, невзирая на загруженную жизнь?

Psychologies
У меня лапки У меня лапки

Паралич воли: что делать с выученной беспомощностью

Новый очаг
История фразеологизма: разве можно «проглотить аршин», длина которого равна 71 сантиметру? История фразеологизма: разве можно «проглотить аршин», длина которого равна 71 сантиметру?

Как можно проглотить аршин — полуметровую линейку?

ТехИнсайдер
Из свиней сделают чипсы Из свиней сделают чипсы

Агрохолдинг «Талина» запустил в Мордовии промышленное производство мясных снеков

Монокль
Самки шимпанзе не перестали играть со своими детенышами в условиях нехватки пищи Самки шимпанзе не перестали играть со своими детенышами в условиях нехватки пищи

Ученые наблюдали за игровым поведением шимпанзе в течение десяти лет

N+1
Как найти идеального партнера для секса? Как найти идеального партнера для секса?

Идеальный секс начинается с вашего мозга, а не с физиологических потребностей

Psychologies
У дуэли женское лицо У дуэли женское лицо

«Первая дуэль»: костюмная драма о фехтовальщиках и суфражистках

Weekend
Как телефон убивает отношения Как телефон убивает отношения

Что-то пошло не так, и гаджеты всё чаще вызывают ссоры и ревность

Здоровье
Медленно, но верно Медленно, но верно

Если хотите изменить набор пищевых привычек, действуйте постепенно

Добрые советы
Золотой мой человек Золотой мой человек

«Золото Рейна»: байопик Ксатара, образцового гангстера, рэпера и бизнесмена

Weekend
Анфиса Чехова: «Я не тот человек, который верит во все подряд» Анфиса Чехова: «Я не тот человек, который верит во все подряд»

Любимые блюда Анфисы Чеховой. Каких принципов питания она придерживается?

Лиза
«С каждым вдохом: Удивительная история наших легких» «С каждым вдохом: Удивительная история наших легких»

О поиске препарата для борьбы с идиопатическим легочным фиброзом

N+1
Кочубеи Кочубеи

На крови Василия Леонтьевича Кочубея возвысился весь его род

Дилетант
Никогда не говори «никогда» Никогда не говори «никогда»

Какие фразы мешают нам достигать успеха

Лиза
Морское спокойствие Морское спокойствие

Виды на Персидский залив напрямую повлияли на выбор стилистики квартиры

SALON-Interior
Паук, который захотел стать муравьем: редкая находка в ископаемой смоле Паук, который захотел стать муравьем: редкая находка в ископаемой смоле

Этот ископаемый паук замечателен тем, что имитирует внешний вид муравья

ТехИнсайдер
Постоянство становится внутренним днем сурка: как любовь превращается в быт Постоянство становится внутренним днем сурка: как любовь превращается в быт

Роман «Другие ноты» — о предательстве, горе, о недосказанности и молчании

Forbes
Московский фаюм Московский фаюм

Судьба египтолога Владимира Голенищева и знаменитых фаюмских портретов

Правила жизни
Наталия Архангельская Наталия Архангельская

Наталия Архангельская выжгла дотла первоосновы русского люкса и глянца

Собака.ru
Как отличить поддельный смартфон от оригинального Как отличить поддельный смартфон от оригинального

Гайд, как обнаружить поддельное устройство, заказанное на маркетплейсе

Maxim
Первые роли 10 знаменитых современных актеров Первые роли 10 знаменитых современных актеров

Педро Паскаль, Милош Бикович, Тимати Шаламе и другие в своих первых ролях

Maxim
От алюминиевых коробок – к самолету. Окончательная сборка От алюминиевых коробок – к самолету. Окончательная сборка

Этапы окончательной сборки агрегатов самолета и их регулировка

Наука и техника
Розы за полмиллиона: почему женщинам принято дарить цветы и при чем здесь 8 Марта Розы за полмиллиона: почему женщинам принято дарить цветы и при чем здесь 8 Марта

Кто и когда придумал дарить цветы женщинам

Forbes
Открыть в приложении