Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почему зевать — опасно? Узнайте интересные факты и мнение специалистов Почему зевать — опасно? Узнайте интересные факты и мнение специалистов

Почему сонливость и зевота — опасны?

ТехИнсайдер
«Если любишь, докажи!»: как перестать требовать этого от партнера — 3 сценария «Если любишь, докажи!»: как перестать требовать этого от партнера — 3 сценария

Почему нам постоянно нужны доказательства любви?

Psychologies
LoveGPT: как искусственный интеллект меняет приложения для знакомств и сферу отношений LoveGPT: как искусственный интеллект меняет приложения для знакомств и сферу отношений

AI уже добрался до человеческих отношений, но пока не установил власть над ними

СНОБ
Почему Мадонна оказалась в реанимации: 6 факторов Почему Мадонна оказалась в реанимации: 6 факторов

Как излишне активный образ жизни и перфекционизм разрушают нас?

Psychologies
Кто такая пикми: разбираем феномен пикми-герл с психологами Кто такая пикми: разбираем феномен пикми-герл с психологами

Что стоит за пикми-поведением?

РБК
Верхний регистр Верхний регистр

Новый Exeed RX. Автомобиль, сыгранный по нотам

Автопилот
«Нить истории» «Нить истории»

Как прялка, веретено и ткацкий станок помогли построить цивилизацию

N+1
В Индийском океане существует гигантская гравитационная дыра, и мы наконец-то можем узнать ее причину В Индийском океане существует гигантская гравитационная дыра, и мы наконец-то можем узнать ее причину

К образованию этой аномалии привели шлейфы раскаленной магмы

ТехИнсайдер
Необыкновенное обыкновенное чудо: что люди, пережившие онкологию, думают о любви Необыкновенное обыкновенное чудо: что люди, пережившие онкологию, думают о любви

Глава из книги «Необыкновенное обыкновенное чудо. О Любви»

Forbes
Дневник предпринимательницы: во сколько бизнесу обходится электронный документооборот Дневник предпринимательницы: во сколько бизнесу обходится электронный документооборот

Какие расходы влечет за собой электронный документооборот?

Forbes
Как мозг строит модели будущего и действует согласно этим моделям Как мозг строит модели будущего и действует согласно этим моделям

Память не только сохраняет воспоминания, но и позволяет прогнозировать будущее

ТехИнсайдер
Освещение с датчиком движения: какой светильник выбрать Освещение с датчиком движения: какой светильник выбрать

Вопрос комфортного освещения может быть решен светильником с датчиком движения

CHIP
Цифровой рубль: что это, и как его использовать Цифровой рубль: что это, и как его использовать

Рассказываем всё про цифровой рубль

CHIP
Опознанный бескапотник Опознанный бескапотник

Преимущества «ГАЗ Валдай 8» для соседей по транспортному потоку

Автопилот
Шаманы и шаманизм Шаманы и шаманизм

Почему шаманизм многих пугает и как он работает на самом деле?

Лиза
Мода на седаны Мода на седаны

Как марка Omoda повлияла на любовь к седанам

Автопилот
Ученые нашли эффективный способ отличать сигналы из глубин космоса от «фонового шума» Земли Ученые нашли эффективный способ отличать сигналы из глубин космоса от «фонового шума» Земли

Новый метод распознавания радиосигналов может значительно сузить поиск

ТехИнсайдер
Дронго обошли кукушек в гонке вооружений благодаря разноцветным яйцам Дронго обошли кукушек в гонке вооружений благодаря разноцветным яйцам

Дронго выбрасывают >90% яиц, которые им подбрасывают кукушки

N+1
Вспоминая Джейн Биркин: какой была жизнь главной музы Сержа Генсбура и иконы стиля XX века Вспоминая Джейн Биркин: какой была жизнь главной музы Сержа Генсбура и иконы стиля XX века

Чем Джейн Биркин запомнилась зрителям и как вошла в историю моды

VOICE
Сезонное предложение Сезонное предложение

Разбираемся, какие сезонные продукты нам помогут отлично выглядеть

Лиза
Что делать, если потерял ключи: инструкция Что делать, если потерял ключи: инструкция

Как восстановить ключи, что делать с сигнализацией во время вскрытия автомобиля

РБК
История о приемных детях и важной миссии для подростка История о приемных детях и важной миссии для подростка

Как примирить подростка с присутствием в семье приемного ребенка с особенностями

СНОБ
Как три предпринимательницы помогают женщинам создавать собственный бизнес Как три предпринимательницы помогают женщинам создавать собственный бизнес

Как Collabroom помогает женщинам преодолеть неуверенность в собственных силах

Forbes
Тратьте деньги, чтобы сэкономить время: советы от инвестгуру Навала Равиканта Тратьте деньги, чтобы сэкономить время: советы от инвестгуру Навала Равиканта

Как оценить себя правильно и на что стоит тратить время?

Forbes
Три группы приматов независимо колонизировали Южную Америку около 30 миллионов лет назад Три группы приматов независимо колонизировали Южную Америку около 30 миллионов лет назад

Палеонтологи описали новый вид южноамериканских приматов

N+1
Неочевидное, но вероятное: зачем ехать на выходные в Каргополь Неочевидное, но вероятное: зачем ехать на выходные в Каргополь

Хотите открыть для себя Русский Север — начинайте с Каргополя

Правила жизни
Посторонним вход строго запрещен: 5 мест на земле, которые недоступны для посетителей Посторонним вход строго запрещен: 5 мест на земле, которые недоступны для посетителей

Почему эти загадочные места старательно ограждают от посетителей?

ТехИнсайдер
Физики нашли в замещенном апатите свинца комнатную сверхпроводимость при атмосферном давлении Физики нашли в замещенном апатите свинца комнатную сверхпроводимость при атмосферном давлении

Ученые нашли у апатита свинца сверхпроводящие свойства при комнатной температуре

N+1
«Империя законности» «Империя законности»

Юридические перемены и культурное разнообразие в позднеимперской России

N+1
Многое теряют Многое теряют

Насколько безопасны новые инъекции для похудения?

VOICE
Открыть в приложении