Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Наш «слон»: история создания первого советского «Москвича» Наш «слон»: история создания первого советского «Москвича»

Как появился первый народный автомобиль — «Москвич»

ТехИнсайдер
Отрывок из книги «Алексей Щусев: Архитектор № 1» писателя и историка Александра Васькина Отрывок из книги «Алексей Щусев: Архитектор № 1» писателя и историка Александра Васькина

Глава из книги Александра Васькина «Алексей Щусев: Архитектор № 1»

СНОБ
Почему интернет перестает быть свободным и переходит к гиперконтролю Почему интернет перестает быть свободным и переходит к гиперконтролю

Какой будет новая этика для мессенджеров в условиях гиперконтроля интернета

Forbes
«Понюхать грязные подгузники»: 5 безумных психологических экспериментов — радуйтесь, что вы в них не участвовали «Понюхать грязные подгузники»: 5 безумных психологических экспериментов — радуйтесь, что вы в них не участвовали

Психологические эксперименты, в которых подопытных унижают и пугают

Psychologies
Все фильмы Пон Джун Хо, снявшего «Микки 17» и «Паразиты»: от худшего к лучшему Все фильмы Пон Джун Хо, снявшего «Микки 17» и «Паразиты»: от худшего к лучшему

8 фильмов южнокорейского режиссера, от легких комедий до мощных триллеров

Maxim
Таргетная терапия уменьшила краниофарингиомы пациентов на 91 процент Таргетная терапия уменьшила краниофарингиомы пациентов на 91 процент

Исследователи сообщили об успехе II фазы испытаний таргетной терапии

N+1
Тысячи снимков личных автомобилей россиян утекли в Сеть. Это законно? Тысячи снимков личных автомобилей россиян утекли в Сеть. Это законно?

Фотографии личных автомобилей россиян утекли в интернет

РБК
5 самых интересных книг о космосе 5 самых интересных книг о космосе

Космос на бумаге: книги известных ученых, исследователей и астронавтов

Maxim
Инфляция растет: как защитить свои деньги Инфляция растет: как защитить свои деньги

Как инвесторам защитить свои сбережения, когда инфляция разгоняется?

Forbes
Не сексом единым: как понять, что у мужчины дефицит тестостерона — 8 симптомов Не сексом единым: как понять, что у мужчины дефицит тестостерона — 8 симптомов

Как повысить уровень мужского «сексуального» гормона?

Psychologies
Россия наращивает производство и экспорт удобрений несмотря на препятствия Россия наращивает производство и экспорт удобрений несмотря на препятствия

Производство удобрений растет, а экспорт приближается к рекордным показателям

Forbes
5 популярных физических упражнений, от которых практически нет пользы 5 популярных физических упражнений, от которых практически нет пользы

Эти упражнения — ложные друзья каждого ЗОЖника

Maxim
4 книги о цифровой индустрии и ее влиянии на человека 4 книги о цифровой индустрии и ее влиянии на человека

Книги, которые помогут разобраться в истории возникновения цифровой эры

СНОБ
Внутренний туризм Внутренний туризм

Петербург — не только гастрономическая, но и туристическая столица России!

Собака.ru
Американская история преступления: теории заговора об убийстве Джанни Версаче Американская история преступления: теории заговора об убийстве Джанни Версаче

Как погиб Джанни Версаче?

Правила жизни
Деньги важнее титулов: 5 самых прибыльных выставочных поединков в истории бокса Деньги важнее титулов: 5 самых прибыльных выставочных поединков в истории бокса

Самые коммерчески успешные поединки прошлого

Forbes
Как в Калининграде развивается среда для людей с инвалидностью Как в Калининграде развивается среда для людей с инвалидностью

Роман Аранин развивает в Калининграде доступную среду для людей с инвалидностью

Forbes
Шум и иллюзия: как не дать новостям сломать психику Шум и иллюзия: как не дать новостям сломать психику

Ваша ответственность: как уберечь свою психику от пагубного влияния новостей

VC.RU
Птицы, порно, Паркинсон: 7 новых документальных фильмов, которые стоит посмотреть Птицы, порно, Паркинсон: 7 новых документальных фильмов, которые стоит посмотреть

Несколько потрясающих документальных фильмов 2023 года

Правила жизни
Самая молодая последовательница Мэнсона выходит из тюрьмы: кто такая Лесли Ван Хутен Самая молодая последовательница Мэнсона выходит из тюрьмы: кто такая Лесли Ван Хутен

Рассказываем историю Ван Хутен, Мэнсона и коммуны «Семья»

Forbes
Парадокс страсти: 15 признаков дисбаланса в отношениях — проверьте свою пару Парадокс страсти: 15 признаков дисбаланса в отношениях — проверьте свою пару

О признаках дисбаланса в отношениях, которые и приводят к парадоксу страсти

Psychologies
Тепленькая пошла: как выбрать водонагреватель для квартиры и дачи Тепленькая пошла: как выбрать водонагреватель для квартиры и дачи

На что стоит обратить внимание при покупке водонагревателя, чтобы не прогадать.

ТехИнсайдер
Почки под прицелом. Пиелонефрит – самое распространенное почечное заболевание Почки под прицелом. Пиелонефрит – самое распространенное почечное заболевание

Вовремя пролеченный пиелонефрит исчезает без последствий

Лиза
Кровосмешение? История как одни близнецы сыграли свадьбу с парой других! Кровосмешение? История как одни близнецы сыграли свадьбу с парой других!

Свадьбы необычной четы Сальерсов стали известны как «четвертичные браки»

ТехИнсайдер
Растения привлекли млекопитающих плодами с повышенной концентрацией спирта Растения привлекли млекопитающих плодами с повышенной концентрацией спирта

Зачем растения концентрируют спирт в своих плодах?

N+1
Как решить, куда двигаться дальше: 5 советов коуча — попробуйте, если вы «сканер» Как решить, куда двигаться дальше: 5 советов коуча — попробуйте, если вы «сканер»

Не можете решить, в каком направлении идти дальше, и это вызывает у вас стресс?

Psychologies
Мамины гантели: как девушки качают железо и становятся звездами TikTok Мамины гантели: как девушки качают железо и становятся звездами TikTok

Что стоит за тренировками мускулистых женщин с миллионами подписчиков в соцсетях

Forbes
Дорого и сердито: почему мясо из пробирки вряд ли станет массовым продуктом Дорого и сердито: почему мясо из пробирки вряд ли станет массовым продуктом

Почему производство и потребление мяса из пробирки не станет массовым?

Forbes
Болотное дело Болотное дело

На Suzuki Jimny туда, где только мокрое место осталось

Автопилот
10 вопросов, которые мужья не должны задавать своим женам 10 вопросов, которые мужья не должны задавать своим женам

Те самые случаи, когда лучше молчать, чем говорить

Maxim
Открыть в приложении