Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ученые выяснили, почему сложно простить себя за ошибки и как это сделать Ученые выяснили, почему сложно простить себя за ошибки и как это сделать

Почему одни застревают в самоосуждении, а другие находят способ простить себя?

ТехИнсайдер
5 популярных физических упражнений, от которых практически нет пользы 5 популярных физических упражнений, от которых практически нет пользы

Эти упражнения — ложные друзья каждого ЗОЖника

Maxim
5 сверхспособностей, которые станут доступны людям уже через 5 лет по версии футурологов 5 сверхспособностей, которые станут доступны людям уже через 5 лет по версии футурологов

Какие «суперспособности» станут реальностью уже к 2030 году — и какой ценой?

Maxim
Многое теряют Многое теряют

Насколько безопасны новые инъекции для похудения?

VOICE
Можно ли плавать в Apple Watch: разбираемся в нюансах умных часов компании Можно ли плавать в Apple Watch: разбираемся в нюансах умных часов компании

Можно ли плавать в Apple Watch? Давайте разбираться. Нюансов здесь хватает

ТехИнсайдер
Крах города машин. 10 лет назад Детройт объявил о банкротстве Крах города машин. 10 лет назад Детройт объявил о банкротстве

Банкротству Детройта в США исполнилось 10 лет

РБК
В мозге есть группа нейронов, которая останавливает любое движение. Даже дыхание В мозге есть группа нейронов, которая останавливает любое движение. Даже дыхание

Ученые нашли группу клеток, активация которых полностью останавливает движение

ТехИнсайдер
Как в Калининграде развивается среда для людей с инвалидностью Как в Калининграде развивается среда для людей с инвалидностью

Роман Аранин развивает в Калининграде доступную среду для людей с инвалидностью

Forbes
«Мы — выживальщики»: как представители разных семейных мифов реагируют на кризис — мнение психолога «Мы — выживальщики»: как представители разных семейных мифов реагируют на кризис — мнение психолога

Что такое индивидуальная самоидентификация семьи?

Psychologies
Как улучшить работу мозга в старости? Простое решение — волонтерство! Как улучшить работу мозга в старости? Простое решение — волонтерство!

Как волонтерство помогает поддерживать когнитивные способности на пенсии

ТехИнсайдер
Спорт на автомате Спорт на автомате

Eurobot: как проходит европейский турнир по робототехнике

ТехИнсайдер
18-летняя мама пыталась нанять киллера в интернете, чтобы убить своего 3-летнего сына 18-летняя мама пыталась нанять киллера в интернете, чтобы убить своего 3-летнего сына

Журналисты сообщили, что молодая мама из США решила избавиться от своего ребенка

ТехИнсайдер
Я все еще держусь. О чем пел сэр Элтон Джон Я все еще держусь. О чем пел сэр Элтон Джон

Разбираем главные песни Элтона Джона

СНОБ
Американская история преступления: теории заговора об убийстве Джанни Версаче Американская история преступления: теории заговора об убийстве Джанни Версаче

Как погиб Джанни Версаче?

Правила жизни
«Возмутители спокойствия, цензоры и экзаменаторы»: почему мужчины ненавидят подруг женщин — взгляд психолога «Возмутители спокойствия, цензоры и экзаменаторы»: почему мужчины ненавидят подруг женщин — взгляд психолога

Почему мужчины часто недолюбливают женские посиделки? Чего они боятся?

Psychologies
Вдыхание чистого кислорода ускорило двигательную реакцию здоровых людей Вдыхание чистого кислорода ускорило двигательную реакцию здоровых людей

Вдыхание стопроцентного кислорода улучшает моторное обучение человека

N+1
Совершенно лишние люди Совершенно лишние люди

«Блажь»: роуд-муви, в котором метафоры побеждают кино

Weekend
Я — сноб. Режиссер Игорь Твердохлебов Я — сноб. Режиссер Игорь Твердохлебов

Режиссер Игорь Твердохлебов о своем главном достижении последнего года

СНОБ
Дипфейки, репетиторы и запрещенные слова: как Китай планирует регулировать ИИ Дипфейки, репетиторы и запрещенные слова: как Китай планирует регулировать ИИ

Китай одним из первых вводит ограничения для развития ИИ

Forbes
Небесный дворец Небесный дворец

Чем занимаются китайские космонавты на своей орбитальной станции?

ТехИнсайдер
До встречи в книжном: 7 отличных романов для отпуска До встречи в книжном: 7 отличных романов для отпуска

Добрые, милые, уютные истории, которые заставят переживать, но кончатся хорошо

Psychologies
Лучшие платформеры на ПК: топ-10 проектов в 2023 году Лучшие платформеры на ПК: топ-10 проектов в 2023 году

10 лучших игр-платформеров в 2023 году на ПК

CHIP
Навстречу теплым берегам Навстречу теплым берегам

Даже на обычной даче можно создать атмосферу Средиземноморья

Лиза
Связанные одной лодкой Связанные одной лодкой

16 фактов про «Yellow Submarine»

Weekend
Цветочная пыльца рассказала историю падения Римской империи Цветочная пыльца рассказала историю падения Римской империи

Керны со дна залива Святой Евфимии восстановила картину падения Римской империи

ТехИнсайдер
Радость моя, твоя, наша Радость моя, твоя, наша

Поговорка «Кому – арбуз, а кому – свиной хрящик» не лишена смысла

Лиза
Владимир Маяковский в десяти словах, сказанных им самим Владимир Маяковский в десяти словах, сказанных им самим

Портрет Владимира Маяковского в десяти словах из его стихов

Правила жизни
Почему собранные ретейлерами на переработку вещи оказываются на свалках Африки Почему собранные ретейлерами на переработку вещи оказываются на свалках Африки

Почему в мире перерабатывается менее 1% текстильных отходов?

Forbes
О феномене Мадонны и наследии Карла Лагерфельда. Заметки искусствоведа Изабель Грав О феномене Мадонны и наследии Карла Лагерфельда. Заметки искусствоведа Изабель Грав

«В другом мире. Заметки 2014-2017» — это сборник эссе искусствоведа и куратора

СНОБ
Альберт Эйнштейн: счастливые годы в Берне Альберт Эйнштейн: счастливые годы в Берне

С каким багажом Эйнштейн приехал в Берн и как он шел к своему «году чудес»

Наука и жизнь
Открыть в приложении