Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Палеонтологи восстановили перья археоптерикса, и объяснили как он летал Палеонтологи восстановили перья археоптерикса, и объяснили как он летал

Как ученые по оставшимся костям могут реконструировать облик археоптерикса?

ТехИнсайдер
Ищите котика Ищите котика

«В поисках снежного барса»: два француза псевдофилософствуют в снегах Тибета

Weekend
Столкновение умов: как не проиграть конкуренцию в борьбе за лидерство в области ИИ Столкновение умов: как не проиграть конкуренцию в борьбе за лидерство в области ИИ

Как на самом деле развивается ИИ в России?

Forbes
Деменция в семье: как справиться с переменами — 5 правил Деменция в семье: как справиться с переменами — 5 правил

Как выдержать испытание деменцией, где найти силы, чтобы жить дальше?

Psychologies
Обратное плацебо: что такое эффект ноцебо и как он мешает нам жить Обратное плацебо: что такое эффект ноцебо и как он мешает нам жить

Чем вреден эффект ноцебо и можно ли от него избавиться?

ТехИнсайдер
Маньяк держал в плену и жестоко насиловал россиянку в течение 14 лет: жертва смогла сбежать Маньяк держал в плену и жестоко насиловал россиянку в течение 14 лет: жертва смогла сбежать

Женщина сумела сбежать из дома мужчины, который держал ее взаперти с 2009 года

VOICE
Экономика будущего как объект исследования | The Economy of the Future as an Object of Research Экономика будущего как объект исследования | The Economy of the Future as an Object of Research

10 популярных книг последних лет на тему исследования экономики будущего

Позитивные изменения
Объекты масс-культуры: почему растет количество частных театров Объекты масс-культуры: почему растет количество частных театров

Как они живут и за счет чего развиваются частные театры

Forbes
Удалить нельзя оставить. Как быть с корнем зуба в разных случаях Удалить нельзя оставить. Как быть с корнем зуба в разных случаях

Бывают в жизни случаи, когда от зуба по разным причинам остается только корень

Лиза
20 самых быстрых внедорожников 2023 года 20 самых быстрых внедорожников 2023 года

2023 год можно смело назвать годом топовых внедорожников

4x4 Club
Хореограф Павел Глухов о работе над постановкой «Дуо» с Дианой Вишневой и Дарьей Павленко Хореограф Павел Глухов о работе над постановкой «Дуо» с Дианой Вишневой и Дарьей Павленко

Хореограф Павел Глухов рассказал — об особенностях общения с прима-балеринами

СНОБ
«Я – смерть, разрушитель миров»: грезы и смыслы Роберта Оппенгеймера «Я – смерть, разрушитель миров»: грезы и смыслы Роберта Оппенгеймера

Предлагаем вспомнить историю выдающегося физика и «отца атомной бомбы»

Правила жизни
Внутренний туризм Внутренний туризм

Петербург — не только гастрономическая, но и туристическая столица России!

Собака.ru
Одичавшие норки восстановили уменьшившийся из-за одомашнивания относительный объем мозга Одичавшие норки восстановили уменьшившийся из-за одомашнивания относительный объем мозга

Относительный размер мозга одичавших норок почти вернулся к прежним показателям

N+1
Как на вас влияет правильная осанка: интересные факты Как на вас влияет правильная осанка: интересные факты

Как связаны нейробиология осанки и благополучие?

ТехИнсайдер
Комиссарши в пыльных шлемах Комиссарши в пыльных шлемах

Прекрасные дамы, которые активно участвовали в революции

Дилетант
Тепленькая пошла: как выбрать водонагреватель для квартиры и дачи Тепленькая пошла: как выбрать водонагреватель для квартиры и дачи

На что стоит обратить внимание при покупке водонагревателя, чтобы не прогадать.

ТехИнсайдер
«Кукум». Отрывок из книги канадского писателя Мишеля Жана «Кукум». Отрывок из книги канадского писателя Мишеля Жана

Отрывок из пронзительного романа о любви «Кукум»

СНОБ
«Я без процедур красоты никуда»: Татьяна Веденеева в день 70-летия раскрыла личные секреты «Я без процедур красоты никуда»: Татьяна Веденеева в день 70-летия раскрыла личные секреты

Татьяна Веденеева рассказала, что помогает ей оставаться в прекрасной форме

VOICE
Одни эмоции Одни эмоции

Для чего на самом деле нужны злость, обида и грусть?

VOICE
Суперприложение Суперприложение

В Поднебесной вся коммуникация идет через систему WeChat

ТехИнсайдер
6 правил свидания с собой 6 правил свидания с собой

Как провести свидание с собой так, чтобы восполнить ресурс?

Psychologies
Ресурсное проклятие: как таланты могут препятствовать нашему развитию Ресурсное проклятие: как таланты могут препятствовать нашему развитию

Почему люди, обладая определенными талантами, не реализовывают свой потенциал?

Psychologies
Почему людей на Земле связывают именно 6 рукопожатий? Математики МФТИ нашли ответ Почему людей на Земле связывают именно 6 рукопожатий? Математики МФТИ нашли ответ

Правило шести рукопожатий подтвердили с помощью математической модели

ТехИнсайдер
Рекорды российского футбола: достижения «Зенита» 20-летней давности и серия ЦСКА Рекорды российского футбола: достижения «Зенита» 20-летней давности и серия ЦСКА

Forbes.Спорт рассказывает других командных рекордах российского футбола

Forbes
Ругань, слезы и прессинг «старших»: что делают женщины в российских тюрьмах Ругань, слезы и прессинг «старших»: что делают женщины в российских тюрьмах

Женщины в российских тюрьмах: условия содержания, материнство и «политические»

Forbes
В большинстве российских компаний не видят пользу цифрового рубля для бизнеса В большинстве российских компаний не видят пользу цифрового рубля для бизнеса

Более 65% российских компаний не видят преимущества цифрового рубля для бизнеса

Forbes
«История пиратства: от викингов до наших дней» «История пиратства: от викингов до наших дней»

Почему морские разбойники до сих пор существуют

N+1
5 причин заниматься пилатесом в любом возрасте 5 причин заниматься пилатесом в любом возрасте

Какие бонусы для здоровья пилатес дает в разном возрасте?

Правила жизни
Как отключить подписку ВК Музыка: подробная инструкция Как отключить подписку ВК Музыка: подробная инструкция

Рассказываем, как отключить подписку ВК Музыка на компьютере или смартфоне

CHIP
Открыть в приложении