Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почему мир заговорил о белом водороде: новый источник чистой энергии Почему мир заговорил о белом водороде: новый источник чистой энергии

Белый водород — новый уникальный источник энергии?

ТехИнсайдер
Шахматист Ян Непомнящий: Выигрывать мне нравится больше, чем играть Шахматист Ян Непомнящий: Выигрывать мне нравится больше, чем играть

Сильнейший гроссмейстер планеты — о своем профессиональном пути

СНОБ
В режиме «не беспокоить»: что такое синдром цифровой усталости, чем он опасен и как с ним бороться В режиме «не беспокоить»: что такое синдром цифровой усталости, чем он опасен и как с ним бороться

Как зумеры столкнулись с выгоранием от бесконечного скроллинга социальных сетей

Правила жизни
Что чувствует человек во время панической атаки: от первого лица Что чувствует человек во время панической атаки: от первого лица

Отрывок из романа «Арктический клуб любителей карри»

Psychologies
Стресс на работе: как распознать и что делать Стресс на работе: как распознать и что делать

Основные факторы возникновения стресса на работе и его влияние на организм

Inc.
Точечное попадание Точечное попадание

Чем опасен молчаливый инсульт?

Лиза
В титане нашли орбитальный эффект Холла В титане нашли орбитальный эффект Холла

Открытие, которое поможет уточнить механизм поведения металлов в магнитном поле

N+1
От Фаулза до Горбуновой: 7 главных книг лета От Фаулза до Горбуновой: 7 главных книг лета

Книги, за чтением которых время пролетит незаметно

РБК
Кандидат в вакцины Кандидат в вакцины

Российские ученые получили вакцинный штамм, эффективно защищающий свиней от АЧС

Агроинвестор
Хорошо устроилась Хорошо устроилась

Как получить работу там, где очень хочется

VOICE
«Я хочу быть лысым и злым». Сергей Гилев — о фильме «Кентавр», сериалах про маньяков и Александре Невском «Я хочу быть лысым и злым». Сергей Гилев — о фильме «Кентавр», сериалах про маньяков и Александре Невском

Сергей Гилев — о том, что не так с современными сценариями

Правила жизни
Ответ на глобальные вызовы, или почему будущее за инвестициями в импакт-проекты | The Answer to Global Challenges: Why Investing in Impact Projects is the Future Ответ на глобальные вызовы, или почему будущее за инвестициями в импакт-проекты | The Answer to Global Challenges: Why Investing in Impact Projects is the Future

Глобальные вызовы требуют пересмотра стандартных практик и моделей в инвестициях

Позитивные изменения
90 процентов морепродуктов оказались под угрозой из-за человека 90 процентов морепродуктов оказались под угрозой из-за человека

Антропогенная деятельность загрязняет и нагревает природные воды

N+1
Капля жизни Капля жизни

Красивая этикетка не гарантируют качества воды. А что гарантирует?

Лиза
Аквамену тоже нужно на чём-то ездить. Обзор Nokian Hakka Blue 3 SUV Аквамену тоже нужно на чём-то ездить. Обзор Nokian Hakka Blue 3 SUV

Шины Nokian Hakka Blue 3 SUV способны пережить и всемирный потоп

4x4 Club
Как уговорить ребенка есть и что делать, если подростку не нравится его тело Как уговорить ребенка есть и что делать, если подростку не нравится его тело

Что делать с детьми, которые «ничего не едят»?

СНОБ
Сложно ли зарегистрировать бизнес в Дубае? И еще несколько задач, которые решала команда Wind Rises Сложно ли зарегистрировать бизнес в Дубае? И еще несколько задач, которые решала команда Wind Rises

Команда Wind Rises — о «легкой» регистрации и неработающих скидках

Правила жизни
Свиньи помогли сородичам выбраться из заточения Свиньи помогли сородичам выбраться из заточения

Почему свиньи помогают друг другу?

N+1
Химики научились получать фторорганику напрямую из флюорита Химики научились получать фторорганику напрямую из флюорита

Исходник для всех фторсодержащих органических веществ — это минерал флюорит

N+1
Уроки русского: откуда взялось выражение Уроки русского: откуда взялось выражение

Почему не валялся именно конь?

ТехИнсайдер
«Ухо пловца» «Ухо пловца»

Наружный отит: что это за заболевание и у кого оно возникает чаще всего?

Здоровье
Ученые добились непорочного зачатия и девственного рождения у животных, которые размножаются половым путем Ученые добились непорочного зачатия и девственного рождения у животных, которые размножаются половым путем

Исследователи впервые индуцировали девственное рождение у плодовых мушек

ТехИнсайдер
Как в Фонде борьбы с лейкемией помогают подопечным перезапустить карьеру Как в Фонде борьбы с лейкемией помогают подопечным перезапустить карьеру

Как проект «Самое время жить. Карьера» помогает людям вернуться на рынок труда

Forbes
Вопрос, волнующий всех собачников: можно ли питомцу давать кости? Вопрос, волнующий всех собачников: можно ли питомцу давать кости?

Можно ли давать собакам кости, которые остаются после ужина?

ТехИнсайдер
Самцы паутинных клещей содрали кожу с самок Самцы паутинных клещей содрали кожу с самок

Самцы паутинных клещей охраняют самку накануне линьки, чтобы спариться с ней

N+1
Шпион, пытающийся выйти вон Шпион, пытающийся выйти вон

Как «Заключенный» Патрика Макгуэна говорит о возможности и невозможности свободы

Weekend
Он мог соперничать с Twitter, но был «убит»: как появился и почему провалился Google Reader Он мог соперничать с Twitter, но был «убит»: как появился и почему провалился Google Reader

Почему руководители Google закрыли один из своих «самых дальновидных» проектов?

VC.RU
И любимая подпись — «Ильич» И любимая подпись — «Ильич»

Маргарита Фофанова — одна из любимейших женщин Ленина

Дилетант
Как в Калининграде развивается среда для людей с инвалидностью Как в Калининграде развивается среда для людей с инвалидностью

Роман Аранин развивает в Калининграде доступную среду для людей с инвалидностью

Forbes
Большинство ментальных расстройств проявились в юношеском возрасте Большинство ментальных расстройств проявились в юношеском возрасте

К 75 годам ментальные расстройства могут проявиться у половины населения

N+1
Открыть в приложении