Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Что о вас может говорить окружность вашей шеи Что о вас может говорить окружность вашей шеи

Что ваша шея говорит о здоровье? Открытие медиков о связи размера шеи и болезней

ТехИнсайдер
Многое теряют Многое теряют

Насколько безопасны новые инъекции для похудения?

VOICE
Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер

Инженеры разработали гибкие актуаторы, которые могут плавно деформироваться

N+1
Непохожие вербейники Непохожие вербейники

Посмотришь на вербейники, не можешь поверить их родству — насколько они различны

Наука и жизнь
Не сдирать! Что делать, если облезает кожа после солнечного ожога Не сдирать! Что делать, если облезает кожа после солнечного ожога

Что делать при солнечном ожоге, чтобы ускорить заживление кожи и облегчить зуд

ТехИнсайдер
От Вирджинии Вулф до Кэролайн Криадо-Перес: 13 главных книг о феминизме От Вирджинии Вулф до Кэролайн Криадо-Перес: 13 главных книг о феминизме

Что почитать, чтобы понять, чем занимаются феминистки

Forbes
История игрушек: три культовые куклы на любой вкус, помимо Барби История игрушек: три культовые куклы на любой вкус, помимо Барби

Пони, трансформеры и фёрби: культовые куклы XX века

Правила жизни
Символ империи: как чай стал причиной войн и самым важным напитком в мире Символ империи: как чай стал причиной войн и самым важным напитком в мире

Как чай влиял на судьбу империй и одновременно становился символом уюта

Forbes
От влюбленности до паники: как и почему выставки влияют на наше психологическое здоровье От влюбленности до паники: как и почему выставки влияют на наше психологическое здоровье

Музеи — важная часть социокультурного пространства

Psychologies
Три мотора и 6 литров на сотню: экономичный тест Chery Tiggo 8 Pro E+ Три мотора и 6 литров на сотню: экономичный тест Chery Tiggo 8 Pro E+

Технологичный, экономичный, солидный кроссовер с роскошным салоном

Maxim
Что читать в поездке: 5 детективов, от которых вы не сможете оторваться Что читать в поездке: 5 детективов, от которых вы не сможете оторваться

Чем можно заняться на отдыхе? Например, отоспаться... или провести расследование

Psychologies
5 хитростей, которые сделают перелет с детьми беззаботным — советы стюардессы 5 хитростей, которые сделают перелет с детьми беззаботным — советы стюардессы

Как создать комфортные условия для детей в полете?

VOICE
«Империя законности» «Империя законности»

Юридические перемены и культурное разнообразие в позднеимперской России

N+1
Усадьбы, пляжи и дома творчества: идеи для отдыха в Москве и Подмосковье Усадьбы, пляжи и дома творчества: идеи для отдыха в Москве и Подмосковье

Что можно увидеть на маршрутах нового проекта «Москва + Подмосковье»

СНОБ
За что подростки уважают взрослых За что подростки уважают взрослых

Опрос среди юношей и девушек от 14 до 22 лет: за что можно уважать взрослых

СНОБ
Как записать мужа в телефоне? Как записать мужа в телефоне?

Почему бы не придумать оригинальное имя для мужа в смартфоне?

Psychologies
От линейной к циклической: альтернативная модель развития экономики | Linear to Circular: an Alternative Model of Economic Development От линейной к циклической: альтернативная модель развития экономики | Linear to Circular: an Alternative Model of Economic Development

Циклическая экономика может стать альтернативой устаревшей экономической модели

Позитивные изменения
Как в Фонде борьбы с лейкемией помогают подопечным перезапустить карьеру Как в Фонде борьбы с лейкемией помогают подопечным перезапустить карьеру

Как проект «Самое время жить. Карьера» помогает людям вернуться на рынок труда

Forbes
Шпион, пытающийся выйти вон Шпион, пытающийся выйти вон

Как «Заключенный» Патрика Макгуэна говорит о возможности и невозможности свободы

Weekend
Владимир Маяковский в десяти словах, сказанных им самим Владимир Маяковский в десяти словах, сказанных им самим

Портрет Владимира Маяковского в десяти словах из его стихов

Правила жизни
В тупик и обратно: как жить с «мерцающим любовником» В тупик и обратно: как жить с «мерцающим любовником»

Книга Марии Свешниковой «Жить без тебя» — как рождаются никуда не ведущие романы

Psychologies
Бюджетный рубль: в чем особенности очередной девальвации в России Бюджетный рубль: в чем особенности очередной девальвации в России

Возможные причины и риски политики невмешательства в девальвацию

Forbes
Первые успехи и неудачи: как ситуации из детства влияют на самооценку — наглядный пример Первые успехи и неудачи: как ситуации из детства влияют на самооценку — наглядный пример

Как научиться чаще замечать собственные успехи?

Psychologies
Топ-7 неожиданных продуктов, в которых содержится огромное количество сахара: худеющие, будьте бдительны! Топ-7 неожиданных продуктов, в которых содержится огромное количество сахара: худеющие, будьте бдительны!

Сахар - коварный продукт, который может прятаться во многих любимых нами блюдах

ТехИнсайдер
«Ребенок захлебывался и кашлял»: что такое акушерское насилие и почему оно происходит. Часть 3. Уход за новорожденным «Ребенок захлебывался и кашлял»: что такое акушерское насилие и почему оно происходит. Часть 3. Уход за новорожденным

С чем сталкиваются женщины и их новорожденные дети в роддомах?

Psychologies
Не только секретность: из чего состоит измена — 3 основных компонента Не только секретность: из чего состоит измена — 3 основных компонента

Универсальные маркеры и компоненты, которые, как правило, включает в себя измена

Psychologies
5-аминолевулиновая кислота помогла дрозофилам с дефектом дыхательной цепи выработать АТФ 5-аминолевулиновая кислота помогла дрозофилам с дефектом дыхательной цепи выработать АТФ

Открытие, которое может помочь в лечении митохондриальных нарушений

N+1
«Я и так знаю, что он мне скажет»: 6 причин, по которым люди не идут к психологу «Я и так знаю, что он мне скажет»: 6 причин, по которым люди не идут к психологу

Что лежит в основе нежелания работать с психологом?

Psychologies
Шум и ярость. О чем и как писал Уильям Фолкнер Шум и ярость. О чем и как писал Уильям Фолкнер

Чем интересен роман Фолкнера «Шум и ярость»

СНОБ
Как улучшить работу мозга в старости? Простое решение — волонтерство! Как улучшить работу мозга в старости? Простое решение — волонтерство!

Как волонтерство помогает поддерживать когнитивные способности на пенсии

ТехИнсайдер
Открыть в приложении