Новый способ оптимизации предварительного обучения Больших языковых моделей

ТехИнсайдерHi-Tech

Разработан более дешевый способ обучения Больших языковых моделей

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы. Это позволит значительно удешевить разработку Больших языковых моделей и сделать их создание более доступным независимым разработчикам.

Владимир Губайловский

ce9cebf76db8bc7877647f1250420a14_ce_1974x1316x0x83.jpg
Unsplash.com. DeepMind

Цель таких работ — сделать Большие языковые модели (такие как GPT), требующие миллионы на обучение, работающие на мощнейших компьютерах с огромными дата-центрами, доступными на домашнем компьютере или смартфоне. И разработчики двигаются в этом направлении.

Команда ученых из Стэнфорда разработала новый способ оптимизации предварительного обучения Больших языковых моделей, который в два раза быстрее, чем существующие подходы.

ChatGPT и другие приложения, использующие Большие языковые модели (LLM), находят все более широкое применение и привлекают пристальное внимание СМИ. Однако в сфере LLM доминируют несколько крупных технологических компаний, поскольку предварительное обучение этих моделей является чрезвычайно дорогостоящим процессом: стоимость начинается с 10 миллионов долларов. Сколько стоило обучение GPT не сообщается, но оценить его в миллиард долларов не будет серьезным преувеличением.

«Большие языковые модели не очень-то доступны для небольших организаций или академических групп», — говорит Хонг Лю, аспирант факультета информатики Стэнфордского университета.

Чтобы изменить ситуацию, Лю и его коллеги решили усовершенствовать существующие методы оптимизации LLM. В результате был разработан подход под названием Sophia, который сокращает время предварительного обучения вдвое. 

Оптимизация оптимизации

507231df3ff536c824bc47835115b915.jpg
Unsplash.com. DeepMind

Чтобы оптимизировать предварительное обучение LLM ученые использовали два приема. Первый, известный как оценка кривизны, не нов, но команда Стэнфорда нашла способ сделать его более эффективным.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Какие БАДы работают при депрессии: исследование Какие БАДы работают при депрессии: исследование

Насколько безрецептурные пищевые добавки полезны для облегчения депрессии

ТехИнсайдер
Трагическая жизнь Шинейд О'Коннор: «пытки» в детстве, смерть сына и четыре неудачных брака Трагическая жизнь Шинейд О'Коннор: «пытки» в детстве, смерть сына и четыре неудачных брака

Трагическая история жизни Шинейд О'Коннор

VOICE
Зловещий ИИ: зачем чат-боты рушат семьи и делают нас глупее и кто в этом виноват Зловещий ИИ: зачем чат-боты рушат семьи и делают нас глупее и кто в этом виноват

Действительно ли от нейросетей исходят серьезные угрозы?

Forbes
Встречают по обложке Встречают по обложке

Chelsea Bindery возрождает редкие книги старомодным способом — вручную

Robb Report
Психология стресса Психология стресса

Нашумевшее руководство по борьбе со стрессом и связанными с ним болезнями

kiozk originals
На юге Италии нашли похороненного ничком мужчину эпохи неолита На юге Италии нашли похороненного ничком мужчину эпохи неолита

Палеогенетики изучили останки мужчины, которого похоронили в эпоху неолита

N+1
Ароматная тайна Востока: что такое шамама, парфюмерная нота, которую невозможно описать, и в каких духах ее нужно искать Ароматная тайна Востока: что такое шамама, парфюмерная нота, которую невозможно описать, и в каких духах ее нужно искать

Аттара шамама: драгоценное парфюмерное снадобье, ароматное сердце Востока

VOICE
Почему так трудно распознать биполярное расстройство: две реальные истории Почему так трудно распознать биполярное расстройство: две реальные истории

Биполярное расстройство: как не спутать его с другими болезнями?

Psychologies
Небесное создание Небесное создание

Техники борьбы с аэрофобией — на высоте

VOICE
20 самых быстрых внедорожников 2023 года 20 самых быстрых внедорожников 2023 года

2023 год можно смело назвать годом топовых внедорожников

4x4 Club
Женщина стала пауэрлифтером в 71 год! Счастливая история преображения Женщина стала пауэрлифтером в 71 год! Счастливая история преображения

Она недавно овдовела, чувствовала себя «действительно не в форме»...

ТехИнсайдер
Российский кинорежиссер Кирилл Кемниц: В кино денег всегда чуть-чуть не хватает Российский кинорежиссер Кирилл Кемниц: В кино денег всегда чуть-чуть не хватает

Интервью с российским режиссером Кириллом Кемницем

СНОБ
Женщинам после 40 нужно знать! Эти модные трюки скинут тебе до 10 лет Женщинам после 40 нужно знать! Эти модные трюки скинут тебе до 10 лет

Выбирать одежду после сорока действительно сложнее, чем в двадцать

VOICE
Пустые холсты, душевные раны и винил. Отрывок из романа «Все, что мы обрели» Элис Келлен Пустые холсты, душевные раны и винил. Отрывок из романа «Все, что мы обрели» Элис Келлен

Глава из книги «Все, что мы обрели»

СНОБ
«Посмотри, в каких я сапогах»: как панк-атрибутика вышла за пределы субкультуры «Посмотри, в каких я сапогах»: как панк-атрибутика вышла за пределы субкультуры

Во многом благодаря КиШ стиль панк перестал быть исключительно субкультурным

Правила жизни
Диана/Дарья Диана/Дарья

Самая ожидаемая премьера Сontext 2023 — спектакль «Дуо»

Собака.ru
Данте и Беатриче Данте и Беатриче

Рассматриваем картину британского художника Генри Холидея «Данте и Беатриче»

Дилетант
Похожий на цветок розы мягкий манипулятор поможет собрать урожай Похожий на цветок розы мягкий манипулятор поможет собрать урожай

Инженеры из Японии и Вьетнама разработали мягкий манипулятор ROSE

N+1
Политика и бокс: семь фильмов о женской карьере в «мужских» профессиях Политика и бокс: семь фильмов о женской карьере в «мужских» профессиях

Фильмы о женщинах в политике, силовых видах спорта, армии, на шахте и в такси

Forbes
Игры разума, в которые играют люди: 7 самых распространенных видов манипуляций Игры разума, в которые играют люди: 7 самых распространенных видов манипуляций

Что нужно знать о манипуляциях?

Psychologies
Русские породы собак, которые ценятся во всем мире Русские породы собак, которые ценятся во всем мире

От среднеазиатской овчарки до русского той-терьера: русские породы собак

Maxim
Скованные одной цепочкой: как оценить издержки документооборота в компании Скованные одной цепочкой: как оценить издержки документооборота в компании

Как найти общий язык между операторами ЭДО, производителями и ретейлерами

Forbes
7 секретов гармоничной жизни, которым могут научить бонобо 7 секретов гармоничной жизни, которым могут научить бонобо

Бонобо отличаются своим миролюбием. Все свои проблемы они решают с помощью секса

Psychologies
Dodge Raider 1987. Японский Bronco от Chrysler Dodge Raider 1987. Японский Bronco от Chrysler

В период с 1975 по 1990-й год Chrysler питался деликатесами от Mitsubishi

4x4 Club
Да здравствует король! Краткая история Cadillac Escalade Да здравствует король! Краткая история Cadillac Escalade

Cadillac Escalade: история длиной в двадцать лет

4x4 Club
Наталья Аросева: «Из-за пани Моники Эльдар Рязанов сомневался, стоит ли брать Аросеву в картину «Старики-разбойники» Наталья Аросева: «Из-за пани Моники Эльдар Рязанов сомневался, стоит ли брать Аросеву в картину «Старики-разбойники»

Судьба подарила Ольге Аросевой роль, которая сделала ее знаменитой на всю страну

Караван историй
Совершенно лишние люди Совершенно лишние люди

«Блажь»: роуд-муви, в котором метафоры побеждают кино

Weekend
Пугающая традиция! Зачем племена в Африке удлиняют головы новорожденных девочек Пугающая традиция! Зачем племена в Африке удлиняют головы новорожденных девочек

«Липомбо» — причудливый обычай удлинения черепа в племени мангбету

ТехИнсайдер
Как Дзюнко Табэи первой из женщин покорила Эверест и другие главные вершины Как Дзюнко Табэи первой из женщин покорила Эверест и другие главные вершины

Как альпинистка Дзюнко Табэи разрушила стереотип о роли женщины в Японии

Forbes
Биография в дырочку Биография в дырочку

«Отец шатунов»: книга о Мамлееве, равная своему герою

Weekend
Открыть в приложении