Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Окислительное присоединение на палладии прошло по радикальному механизму Окислительное присоединение на палладии прошло по радикальному механизму

Представление о реакции окислительного присоединения на палладии было неполным

N+1
«Брэду Питту мы уже написали»: как инстаграм «Сказки на дому» за месяц превратился в международный проект с инвесторами «Брэду Питту мы уже написали»: как инстаграм «Сказки на дому» за месяц превратился в международный проект с инвесторами

Создатель «Сказки на дому» — о том, как искал команду, деньги и чтецов

Forbes
Культурный код ИИ: 3 совета по созданию чат-ботов для бизнеса Культурный код ИИ: 3 совета по созданию чат-ботов для бизнеса

Как строить более точные, этичные и адаптивные системы искусственного интеллекта

Inc.
Клинт Иствуд: «Возьмитесь наконец за дело! Надерите кое-кому задницу» Клинт Иствуд: «Возьмитесь наконец за дело! Надерите кое-кому задницу»

Клинт Иствуд о правилах воспитания и ссыкливом поколении

Esquire
Вместо похода к психологу: 4 домашних дела, которые помогут успокоить нервы Вместо похода к психологу: 4 домашних дела, которые помогут успокоить нервы

Как снизить уровень стресса и снять тревогу в домашних условиях?

ТехИнсайдер
Разрушая стереотипы. Как женщины в Абу-Даби руководят социальным сектором и наукой Разрушая стереотипы. Как женщины в Абу-Даби руководят социальным сектором и наукой

Женщины-главы крупных государственных департаментов Абу-Даби об их работе

Forbes
Обнулились: 10 звезд, которые кардинально поменяли имидж Обнулились: 10 звезд, которые кардинально поменяли имидж

Звезды, которые прошли бьюти-перезагрузку

Cosmopolitan
Начать кризис с запасом в $1,7 млрд, но почти разориться через месяц: почему бренд Gap может не пережить пандемию Начать кризис с запасом в $1,7 млрд, но почти разориться через месяц: почему бренд Gap может не пережить пандемию

Магазины простаивают, в онлайне тоже не покупают, компания не платит за аренду

VC.RU
А дома лучше? А дома лучше?

Вынужденный режим самоизоляции изменил в нашей жизни многое

Grazia
На На

История долгого и счастливого брака Леонида Ярмольника и его жены Оксаны

Cosmopolitan
6 роскошных домов, которыми владеют миллиардеры 6 роскошных домов, которыми владеют миллиардеры

В этих домах есть все – от храмов до вертолетных площадок

GQ
Поток метана от арктических морей: Взгляд из космоса Поток метана от арктических морей: Взгляд из космоса

Какова роль метана в потеплении Арктики?

Наука и жизнь
Как найти свой стиль без помощи специалиста? Рассказывает стилист Как найти свой стиль без помощи специалиста? Рассказывает стилист

Поиск индивидуального стиля – задачка не из простых

Cosmopolitan
Медитативное погружение в помидор Медитативное погружение в помидор

Как приготовить блюдо, которое ошеломит гостя и вызовет у него восторженный шок?

Bones
Пылевых дьяволов заподозрили в создании дюн на Титане Пылевых дьяволов заподозрили в создании дюн на Титане

Ключевую роль в создании песчаных дюн на Титане могут играть пылевые дьяволы

N+1
«Это просто удавка». Новый штраф для автомобилистов пропишут в КоАП «Это просто удавка». Новый штраф для автомобилистов пропишут в КоАП

Всех автомобилистов за езду без пропусков предложили штрафовать до 5 000 рублей

РБК
Как избавиться от следов тонального крема на воротнике Как избавиться от следов тонального крема на воротнике

Парни имеют не меньше прав на макияж, чем девушки

GQ
Словарик сериаломана. 15 слов, которые полезно знать каждому фанату сериалов Словарик сериаломана. 15 слов, которые полезно знать каждому фанату сериалов

Мечтают ли шоураннеры о синдикации процедуралов?

Maxim
Борис Акунин: «Из всех наслаждений, отпущенных человеку, самое изысканное — шевелить мозгами» Борис Акунин: «Из всех наслаждений, отпущенных человеку, самое изысканное — шевелить мозгами»

Лучшие цитаты Бориса Акунина

Maxim
Герпес первого типа и болезнь Альцгеймера: связь, лечение, перспективы Герпес первого типа и болезнь Альцгеймера: связь, лечение, перспективы

Новое исследование в разработке лекарств против болезни Альцгеймера

Популярная механика
Реалистичность игровых персонажей: как не угодить в «зловещую долину» Реалистичность игровых персонажей: как не угодить в «зловещую долину»

Человекоподобные объекты могут вызвать чувство отвращения

Популярная механика
Алексей Ретинский Алексей Ретинский

Алексей Ретинский — мультимедиа-художник нового времени

Собака.ru
Запрещенный прием: эффект Запрещенный прием: эффект

Как за короткое время добиться эффекта "дорогой" и ухоженной кожи

Cosmopolitan
На что берут кредиты россияне с не очень высокой зарплатой: 8 реальных историй На что берут кредиты россияне с не очень высокой зарплатой: 8 реальных историй

Вещи, опрометчиво приобретенные в кредит гражданами с не очень высокой зарплатой

Esquire
Радиация перераспределила атомы в керамическом карбиде кремния Радиация перераспределила атомы в керамическом карбиде кремния

Ученые смогут точнее предсказывать воздействие радиации на свойства керамики

N+1
Сотрудничество с друзьями помогло макакам снизить стресс Сотрудничество с друзьями помогло макакам снизить стресс

Уровень кортизола у макак снижается, если они находятся рядом с сородичем

N+1
Исследователи из Nielsen Norman рассказали, как люди читают текст в интернете и что изменилось за последние 15 лет Исследователи из Nielsen Norman рассказали, как люди читают текст в интернете и что изменилось за последние 15 лет

Как люди читают в интернете

VC.RU
Медицинские мифы и заблуждения, в которые верят даже врачи Медицинские мифы и заблуждения, в которые верят даже врачи

К сожалению, некоторые доктора частенько демонстрируют невежество

Популярная механика
Почему нам так нравится секс — и другие аспекты сексуального поведения человека Почему нам так нравится секс — и другие аспекты сексуального поведения человека

Почему люди занимаются сексом, когда им вздумается?

Esquire
Как на самом деле охотились хищные динозавры Как на самом деле охотились хищные динозавры

Небольшие хищные динозавры, вопреки мнению Голливуда, не охотились единой стаей

Популярная механика
Открыть в приложении