Третье поколение алгоритма OpenAI может разгадывать анаграммы и даже переводить

N+1Hi-Tech

Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам

Елизавета Ивтушок

Пример стихотворения в стиле работ американского поэта Уоллеса Стивенса, сгенерированного GPT-3. В качестве примеров стихотворений алгоритму дали «Город» Константиноса Кавафи (в переводе на английский) и «Некоторые деревья» Джона Эшбери. Tom Brown et al. / arXiv, 2020

Исследователи из OpenAI представили GPT-3 — алгоритм, который может выполнять разные задания по написанию текста на основе всего нескольких примеров. В новой версии используется та же архитектура, что и в предыдущем алгоритме GPT-2, однако разработчики увеличили количество используемых в модели параметров до 175 миллиардов, обучив модель на 570 гигабайтах текста. В итоге GPT-3 может отвечать на вопросы по прочитанному тексту, писать стихи, разгадывать анаграммы, решать простые арифметические примеры и даже переводить — и для этого ей нужно немного (от 10 до 100) примеров того, как именно это делать. Подробное описание работы алгоритма исследователи выложили на arXiv.org.

Важное ограничение современных алгоритмов NLP (natural language processing) — зависимость от контекста: многие алгоритмы могут выполнять только те задачи, на выполнение которых они обучены. Например, если необходим алгоритм, который пишет стихи, его нужно обучить на большом корпусе стихов — желательно, в том стиле, в котором должно быть итоговое. Если обучение пройдет успешно, алгоритм сможет произвести что-то похожее на стих, но вот ответить на вопрос или составить список слов для кроссворда он уже не сможет.

То, сколько данных понадобится для обучения NLP-алгоритма конкретной задаче, напрямую зависит от того, как алгоритм предобучен: если системе хорошо известны все требования грамматики языка, а генерировать осмысленные фразы он умеет изначально, то конкретно для обучения какой-то отдельной задаче нужно не так много данных. Задача, поэтому, сводится к тому, чтобы сделать предобученный

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Гейдельбергский человек из Петралонской пещеры умер не меньше 277 тысяч лет назад Гейдельбергский человек из Петралонской пещеры умер не меньше 277 тысяч лет назад

Как ученые установили датировку древнего черепа из пещеры Петралона

N+1
Тяжелая вода оказалась сладкой Тяжелая вода оказалась сладкой

Биохимики подтвердили сладкий вкус тяжелой воды

N+1
Цифровое око правосудия. Как роботы помогают искать преступников в России Цифровое око правосудия. Как роботы помогают искать преступников в России

Смогут ли роботы заменить следователей и нужно ли это?

Inc.
Литературный критик Анна Наринская — об «Анне Карениной», «Джейн Эйр» и книгах, которые она перечитывает Литературный критик Анна Наринская — об «Анне Карениной», «Джейн Эйр» и книгах, которые она перечитывает

Анна Наринская о книгах, которые манипулируют нашим сознанием

Esquire
Нейробиолог назвал привычку, объединяющую гениев. А у вас она есть? Нейробиолог назвал привычку, объединяющую гениев. А у вас она есть?

Настоящий прорыв мысли начинается в тишине и одиночестве

Maxim
Рестайлинг в СССР. Как могли выглядеть советские автомобили Рестайлинг в СССР. Как могли выглядеть советские автомобили

Проекты, которые могли изменить автопром СССР

РБК
Игры разума: лучшие трюки, которые поставят ваш мозг в тупик Игры разума: лучшие трюки, которые поставят ваш мозг в тупик

Оказывается, сложный человеческий мозг чертовски просто обмануть

Популярная механика
«Он ударил меня кулаком в живот»: Паршута и другие жертвы насилия среди звезд «Он ударил меня кулаком в живот»: Паршута и другие жертвы насилия среди звезд

Звезды, которые нашли в себе силы выйти из абьюзивных отношений

Cosmopolitan
7 кинозвезд-преступников 7 кинозвезд-преступников

Великие актеры способны на большее, чем превышение скорости и неуплата налогов

Maxim
Фогель: «Я не из тех артистов, кто готов хайпить на теме изоляции» Фогель: «Я не из тех артистов, кто готов хайпить на теме изоляции»

Интервью с новичком в рэп-игре Фогелем

Cosmopolitan
Помнить все. Что такое эмоциональные труд Помнить все. Что такое эмоциональные труд

Почему-то эмоциональное обслуживание в семьях всегда ложится на плечи женщин

СНОБ
7 привычек собак и что они означают 7 привычек собак и что они означают

Так вот что собака имела ввиду, сказав «Мяу»

Maxim
Доигрались: актёры, которых ненавидят за их роли, – от Хопкинса до Панина Доигрались: актёры, которых ненавидят за их роли, – от Хопкинса до Панина

Какие актеры столкнулись с ненавистью поклонников в реальной жизни

Cosmopolitan
Как пандемия вызовет глобальный «распад СССР» и почему Россия останется на обочине Как пандемия вызовет глобальный «распад СССР» и почему Россия останется на обочине

Переформатирование мирового хозяйства вполне способно вернуть инфляцию

Forbes
«Самые хрупкие в мире плечики»: эксклюзивная публикация писем Эдуарда Лимонова графине Елене Щаповой де Карли «Самые хрупкие в мире плечики»: эксклюзивная публикация писем Эдуарда Лимонова графине Елене Щаповой де Карли

Отрывки из писем Эдуарда Лимонова графине Елены Щаповой де Карли

Forbes
Домашняя работа: что полезного для здоровья можно сделать на самоизоляции Домашняя работа: что полезного для здоровья можно сделать на самоизоляции

Несколько действенных способов выйти из карантина в отличном состоянии

Esquire
«Убийство священного оленя» и Йоргос Лантимос: почему от них все без ума? «Убийство священного оленя» и Йоргос Лантимос: почему от них все без ума?

Чем же так хорош нахальный режиссер Йоргос Лантимос и откуда он взялся

Esquire
Кровь стынет в жилах! 7 сериалов для тех, кому понравился «Колл-центр» Кровь стынет в жилах! 7 сериалов для тех, кому понравился «Колл-центр»

Что еще делать на карантине, как не смотреть сериалы

Cosmopolitan
«А нам все равно!»: кто рад карантину «А нам все равно!»: кто рад карантину

Кто-то на карантине сходит с ума, а кому-то хорошо и взаперт

Psychologies
Африка может наверстать упущенное Африка может наверстать упущенное

Отрывок из книги Ханса Рослинга «Фактологичность»

СНОБ
Квантовый процессор просимулировал изомеризацию и вычислил энергии водородных цепочек Квантовый процессор просимулировал изомеризацию и вычислил энергии водородных цепочек

Алгоритм помог вычислить энергию основных состояний водородных цепочек

N+1
Потепление позволит зеленым водорослям продвинуться вглубь Антарктиды Потепление позволит зеленым водорослям продвинуться вглубь Антарктиды

На Антарктическом полуострове водоросли занимают почти два квадратных километра

N+1
Валерия Розов: Что делать, если вас сокращают? Валерия Розов: Что делать, если вас сокращают?

Как сотрудник может защитить себя при сокращении

СНОБ
Годичные кольца рассказали о засухах в бассейне Миссури Годичные кольца рассказали о засухах в бассейне Миссури

Засухи на рубеже XXI века оказались самыми экстремальными за последние 1200 лет

N+1
Маргарет Грэм: Война. Истерли Холл Маргарет Грэм: Война. Истерли Холл

Отрывок из романа Маргарет Грэм о сложном военном времени

СНОБ
Дмитрий Степаненко: Дудь, ты не прав. Почему Москва не хуже Кремниевой долины Дмитрий Степаненко: Дудь, ты не прав. Почему Москва не хуже Кремниевой долины

Как обстоят дела с развитием IT-стартапов в России?

СНОБ
Флора и фауна: 4 занятия, которые помогут наладить контакт с природой Флора и фауна: 4 занятия, которые помогут наладить контакт с природой

Медитативных хобби, связанные с природой, которые помогут уменьшить стресс

Esquire
10 фильмов, поднимающих не только настроение, но и бодрость духа 10 фильмов, поднимающих не только настроение, но и бодрость духа

10 фильмов: от трогательных инди-драм до веселых историй о взрослении

Esquire
Он изменил с вашей подругой: почему это могло случиться? Он изменил с вашей подругой: почему это могло случиться?

Предательство со стороны самых близких людей всегда болезненно

Psychologies
Голодные шмели покусали растения и заставили их цвести раньше срока Голодные шмели покусали растения и заставили их цвести раньше срока

Шмелиные проколы оказались полезными для растений

N+1
Открыть в приложении