Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как поменять работу после 40 лет Как поменять работу после 40 лет

Как преодолеть страх и безболезненно сменить род деятельности в зрелом возрасте

Maxim
Деньги на ветер: 5 популярных бьюти-процедур, вау-эффект от которых сильно преувеличен Деньги на ветер: 5 популярных бьюти-процедур, вау-эффект от которых сильно преувеличен

Бьюти-процедуры, суперэффекта от которых на самом деле ждать не стоит

VOICE
Не надевайте шорты и пейте больше кофе: что нужно для успеха на индийском рынке Не надевайте шорты и пейте больше кофе: что нужно для успеха на индийском рынке

Поиск инвесторов и тестирование гипотез на индийском рынке

Forbes
Загадки Дюрера: что зашифровал художник в своих работах Загадки Дюрера: что зашифровал художник в своих работах

Какие знаки и символы зашифрованы в знаменитых работах великого художника Дюрера

Культура.РФ
«Начальники тоже люди»: они устают тащить на себе выгоревших сотрудников и, выгорая следом, массово увольняются «Начальники тоже люди»: они устают тащить на себе выгоревших сотрудников и, выгорая следом, массово увольняются

Почему руководители массово покидают свои посты и чем это грозит?

VC.RU
Петербургский Джек Потрошитель: история первого серийного убийцы в России — кадета Николая Радкевича Петербургский Джек Потрошитель: история первого серийного убийцы в России — кадета Николая Радкевича

Как кадет Николай Радкевич решил, что его миссия — очистить мир от развратниц

VOICE
Эти люди встретили животных в самых неожиданных местах: 7 реальных историй, в которые сложно поверить Эти люди встретили животных в самых неожиданных местах: 7 реальных историй, в которые сложно поверить

Природа умеет делать сюрпризы. Правда, они бывают адресованы не всем

ТехИнсайдер
Распутство и добродетель в эволюции половых хромосом Распутство и добродетель в эволюции половых хромосом

Прямо сейчас, возможно, на Земле появляется новая половая хромосома

СНОБ
Поверхностный гастрит Поверхностный гастрит

Что такое поверхностный гастрит и как его лечить

Лиза
Шифры, хакеры, шпионы: пока все разбираются с криптовалютой, редакция «Правил жизни» изучает историю криптографии Шифры, хакеры, шпионы: пока все разбираются с криптовалютой, редакция «Правил жизни» изучает историю криптографии

Музей криптографии: самый древний шифр, популярные пароли и худший майнер в мире

Правила жизни
Unmatched по версии Кранаха: что стоит за картинами немецкого живописца? Unmatched по версии Кранаха: что стоит за картинами немецкого живописца?

На какие темы писал картины Лукас Кранах и кого таким образом высмеивал

Правила жизни
Депиляция: как удалить волосы в салоне и дома. Советы эксперта Депиляция: как удалить волосы в салоне и дома. Советы эксперта

Рассказываем о самых актуальных методах депиляции

РБК
Овощ что надо! Овощ что надо!

Разнообразие вкусов и текстур делает овощи фаворитами на профессиональных кухнях

Bones
«Браслет защищает от сглаза»: Меган Маркл полюбила особое украшение с турецкими мотивами «Браслет защищает от сглаза»: Меган Маркл полюбила особое украшение с турецкими мотивами

Герцогиня Сассекская известна как суеверная дама, она верит в магию камней

VOICE
Топ-10 распространенных мифов о собаках, в которые до сих пор верят Топ-10 распространенных мифов о собаках, в которые до сих пор верят

Уже давно перестать верить в эти антинаучные убеждения о собаках

ТехИнсайдер
Каким был день смерти принцессы Дианы: о чем она думала, что делала и кого видела последним Каким был день смерти принцессы Дианы: о чем она думала, что делала и кого видела последним

Принцесса Диана была одной из самых известных. Каким был ее последний день?

VOICE
Лазеры и рэкет: как основательница сети салонов красоты дважды начинала бизнес с нуля Лазеры и рэкет: как основательница сети салонов красоты дважды начинала бизнес с нуля

История Киры Долговой: дважды начинать с нуля и все равно заработать

Forbes
На Крите нашли 4000-летние случаи инфицирования чумной палочкой и сальмонеллой На Крите нашли 4000-летние случаи инфицирования чумной палочкой и сальмонеллой

Палеогенетики обнаружили древние патогены чумной палочки у четырех индивидов

N+1
Как приучить себя есть больше овощей: 3 вкусных совета, которые помогут быстро похудеть Как приучить себя есть больше овощей: 3 вкусных совета, которые помогут быстро похудеть

Отрывок из книги 50 полезных пищевых привычек

VOICE
Как распознать неверного партнера: 3 признака Как распознать неверного партнера: 3 признака

Как критически оценить потенциального партнера

Psychologies
Повышение пенсионного экшена Повышение пенсионного экшена

«Старик»: Джефф Бриджес против всех

Weekend
Настольная книга идеального тренировочного партнера Настольная книга идеального тренировочного партнера

Какого напарника искать и как самому стать тем, кто раскроет силу в других

Men Today
Королева марсианского рок-н-ролла: Жанне Агузаровой — 60 лет Королева марсианского рок-н-ролла: Жанне Агузаровой — 60 лет

Жанна Агузарова — девушка из Сибири, ставшая звездой рок-сцены

Правила жизни
«Мальчик, который не переставал расти… и другие истории про гены и людей» «Мальчик, который не переставал расти… и другие истории про гены и людей»

Отрывок из книги «Мальчик, который не переставал расти…» о митохондриальной ДНК

N+1
Как по дизайну квартиры понять характер владельца — объясняет эксперт Как по дизайну квартиры понять характер владельца — объясняет эксперт

Любителям покупать круглые пуфики приготовиться

Maxim
Инга Скороходова: Инга Скороходова:

О дружбе писателя Глеба Скороходова с известными людьми рассказывает его сестра

Караван историй
Сколько Сколько

Ходят легенды, будто душа весит 21 грамм — откуда эта цифра?

ТехИнсайдер
14000-летний архаичный череп из Китая оказался сапиентным 14000-летний архаичный череп из Китая оказался сапиентным

Палеогенетики отсеквенировали ДНК из останков, найденных в пещере Малудун

N+1
Сеанс пацифизма Сеанс пацифизма

Две самые страшные военные картины в истории

Men Today
Животное в человеке: 6 неочевидных лайфхаков по улучшению самочувствия Животное в человеке: 6 неочевидных лайфхаков по улучшению самочувствия

Какие привычки наших соседей по планете служат своеобразным антистрессом?

Psychologies
Открыть в приложении