Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Анастасия Ефимова: «Если тратить свою энергию на обиды, тогда ее не останется больше ни на что» Анастасия Ефимова: «Если тратить свою энергию на обиды, тогда ее не останется больше ни на что»

Отельер Анастасия Ефимова – о гостеприимстве и духе времени

СНОБ
«Главное — ликбез»: Аскар Ильясов о сериале «Нулевой пациент» и казахстанском кино «Главное — ликбез»: Аскар Ильясов о сериале «Нулевой пациент» и казахстанском кино

Аскар Ильясов — о том, чем отличаются российское и казахстанское кино

Forbes
Крадущийся тигр, возбудившийся дракон Крадущийся тигр, возбудившийся дракон

Рассказываем, какую роль играет секс в Японии и Китае

СНОБ
Одной левой: Пол Маккартни и еще 9 знаменитых левшей Одной левой: Пол Маккартни и еще 9 знаменитых левшей

Занимательные факты о левшах

Вокруг света
К вам санитары, мистер Андерсон К вам санитары, мистер Андерсон

Писатель Александр Цыпкин о наших цифровых аватарах

СНОБ
400 лет спустя: управляемое ИИ судно повторило маршрут корабля пилигримов Mayflower 400 лет спустя: управляемое ИИ судно повторило маршрут корабля пилигримов Mayflower

Механическое судно повторяет путь корабля Mayflower

Вокруг света
Летающие мотоциклы, робот-хирург и механические птицы. За кем сейчас стоит наблюдать в области новых технологий? Летающие мотоциклы, робот-хирург и механические птицы. За кем сейчас стоит наблюдать в области новых технологий?

Инженер Илья Чех – об изобретениях, которые изменят нашу жизнь уже завтра

СНОБ
По секрету всему свету: что такое порноместь и можно ли за нее сесть в тюрьму По секрету всему свету: что такое порноместь и можно ли за нее сесть в тюрьму

Что движет теми, кто оборачивает знаки расположения в оружие против бывшей

Maxim
Робин из Локсли Робин из Локсли

О Робин Гуде сложены несколько десятков баллад

Дилетант
«Живите долго!»: простые советы долгожителей «Живите долго!»: простые советы долгожителей

Как встать на путь к долголетию?

Psychologies
7 обычных продуктов, которые могут серьезно навредить 7 обычных продуктов, которые могут серьезно навредить

Какие из спутников обыденной жизни могут представлять серьезную опасность

Популярная механика
«Булочка», «плюшечка» и прочие сладости: как влияют на детей их семейные прозвища «Булочка», «плюшечка» и прочие сладости: как влияют на детей их семейные прозвища

Что скрывается за милыми эпитетами и как это может повлиять на жизнь ребенка?

Psychologies
24-летняя индианка женится на самой себе: зачем люди «узаконивают» одиночество? 24-летняя индианка женится на самой себе: зачем люди «узаконивают» одиночество?

В вашей жизни у вас главная роль

Psychologies
Гендер нашего времени Гендер нашего времени

«Род мужской»: хоррор Алекса Гарленда о коллизии полов

Weekend
Почему Ярослава Мудрого можно считать лучшим брачным агентом раннего Средневековья Почему Ярослава Мудрого можно считать лучшим брачным агентом раннего Средневековья

Нескучная история с юмором и на современном языке

Вокруг света
Наименьшая единица измерения времени — это как? Наименьшая единица измерения времени — это как?

Ученые измерили самую короткую единицу времени

ТехИнсайдер
Робот-младенец и лысая Одри Хепберн: 5 человекообразных роботов Робот-младенец и лысая Одри Хепберн: 5 человекообразных роботов

Современные роботы могут быть очень похожими на людей

РБК
Ольга Еремина: Есть ли жизнь после санкций? Ольга Еремина: Есть ли жизнь после санкций?

Кейсы стран, сумевших перестроиться вопреки ограничениям и запретам

РБК
Под метановыми облаками: астрономы объяснили, почему Уран и Нептун разного цвета Под метановыми облаками: астрономы объяснили, почему Уран и Нептун разного цвета

Почему похожие планеты выглядят для наблюдателя по-разному?

Вокруг света
Что делать, если девушка вдруг стала зарабатывать больше тебя? Что делать, если девушка вдруг стала зарабатывать больше тебя?

Небольшой гайд, как свыкнуться с потерей звания «кормилец»

Maxim
Лиза Янковская — о главной роли в фильме «Ника» Лиза Янковская — о главной роли в фильме «Ника»

Разговор c Лизой Янковской, которая сыграла вундеркинда-поэтессу Нику Турбину

СНОБ
Почему распадается брак: 9 глубинных причин Почему распадается брак: 9 глубинных причин

Девять самых частых причин, приводящих к кризису отношений

Psychologies
«Это как пойти в банкомат, снять деньги и сжечь их». Почему малому бизнесу не нужна собственная торговая марка «Это как пойти в банкомат, снять деньги и сжечь их». Почему малому бизнесу не нужна собственная торговая марка

Почему собственная торговая марка — беда для небольших компаний

Inc.
Передний привод: что это и чем отличается от заднего Передний привод: что это и чем отличается от заднего

Ни один тип привода не идеален, каков баланс основных показателей у переднего?

РБК
Солнечный удар: как не допустить и избавиться от последствий Солнечный удар: как не допустить и избавиться от последствий

Учимся предотвращать солнечный удар и помогать себе и близким

РБК
Горцы — и как с ними быть в новой реальности Горцы — и как с ними быть в новой реальности

Горцы — не только люди, живущие в горах, но и название большого числа растений

Наука
Найден способ стать хорошим человеком Найден способ стать хорошим человеком

Можно ли заметно улучшить свои человеческие качества?

Psychologies
Как одиночество убивает наш мозг и почему нас спасут соцсети, шопинг и собаки Как одиночество убивает наш мозг и почему нас спасут соцсети, шопинг и собаки

Отрывок из книги «Устойчивый мозг» о том, как сохранить его продуктивность

Forbes
Забытая резиденция: история усадьбы Царицыно от «проклятого» дворца до чеховских дач Забытая резиденция: история усадьбы Царицыно от «проклятого» дворца до чеховских дач

Екатерина выкупила эти земли за 25 тыс. рублей. Так началась история Царицына

Вокруг света
Что такое иммобилайзер и есть ли он в моей машине Что такое иммобилайзер и есть ли он в моей машине

Разбираемся, что такое иммобилайзер, каким бывает и стоит ли его отключать

РБК
Открыть в приложении