Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«В Бабкине тараканить некого», или Где искать секс за МКАД «В Бабкине тараканить некого», или Где искать секс за МКАД

Отправляемся в поисках секса на Чукотку и в Таиланд

СНОБ
Великий недогерой Великий недогерой

Ксения Рождественская о французском актере Жане-Луи Трентиньяне

Weekend
Это мы еще досмотрим Это мы еще досмотрим

Кто будет делать игровое кино, сериалы и док в новом мире

СНОБ
«Вкус детства»: история «той самой» советской сгущёнки «Вкус детства»: история «той самой» советской сгущёнки

Когда появилась, какой была и стала «та самая» сгущёнка

Вокруг света
К вам санитары, мистер Андерсон К вам санитары, мистер Андерсон

Писатель Александр Цыпкин о наших цифровых аватарах

СНОБ
Как преуспеть в учебе: 3 совета нобелевского лауреата Как преуспеть в учебе: 3 совета нобелевского лауреата

Рассказываем о методике нобелевского лауреата, которая облегчает обучение

Psychologies
Найти фриланс в IT за три месяца Найти фриланс в IT за три месяца

Как зарабатывать больше денег в кризис

СНОБ
Это ящерица или фарш на ножках? 5 фактов об удивительном красном тегу из Аргентины Это ящерица или фарш на ножках? 5 фактов об удивительном красном тегу из Аргентины

Что едят и как живут экзотические красные ящерицы

Вокруг света
Будущее пятого поколения Будущее пятого поколения

Время 4G на исходе. 5G серьезно изменит нашу жизнь

Популярная механика
Физики создали непрерывный временной кристалл Физики создали непрерывный временной кристалл

Созданный кристалл нарушает симметрию относительно трансляций во времени

N+1
Алексей Федоров: «Идея квантовых технологий уже необратимо изменила мир» Алексей Федоров: «Идея квантовых технологий уже необратимо изменила мир»

Когда ожидать квантового превосходства и какие изменения оно повлечет в будущем

РБК
«Этюды о Галилее». История становления ключевых научных идей Нового времени «Этюды о Галилее». История становления ключевых научных идей Нового времени

Декарт придал закону инерции «ясную и отчетливую» форму

N+1
Светская хроника XVI века Светская хроника XVI века

Известные мужчины, сумевших завоевать симпатии Маргариты

Дилетант
Ученые секвенировали геном жителя древнеримских Помпей. Он оказался неместным Ученые секвенировали геном жителя древнеримских Помпей. Он оказался неместным

Метод дробовика помог изучить останки жителя древнеримских Помпей

Вокруг света
7 признаков абьюзера в отношениях 7 признаков абьюзера в отношениях

Как понять, что ваш партнер совершает насилие, пусть даже не физическое?

Psychologies
Из истории библиотечных каталогов Из истории библиотечных каталогов

Какими были первые библиотечные каталоги?

Наука и жизнь
Археологи обнаружили в Херсонесе Таврическом непотревоженные римские гробницы Археологи обнаружили в Херсонесе Таврическом непотревоженные римские гробницы

Погребальный комплекс относится ко II веку нашей эры

N+1
Счастливы 85% пассажиров: назван оптимальный день недели для полета Счастливы 85% пассажиров: назван оптимальный день недели для полета

Финская компания провела необычное исследование

Вокруг света
Передний привод: что это и чем отличается от заднего Передний привод: что это и чем отличается от заднего

Ни один тип привода не идеален, каков баланс основных показателей у переднего?

РБК
Польза клубники: 5 главных фактов и советы врачей Польза клубники: 5 главных фактов и советы врачей

Клубника — вкусная и полезная ягода, из которой можно сделать домашнюю косметику

РБК
Зачем насекомым хоботки? Зачем насекомым хоботки?

Насекомые приспособлены к условиям обитания лучше большинства других животных

Наука и жизнь
В четырех стенах: российские ученые проследили связь между изоляцией и ростом иммунитета В четырех стенах: российские ученые проследили связь между изоляцией и ростом иммунитета

Организмы испытуемых ответили на стресс и снижение физической активности

Вокруг света
Четыре метрики: Алена Владимирская о том, как понять, что ваша карьера в зоне риска Четыре метрики: Алена Владимирская о том, как понять, что ваша карьера в зоне риска

Как провести карьерный аудит?

Forbes
Нетворкинг и устойчивость: кому нужны специальные женские программы MBA Нетворкинг и устойчивость: кому нужны специальные женские программы MBA

Женщины стали чаще получать степень MBA

Forbes
Учительница лучшая моя: фрагмент книги «Элизабет Финч» Джулиана Барнса Учительница лучшая моя: фрагмент книги «Элизабет Финч» Джулиана Барнса

Отрывок из нового романа-загадки Джулиана Барнса

Правила жизни
Как шариковая ручка покорила мир: история изобретения Как шариковая ручка покорила мир: история изобретения

Утром 29 октября 1945 года у дверей универмага Gimbels выстроилась очередь

ТехИнсайдер
Сухие губы: причины, последствия и способы лечения Сухие губы: причины, последствия и способы лечения

Отопление и холодный ветер не единственные причины сухости губ

РБК
Пальмы больше не нужны: зачем ехать на Северный полюс и в Антарктиду Пальмы больше не нужны: зачем ехать на Северный полюс и в Антарктиду

Арктический туризм набирает популярность у российских путешественников

Вокруг света
Как гены влияют на наш вкус? Как гены влияют на наш вкус?

Как гены и микробы в кишечнике влияют на наши вкусовые предпочтения?

Новый очаг
Билл Гейтс рекомендует: пять отличных книг на лето Билл Гейтс рекомендует: пять отличных книг на лето

Что миллиардер Билл Гейтс советует почитать в отпуске?

Forbes
Открыть в приложении