Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Человек, который по ночам сочиняет музыку Человек, который по ночам сочиняет музыку

Возможно ли больше 30 лет провести в шоу-бизнесе, не заигрывая с низким вкусом?

СНОБ
Как сделать бомбочку для ванны своими руками: пошаговая инструкция Как сделать бомбочку для ванны своими руками: пошаговая инструкция

Почему бы не попробовать сделать бомбочку для ванны в домашних условиях?

VOICE
К вам санитары, мистер Андерсон К вам санитары, мистер Андерсон

Писатель Александр Цыпкин о наших цифровых аватарах

СНОБ
Семь марионеток Семь марионеток

Каким было правительство марионеточной «Финляндской Демократической Республики»

Дилетант
Алмазы под давлением Алмазы под давлением

Экономист Александр Аузан о будущем креативных индустрий

СНОБ
Аллергия на солнце Аллергия на солнце

Солнечная аллергия: симптомы, тест на предрасположенность, лечение

Лиза
20 вещей, которые могут тебе пригодиться в постели 20 вещей, которые могут тебе пригодиться в постели

Объекты и явления, при помощи которых твой секс будет еще великолепнее

Maxim
Маленькая, но горная птичка: зачем ученые переселили колибри и что из этого вышло Маленькая, но горная птичка: зачем ученые переселили колибри и что из этого вышло

Крылатые аборигены Нового Света не вынесут перемен

Вокруг света
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Дело не в еде: как я похудела на 47 кг Дело не в еде: как я похудела на 47 кг

Моя личная история – это не только история снижения веса

Новый очаг
Смотреть в корень Смотреть в корень

Может ли секс быть ресурсом?

Psychologies
Когда сила воли не работает: как менять себя и жизнь с помощью терапии субличностей Когда сила воли не работает: как менять себя и жизнь с помощью терапии субличностей

Как навести порядок в отношениях с самим собой?

Psychologies
Это всего лишь конец света... Это всего лишь конец света...

Памяти Гаспара Ульеля – актера, философа, эстета

Playboy
«Где стол был яств, там гроб стоит»: как в «Опасных связях» мертвое вытесняет живое «Где стол был яств, там гроб стоит»: как в «Опасных связях» мертвое вытесняет живое

Спектакль «Опасные связи» — один большой натюрморт, где все пожирают друг друга

Forbes
Сибирский КОТ, или Прототип термоядерного реактора нового поколения Сибирский КОТ, или Прототип термоядерного реактора нового поколения

Как на промышленных предприятиях воспитывают сибирского КОТа

Наука
Красноту северного полюса Харона объяснили радиолизом фотолизированного метанового инея Красноту северного полюса Харона объяснили радиолизом фотолизированного метанового инея

Ученые описали механизм окраски шапки спутника Плутона Харона в красный цвет

N+1
По соседству с Солнцем найдены две суперземли — правда, жизни на них скорее всего нет По соседству с Солнцем найдены две суперземли — правда, жизни на них скорее всего нет

Ученые обнаружили два новых мира, вероятно, состоящих из каменистых минералов

ТехИнсайдер
Люди находят друзей по запаху: необычное исследование израильских ученых Люди находят друзей по запаху: необычное исследование израильских ученых

Новые знакомые, пахнущие так же, как мы, вызывают у нас неосознанную симпатию

Psychologies
Отдохните от себя: как быть свободным в свободное время Отдохните от себя: как быть свободным в свободное время

Три проверенных способа по-настоящему отдохнуть

VC.RU
Художница Оля Австрейх — о хоррорах, карнавале и двоемирии наших дней Художница Оля Австрейх — о хоррорах, карнавале и двоемирии наших дней

Художница Оля Австрейх — почему прекрасные дамы не те, кем кажутся

РБК
Ничего лишнего Ничего лишнего

Как стать бьюти-минималистом и не вестись на маркетинговые уловки

Новый очаг
5 растительных продуктов с высоким содержанием белка 5 растительных продуктов с высоким содержанием белка

Какие растительные продукты содержат много белка?

ТехИнсайдер
Астрономы уличили скопление Гиады в сближении с Солнечной системой в прошлом Астрономы уличили скопление Гиады в сближении с Солнечной системой в прошлом

Звездное скопление Гиады миллион лет назад было в два раза ближе к Солнцу

N+1
Один большой HDD или два маленьких: что лучше? Один большой HDD или два маленьких: что лучше?

Что лучше – использовать один большой накопитель или два маленьких?

CHIP
Чайный гриб от всех болезней: почему комбуча снова на пике моды Чайный гриб от всех болезней: почему комбуча снова на пике моды

Рассказываем об истории чайного гриба и культуре его потребления

Вокруг света
Как выглядит и живет девушка с бюстом размера K Как выглядит и живет девушка с бюстом размера K

Многие девушки мечтают о большой груди, но жить с ней не так-то просто

VOICE
Летний режим Летний режим

Техника летней безопасности

Лиза
Как создать невероятно привлекательный образ? Три главных модных секрета Кейт Миддлтон раскрыла эксперт Как создать невероятно привлекательный образ? Три главных модных секрета Кейт Миддлтон раскрыла эксперт

Как создавать такие же невероятные образы, как и Кейт Миддлтон?

VOICE
Отрывок из новой книги Сергея Минаева «Бунт и смута на Руси» Отрывок из новой книги Сергея Минаева «Бунт и смута на Руси»

Пять историй о крещении Руси, опричнине и смуте, декабристах и Распутине

СНОБ
Не сломать биомашину: как менеджерам и предпринимателям перестать выгорать Не сломать биомашину: как менеджерам и предпринимателям перестать выгорать

Как выработанные привычки помогают не выгорать

Forbes
Открыть в приложении