Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Место для всех Место для всех

Как в «Севкабеле» появился уникальный социальный проект

СНОБ
Оракул маркетинга: как актер Эдвард Нортон пытается победить старомодные телерейтинги Оракул маркетинга: как актер Эдвард Нортон пытается победить старомодные телерейтинги

Как Эдвард Нортон бросил вызов привычному положению дел на телевидении

Forbes
Новая дисциплина Новая дисциплина

Чемпионка мира, чемпионка Европы, призер Олимпийских игр – Евгения Медведева

Maxim
Зачем насекомым хоботки? Зачем насекомым хоботки?

Насекомые приспособлены к условиям обитания лучше большинства других животных

Наука и жизнь
Синтетический футуризм Синтетический футуризм

Эксперимент редакции с нейросетью, «вобравшей» в себя Сорокина и Пелевина

СНОБ
В древнеегипетском Гелиополе раскопали гранитные блоки времен фараона Хуфу В древнеегипетском Гелиополе раскопали гранитные блоки времен фараона Хуфу

Результаты раскопок в Каире на территории древнего города Гелиополя

N+1
Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Страшная сила: в погоне за стройностью анорексики теряют часть мозга Страшная сила: в погоне за стройностью анорексики теряют часть мозга

Изменения мозга при РПП даже серьезнее, чем при депрессии и ОКР

Вокруг света
Алмазы под давлением Алмазы под давлением

Экономист Александр Аузан о будущем креативных индустрий

СНОБ
Родители-вертолеты и родители-тигры: кем быть, чтобы воспитать счастливого человека Родители-вертолеты и родители-тигры: кем быть, чтобы воспитать счастливого человека

Отрывок из книги «Формула» — о том, как воспитать счастливого ребенка

Forbes
Монархист во главе республики Монархист во главе республики

Гинденбург и представить себе не мог, что превратится в общенациональный символ

Дилетант
Ученые-волонтеры создали бесплатную языковую модель ИИ. Она не слабее, чем модели Google Ученые-волонтеры создали бесплатную языковую модель ИИ. Она не слабее, чем модели Google

Монополия в разработке и обучении языковых моделей нарушена

ТехИнсайдер
Правила здорового сна: уберите от кровати гаджеты и яблоки Правила здорового сна: уберите от кровати гаджеты и яблоки

Удается ли вам спать достаточное количество часов?

Psychologies
Найден способ стать хорошим человеком Найден способ стать хорошим человеком

Можно ли заметно улучшить свои человеческие качества?

Psychologies
Патронус, боггарт и Карта Мародеров: психологические уроки «Гарри Поттера» Патронус, боггарт и Карта Мародеров: психологические уроки «Гарри Поттера»

Почему история о «мальчике, который выжил» не перестает нас увлекать?

Psychologies
5 садовых лайфхаков, которые облегчат вашу жизнь 5 садовых лайфхаков, которые облегчат вашу жизнь

Садоводство — это целое искусство

ТехИнсайдер
Как настоящая: в MIT научились выращивать мебель из искусственного дерева Как настоящая: в MIT научились выращивать мебель из искусственного дерева

Материал будет расти сразу в форме столешницы или книжной полки

Вокруг света
Большие обитатели больших морей: что мы знаем об альбатросах Большие обитатели больших морей: что мы знаем об альбатросах

Альбатросы — величайшие в мире странники

Вокруг света
Королева Виктория и царь зулусов: самый странный брак в истории Виндзоров Королева Виктория и царь зулусов: самый странный брак в истории Виндзоров

В XIX веке королева Великобритании Виктория стала женой африканского царя

VOICE
Вышивка, музыка, путешествия: что делает Виктория Шелягова в Ивановской области Вышивка, музыка, путешествия: что делает Виктория Шелягова в Ивановской области

Зачем Виктория Шелягова купила дом в Ивановской области?

СНОБ
Эти существа возводят горы и насыщают породу минералами, но вы их никогда не увидите Эти существа возводят горы и насыщают породу минералами, но вы их никогда не увидите

Поколения губок, мириады бактерий – настоящие создатели современной земной коры

ТехИнсайдер
Почему мы никогда не забываем тех, кто обижал нас в детстве: 10 причин Почему мы никогда не забываем тех, кто обижал нас в детстве: 10 причин

Почему мы вспоминаем наших обидчиков снова и снова?

Psychologies
Как тревожные родители могут навредить ребенку Как тревожные родители могут навредить ребенку

Как уменьшить влияние своей тревоги на ребенка?

Psychologies
Уникальный антарктический комар может не пережить потепление Уникальный антарктический комар может не пережить потепление

Даже небольшое потепление может серьезно сказаться на фауне Антарктики

ТехИнсайдер
Почему мужчины и женщины не могут быть просто друзьями? Почему мужчины и женщины не могут быть просто друзьями?

Возможны ли близкие, но платонические отношения между мужчиной и женщиной?

Psychologies
Максим Винарский Максим Винарский

Биолог Максим Винарский выпустил книгу о последнем общем предке всех организмов

Собака.ru
Топ-5 летних проблем с ногами Топ-5 летних проблем с ногами

Какие несовершенства мешают нам носить сандалии и как с ними бороться?

Лиза
Павел Чинарев Павел Чинарев

Актер Павел Чинарев — о современном театре, Собянине и фрилансе

Собака.ru
Анастасия Пиорунская Анастасия Пиорунская

Техно-экобренд из Петербурга? Да!

Собака.ru
По ту сторону реки По ту сторону реки

Культурный посредник, переводчик, доула и гид объясняют свою миссию

Seasons of life
Открыть в приложении