Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”» Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”»

Ресторатор Борис Зарьков – пат в шахматах, уход Michelin и «голые короли

СНОБ
Действующие и потухшие: 5 самых красивых вулканов России Действующие и потухшие: 5 самых красивых вулканов России

Труднодоступные, но желанные локации, до которых доберется не каждый

Вокруг света
15 мыслей Михаила Пиотровского 15 мыслей Михаила Пиотровского

Как Михаил Пиотровский, вопреки всем правилам, уберег от жертв великую красоту

GQ
Rihanna Rihanna

Рианна является самой богатой женщиной в мире музыки

ЖАРА Magazine
7 тезисов — как изучать историю в школе 7 тезисов — как изучать историю в школе

История как объект исследования и изучения

Дилетант
Любовь в деталях Любовь в деталях

Как найти баланс в общении с мужчиной?

Лиза
«Дело Финляндии — наше дело» «Дело Финляндии — наше дело»

В 1939–1940 годах театром военных действий снова стала Финляндия

Дилетант
Очень московское собрание: как коллекция братьев Морозовых долго возвращалась домой Очень московское собрание: как коллекция братьев Морозовых долго возвращалась домой

Многолетняя эпопея по объединению собрания братьев Морозовых

Forbes
Увенчанный славой: 9 полезных свойств лаврового листа Увенчанный славой: 9 полезных свойств лаврового листа

Это уникальное растение даже в сухом виде сохраняет свои лучшие качества

Вокруг света
«Божественная босоножка»: жизнь и трагедия Айседоры Дункан «Божественная босоножка»: жизнь и трагедия Айседоры Дункан

Ее жизнь — как будто сценарий бразильского сериала

Вокруг света
Три молочных зуба из испанской пещеры оказались неандертальскими Три молочных зуба из испанской пещеры оказались неандертальскими

Они принадлежали детям, жившим около 45–42 тысяч лет назад

N+1
Умер Юрий Шатунов: почему «Ласковый май» стал символом эпохи? Умер Юрий Шатунов: почему «Ласковый май» стал символом эпохи?

Почему «Ласковый май» оказался таким значимым проектом в нашей поп-культуре?

Psychologies
Как выбрать внешний аккумулятор для смартфона: шпаргалка от CHIP Как выбрать внешний аккумулятор для смартфона: шпаргалка от CHIP

Как выбрать пауэрбанк, чтобы его хватало всем вашим устройствам?

CHIP
Путин и золото: как британский миллионер судился из-за «русского следа» в Brexit Путин и золото: как британский миллионер судился из-за «русского следа» в Brexit

Как Аррон Бэнкс сколотил состояние, увлекся политикой и потратился на Brexit

Forbes
Труба, валторна и фрак Труба, валторна и фрак

Как важными свидетелями событий военного времени становятся личные вещи

Дилетант
Разрыв сердца: как жил, пел, любил и погиб главный краш всех девчонок СССР Юра Шатунов Разрыв сердца: как жил, пел, любил и погиб главный краш всех девчонок СССР Юра Шатунов

Какой была короткая, но яркая жизнь Юры Шатунова

The Voicemag
Дома-кочевники: 6 известных зданий в Москве, которые сменили прописку Дома-кочевники: 6 известных зданий в Москве, которые сменили прописку

В двадцатом веке передвинули около 70 зданий

Вокруг света
Как в детском саду: 3 секрета приготовления «того самого» омлета Как в детском саду: 3 секрета приготовления «того самого» омлета

Пышный, нежный, легкий — редкая мама могла повторить рецепт детсадовского омлета

Вокруг света
Пункт назначения для женщин: как борются с домашним насилием в Северной Осетии Пункт назначения для женщин: как борются с домашним насилием в Северной Осетии

Как столица Северной Осетии стала пунктом спасения для женщин

Forbes
Премьер-министр «русского Тайваня» Премьер-министр «русского Тайваня»

Александр Кривошеин — один из лучших представителей царского чиновного корпуса

Наука
Обратная эволюция: почему некоторые животные уходят с суши обратно в океан Обратная эволюция: почему некоторые животные уходят с суши обратно в океан

Как выглядели сухопутные предки китов и тюленей? Зачем они вернулись в воду?

TechInsider
Морщины: почему появляются и как правильно с ними бороться Морщины: почему появляются и как правильно с ними бороться

Скорость старения кожи зависит не только от наследственности

РБК
Навыки выживания: что делать, если вы заблудились в лесу Навыки выживания: что делать, если вы заблудились в лесу

Советы эксперта, которые могут спасти вам жизнь

Вокруг света
Физики создали активную среду для непрерывного материальноволнового лазера Физики создали активную среду для непрерывного материальноволнового лазера

Установка, в которой происходит непрерывная поддержка конденсата Бозе-Эйнштейна

N+1
Цена прохлады: как выбрать кондиционер для дома Цена прохлады: как выбрать кондиционер для дома

На что обратить внимание при выборе кондиционера?

CHIP
Рыбы и зрелищ Рыбы и зрелищ

Самые интересные места для погружения на планете

Вокруг света
Мусорное искусство Мусорное искусство

Инсталляции, созданные из мусора, напоминают о глобальной проблеме Земли

TechInsider
Леонид Зорин: «Десятый десяток. Проза 2016–2020» Леонид Зорин: «Десятый десяток. Проза 2016–2020»

Рассказ из сборника Леонида Зорина

СНОБ
«Либо зануды, либо истерички» «Либо зануды, либо истерички»

Истории женщин, которые ненавидят других женщин

Лиза
Как подготовить ребенка к школе для одаренных детей: советы родителям Как подготовить ребенка к школе для одаренных детей: советы родителям

Как отражается на психике ребенка установка быть лучшим во всем?

Psychologies
Открыть в приложении