Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Первопроходцы и хранители: как профессор Геодакян нашел пушечное мясо для эволюции Первопроходцы и хранители: как профессор Геодакян нашел пушечное мясо для эволюции

Зачем природе нужны самцы и почему она при этом совсем их не бережет

СНОБ
Прошедшее будущее Прошедшее будущее

10 вещей, которые Пьер Карден сделал в моде первым

Weekend
Программисты поменяли интересы как ученые Программисты поменяли интересы как ученые

Стратегии выбора исследований делятся на группы консервативных и радикальных

N+1
Сад для ленивых Сад для ленивых

Как облегчить работу на даче? Посадить многолетники!

Лиза
История одного здания: дом на Большой Садовой История одного здания: дом на Большой Садовой

В этом доме Булгаков поселил дьявольскую свиту в романе «Мастер и Маргарита»

Культура.РФ
Кто первым связал коммунизм с электрификацией Кто первым связал коммунизм с электрификацией

Григорий Ревзин о коммивояжере, который добавил к утопии Ниагарский водопад

Weekend
Еще ого-го: вспоминаем старые игры, которые неплохо выглядят и сегодня Еще ого-го: вспоминаем старые игры, которые неплохо выглядят и сегодня

Подборка старых игр у которых еще есть порох в пороховницах

Maxim
Почему тебе все время холодно (и летом тоже!) Почему тебе все время холодно (и летом тоже!)

Ты постоянно мерзнешь и кутаешься в теплую одежду? Проверь здоровье!

Лиза
Никуда не денется: 7 способов Никуда не денется: 7 способов

От некоторых женщин мужчины не уходят. В чем их секрет?

VOICE
Еще 5 минуточек: как отучить себя тратить время впустую и победить прокрастинацию Еще 5 минуточек: как отучить себя тратить время впустую и победить прокрастинацию

Почему мы прокрастинируем и как от этого отучиться

ТехИнсайдер
Дом мечты по гороскопу Дом мечты по гороскопу

Подбираем идеальный дизайн дома по знаку зодиака

Лиза
Семья, которая «владеет» Европой: чем живет клан Арно - родственники Натальи Водяновой Семья, которая «владеет» Европой: чем живет клан Арно - родственники Натальи Водяновой

Странно, что никто не снял фильм о Золушке с Натальей Водяновой в главной роли

VOICE
Почему ученые не доверяют срокам годности на пищевых упаковках Почему ученые не доверяют срокам годности на пищевых упаковках

Даты на упаковках не всегда могут защитить покупателя от отравления

ТехИнсайдер
Результат любви несовместимых пород: 5 собак-метисов, которые рассмешат вас своей внешностью Результат любви несовместимых пород: 5 собак-метисов, которые рассмешат вас своей внешностью

Собаки, которые характером и красотой не уступают чистокровным собратьям

ТехИнсайдер
Какую женщину никогда не позовут замуж: жесткая цитата Джины Лоллобриджиды Какую женщину никогда не позовут замуж: жесткая цитата Джины Лоллобриджиды

Если тебя еще не осчастливили предложением стать женой, считай это комплиментом

VOICE
Уральская кухня Уральская кухня

Самые известные шефы Урала считают важным возвращение к гастрономическим истокам

Bones
«Я к вам пишу, а дальше что?»: как перестать бояться белого листа «Я к вам пишу, а дальше что?»: как перестать бояться белого листа

Тебя тоже пугает белый лист? VOICE знает, как бороться с белизной

VOICE
9 культовых хоррор-фильмов в жанре научной фантастики 9 культовых хоррор-фильмов в жанре научной фантастики

Советуем научно-фантастические фильмы 1950-х!

Правила жизни
Американец обратился к врачам по поводу свиста в мошонке Американец обратился к врачам по поводу свиста в мошонке

Американские врачи отчитались о необычном клиническом случае

N+1
«Человек-экспонат»: история мальчика из Дудинки, чей портрет висит в офисе ООН «Человек-экспонат»: история мальчика из Дудинки, чей портрет висит в офисе ООН

Мальчик с портрета, который висит в ООН — о жизни и важности сохранения истории

СНОБ
Домашний курорт Домашний курорт

В этой небольшой квартире сложилось эргономичное, уравновешенное пространство

Идеи Вашего Дома
8 нон-фикшн-книг, которые важно прочесть до 35 лет 8 нон-фикшн-книг, которые важно прочесть до 35 лет

Мотивационные бестселлеры, которые необходимо прочесть до 35 лет

СНОБ
«Вчетвером мы составляли единое целое»: история семьи Рерихов «Вчетвером мы составляли единое целое»: история семьи Рерихов

Чем известны Елена, Юрий и Святослав Рерихи

Культура.РФ
Чистая работа Чистая работа

12 способов сделать стирку проще

Лиза
Ресторан высокой битвы Ресторан высокой битвы

«Медведь»: повар как главное открытие современного сериала

Weekend
Просто добавь воды: собираем и завариваем по науке Просто добавь воды: собираем и завариваем по науке

Как собрать душистый букет разнотравья для чая?

ТехИнсайдер
Скоро мы сможем сказать роботу: Скоро мы сможем сказать роботу:

Как ученые пытаются научить робота любопытству

ТехИнсайдер
Образ жизни: Капитуровы Образ жизни: Капитуровы

Лесной дом под Всеволожском

Собака.ru
Зачем нужны тоники для лица и как ими пользоваться Зачем нужны тоники для лица и как ими пользоваться

Кому нужны тоники, а кто может от них отказаться?

РБК
Может ли психотерапевт впустить клиента в свой интимный мир? Может ли психотерапевт впустить клиента в свой интимный мир?

Что делать психотерапевту, если клиент спрашивает его о личной жизни?

Psychologies
Открыть в приложении