Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Опасные зависимости, которые при этом абсолютно легальны Опасные зависимости, которые при этом абсолютно легальны

Зависимости, которые иногда даже пропагандируются!

Maxim
6 повседневных вещей, которые мы постоянно делаем неправильно 6 повседневных вещей, которые мы постоянно делаем неправильно

Несколько вещей, которые вы, вероятно, до сих пор делали неправильно

ТехИнсайдер
Мороки Италии Мороки Италии

«Венецияфрения»: туристический хоррор с киноцитатами

Weekend
Уйти нельзя остаться: «Я прожила с абьюзером 20 лет» Уйти нельзя остаться: «Я прожила с абьюзером 20 лет»

Подвергаться психологическому и физическому насилию и ничего не предпринимать?

Psychologies
5 животных, которых мы считаем безобидными, но их стоит бояться 5 животных, которых мы считаем безобидными, но их стоит бояться

Безобидные существа, от которых на самом деле стоит держаться подальше

ТехИнсайдер
Осы осознали абстрактные понятия «одинаковый» и «разный» Осы осознали абстрактные понятия «одинаковый» и «разный»

Бумажные осы Polistes fuscatus осознают понятия «одинаковый» и «разный»

N+1
Константин Леонтьев: парадоксалист и реакционер Константин Леонтьев: парадоксалист и реакционер

Как Константин Леонтьев различал в мире и в истории «сложную гармонию»

Эксперт
«Захватывает дух»: 5 фильмов про акул-убийц, которые смотрятся на одном дыхании «Захватывает дух»: 5 фильмов про акул-убийц, которые смотрятся на одном дыхании

Фильмы про акул-убийц, основанные на реальных событиях

ТехИнсайдер
Великая лунная мистификация 1835 года: как фантаст заставил весь мир поверить, что на Луне есть жизнь Великая лунная мистификация 1835 года: как фантаст заставил весь мир поверить, что на Луне есть жизнь

Первый в истории пранк о пришельцах, который полностью вышел из-под контроля

ТехИнсайдер
Новая жизнь, новые правила Новая жизнь, новые правила

Любой кризис — это не только пора испытаний, но и время новых возможностей

Men Today
Рэйнор Винн: «Дикая тишина». Продолжение международного бестселлера «Соленая тропа» Рэйнор Винн: «Дикая тишина». Продолжение международного бестселлера «Соленая тропа»

Отрывок из романа-путешествия пожилой пары — в этот раз в Исландии

СНОБ
Телескопы, звезды и темная материя: 5 женщин, которые изменили астрономию Телескопы, звезды и темная материя: 5 женщин, которые изменили астрономию

Космические открытия, сделанные героинями этой подборки

Forbes
О спот, ты — мир О спот, ты — мир

В серфинге техника уходит на второй план, важнее становится личность серфера

Men Today
Банки решили закодироваться Банки решили закодироваться

Популярность Системы быстрых платежей стремительно растет

Эксперт
Владыки морей: какими были самые известные пиратские корабли Владыки морей: какими были самые известные пиратские корабли

Лучшие и самые известные пиратские корабли

ТехИнсайдер
Шотландские лисицы поели собачьих фекалий Шотландские лисицы поели собачьих фекалий

Зоологи обнаружили, что лисицы регулярно поедают экскременты домашних собак

N+1
Как я потеряла много денег и справилась с этим: история читательницы Как я потеряла много денег и справилась с этим: история читательницы

Как наша читательница справилась с крупной потерей

Psychologies
Американец обратился к врачам по поводу свиста в мошонке Американец обратился к врачам по поводу свиста в мошонке

Американские врачи отчитались о необычном клиническом случае

N+1
«Стремление отлынивать от физического напряжения продиктовано древними инстинктами» «Стремление отлынивать от физического напряжения продиктовано древними инстинктами»

Эволюционный биолог о том, почему мы так не любим физическую активность

Reminder
«Синдром внезапного богатства»: когда деньги — это стресс «Синдром внезапного богатства»: когда деньги — это стресс

Богатство часто бывает разрушительно

Psychologies
А вдруг все серьезнее... А вдруг все серьезнее...

Болит спина – и мы спешим на массаж. А может, надо к врачу?

Лиза
В элитном погребении сарматского воина нашли редкий бронзовый таз с 20-лепестковой розеттой В элитном погребении сарматского воина нашли редкий бронзовый таз с 20-лепестковой розеттой

Перед захоронением сосуд преднамеренно повредили ножом или кинжалом

N+1
Как заставить питомца принимать лекарства: 5 простых способов спрятать таблетку Как заставить питомца принимать лекарства: 5 простых способов спрятать таблетку

Как замаскировать таблетку, чтобы питомец ничего не заподозрил

ТехИнсайдер
От «Твин Пикса» до «Тьмы»: 15 отличных сериалов в жанре мистики, от которых тяжело оторваться От «Твин Пикса» до «Тьмы»: 15 отличных сериалов в жанре мистики, от которых тяжело оторваться

Сериалы о паранормальном, путешествиях во времени и фантастических существах

Правила жизни
Не надо бигмак, беру эчпочмак! Не надо бигмак, беру эчпочмак!

Татарская кухня от шеф-поваров: новое дыхание и неизменные традиции

Bones
Метод Мари Кондо: 5 простых советов по уборке дома Метод Мари Кондо: 5 простых советов по уборке дома

Полезные советы Мари Кондо, которые научили людей правильно наводить порядок

Psychologies
Самые активные и самые ленивые породы собак: список Самые активные и самые ленивые породы собак: список

Немалый вклад в характер и активность собаки вносит порода животного

ТехИнсайдер
Почему перед азартными играми так сложно устоять Почему перед азартными играми так сложно устоять

Дофамин, удача новичка и доступность — почему люди так любят азартные игры

ТехИнсайдер
Еще раз про кино Еще раз про кино

«Главная роль»: затянутая шутка про изнанку кинобизнеса

Weekend
Пять кроссоверов Lada, которые могли стать суперхитами Пять кроссоверов Lada, которые могли стать суперхитами

Вспоминаем историю неудавшихся проектов Lada

РБК
Открыть в приложении