Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Опасные зависимости, которые при этом абсолютно легальны Опасные зависимости, которые при этом абсолютно легальны

Зависимости, которые иногда даже пропагандируются!

Maxim
На Крите нашли 4000-летние случаи инфицирования чумной палочкой и сальмонеллой На Крите нашли 4000-летние случаи инфицирования чумной палочкой и сальмонеллой

Палеогенетики обнаружили древние патогены чумной палочки у четырех индивидов

N+1
МОТ МОТ

МОТ рассказал о том, кто в России пишет хорошую музыку

ЖАРА Magazine
Говорящие рыбы Говорящие рыбы

Как рыбы издают звуки?

Наука и жизнь
Cherchez la femme Cherchez la femme

Почему индустрия еды находится в крепких мужских руках

Bones
Советы и рекомендации для первого путешествия в Норильск Советы и рекомендации для первого путешествия в Норильск

Норильск: попробовать сагудай и познакомиться с оленеводом

СНОБ
«Этот журнал создан для изгнанников» «Этот журнал создан для изгнанников»

Зачем эмигранты основывали собственные издания и чем это заканчивалось

Weekend
Беннифер навсегда: история любви Дженнифер Лопес и Бена Аффлека — 20 лет назад и сейчас Беннифер навсегда: история любви Дженнифер Лопес и Бена Аффлека — 20 лет назад и сейчас

Бурный роман, расставание и воссоединение: история Джей Ло и Бена Аффлека

Правила жизни
Уместить человечество в 16 типов: что такое тестирование MBTI и стоит ли ему верить Уместить человечество в 16 типов: что такое тестирование MBTI и стоит ли ему верить

Действительно ли люди делятся на 16 типов личности?

Forbes
Машинное обучение и технология AR в ритейле: миф или реальность Машинное обучение и технология AR в ритейле: миф или реальность

Работа магазина – это большой механизм, в котором есть место новым технологиям

ТехИнсайдер
«Мы максимально открыты»: как выпускники юрфака МГУ создали фонд для помощи студентам «Мы максимально открыты»: как выпускники юрфака МГУ создали фонд для помощи студентам

Как обстоят дела с юридическим образованием и оттоком специалистов в России?

Forbes
Может ли Человек-паук действительно остановить поезд паутиной Может ли Человек-паук действительно остановить поезд паутиной

Так ли прочна паутина Человека-паука, как это показано в фильмах?

ТехИнсайдер
Чай для стройности Чай для стройности

Быстрый способ сбросить вес или опасность для здоровья?

Лиза
Ухо, зубы, сон Ухо, зубы, сон

«Уховертка»: боди-хоррор в декорациях межвоенной Европы

Weekend
5 способов ускорить работу компьютера без знаний программирования 5 способов ускорить работу компьютера без знаний программирования

Как вернуть компьютеру часть прежней скорости

ТехИнсайдер
Телефон в руке и собака в салоне: за что можно получить штраф от ГИБДД Телефон в руке и собака в салоне: за что можно получить штраф от ГИБДД

Водители пожаловались на непонятные штрафы с камер за ремни и телефоны

РБК
Темные воды: что опасного скрывает в себе река Волга и кто в этом виноват Темные воды: что опасного скрывает в себе река Волга и кто в этом виноват

Под волнами Волги со сложным химическим составом таится немало опасностей

ТехИнсайдер
Не включается монитор: причины и способы решения проблемы Не включается монитор: причины и способы решения проблемы

Часто проблемы с монитором решаются за считанные минуты

CHIP
Одна вокруг света: озеро Титикака и город богов Одна вокруг света: озеро Титикака и город богов

179-я серия о кругосветном путешествии москвички Ирины Сидоренко: Перу

Forbes
Знатным скандинавам эпохи викингов приглянулся мех бобра Знатным скандинавам эпохи викингов приглянулся мех бобра

Бобровый мех выступал для местной скандинавской верхушки предметом роскоши

N+1
Как объяснить даже детям, что такое маятник Фуко Как объяснить даже детям, что такое маятник Фуко

Как объяснить принцип маятника Фуко любому человеку можно за пять минут

ТехИнсайдер
Болезнь бесцеремонности: четыре способа борьбы с грубостью на рабочем месте Болезнь бесцеремонности: четыре способа борьбы с грубостью на рабочем месте

Почему грубое отношение к коллегам заразительно и как с этим справиться

VC.RU
Чистая работа Чистая работа

12 способов сделать стирку проще

Лиза
Не ешь — козленочком станешь Не ешь — козленочком станешь

7 самых опасных ягод в лесу

Лиза
«Книжка занимательная, но»: как современники Пушкина относились к писательницам «Книжка занимательная, но»: как современники Пушкина относились к писательницам

Отрывок из книги Марии Нестеренко «Розы без шипов»

Forbes
Куда исчез Тунгусский метеорит: самые смелые и оригинальные гипотезы Куда исчез Тунгусский метеорит: самые смелые и оригинальные гипотезы

Почему никто не может найти кратер таинственного Тунгусского метеорита?

ТехИнсайдер
Почему нам не нужна близость? 3 важные причины Почему нам не нужна близость? 3 важные причины

Причины, которые превращаются в знак «Стоп!» на пути к гармоничному сексу

Psychologies
Ресторан высокой битвы Ресторан высокой битвы

«Медведь»: повар как главное открытие современного сериала

Weekend
Уйти нельзя остаться: «Я прожила с абьюзером 20 лет» Уйти нельзя остаться: «Я прожила с абьюзером 20 лет»

Подвергаться психологическому и физическому насилию и ничего не предпринимать?

Psychologies
Почему ученые не доверяют срокам годности на пищевых упаковках Почему ученые не доверяют срокам годности на пищевых упаковках

Даты на упаковках не всегда могут защитить покупателя от отравления

ТехИнсайдер
Открыть в приложении