Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Опасные зависимости, которые при этом абсолютно легальны Опасные зависимости, которые при этом абсолютно легальны

Зависимости, которые иногда даже пропагандируются!

Maxim
Как выбрать повербанк или портативный аккумулятор Как выбрать повербанк или портативный аккумулятор

На что обратить внимание и за что не стоит переплачивать, выбирая повербанк

Maxim
Носки и лодыжки: Брэд Питт, Вин Дизель и другие мужчины-звезды, которые роскошно выглядят в юбках Носки и лодыжки: Брэд Питт, Вин Дизель и другие мужчины-звезды, которые роскошно выглядят в юбках

Мода давно вышла за грани гендерных стереотипов

VOICE
История одного здания: усадьба Знаменское-Раёк История одного здания: усадьба Знаменское-Раёк

Усадьба Знаменское-Раёк побывала и галереей, и госпиталем и пионерлагерем

Культура.РФ
Прибывшие на Дунай 8200 лет назад первые земледельцы занялись рыболовством Прибывшие на Дунай 8200 лет назад первые земледельцы занялись рыболовством

Памятник Лепенски-Вир в Сербии использовали охотники-собиратели

N+1
Пишите! Это залечивает раны (и не только душевные) Пишите! Это залечивает раны (и не только душевные)

Что именно следует писать, чтобы занятие приносило терапевтический результат?

Psychologies
«Я не вывожу»: 5 способов справиться с нервной перегрузкой «Я не вывожу»: 5 способов справиться с нервной перегрузкой

Отрывок из книги «Быстрая самотерапия» о том, как справиться с перегрузкой

Forbes
Тату-маскировка. Что скрывают рисунки на теле Тату-маскировка. Что скрывают рисунки на теле

Существует практическое применение татуировок. Какое?

Лиза
Клумбы и цветники на даче своими руками Клумбы и цветники на даче своими руками

Как легко и недорого преобразить дачный участок?

Лиза
Гумус: история органического вещества в почве Гумус: история органического вещества в почве

Существование молекул гумуса оказалось под вопросом

Наука и жизнь
Боль, преодоление, катарсис. Почему все стоят на гвоздях и зачем за это платить? Боль, преодоление, катарсис. Почему все стоят на гвоздях и зачем за это платить?

Откуда растут ноги практики стояния на гвоздях и как правильно встать на гвозди

Inc.
Астрофизики впервые напрямую измерили магнитное поле ультраяркого рентгеновского источника Астрофизики впервые напрямую измерили магнитное поле ультраяркого рентгеновского источника

Астрофизики измерили напряженность магнитного поля вблизи нейтронной звезды

N+1
10 самых жутких видеоигр за всю историю индустрии 10 самых жутких видеоигр за всю историю индустрии

Жуткие видеоигры, которые заставят вас по-настоящему испугаться

ТехИнсайдер
Взлет и падение великих династий в книге «История Балтики: от ганзейского союза до монархий Нового времени» Кэролайн Боггис-Рольф. Публикуем фрагмент Взлет и падение великих династий в книге «История Балтики: от ганзейского союза до монархий Нового времени» Кэролайн Боггис-Рольф. Публикуем фрагмент

Последние лет девятьсот регион Балтийского моря – один из самых насыщенных

Правила жизни
«Яжмать»: откуда берется этот синдром и как с ним бороться «Яжмать»: откуда берется этот синдром и как с ним бороться

Какие у «яжматеринства» есть последствия?

Psychologies
Корпоративный стокгольмский синдром: почему мы чувствуем себя виноватыми на работе Корпоративный стокгольмский синдром: почему мы чувствуем себя виноватыми на работе

Почему мы попадаем в ловушку корпоративного стокгольмского синдрома?

Psychologies
И тут неплохо кормят: искусственно выращенная форель оказалась полезнее дикой И тут неплохо кормят: искусственно выращенная форель оказалась полезнее дикой

Российские ученые сравнили разные виды рыб

Вокруг света
«Работает мало, делает много»: как российские экзоскелеты ускоряют производство «Работает мало, делает много»: как российские экзоскелеты ускоряют производство

Экзоскелеты: как их можно применять в сфере производства

ТехИнсайдер
Зеленое меню Зеленое меню

Почему зеленое меню — не панацея

Bones
Nissan Pathfinder. Не в то время, не в том месте Nissan Pathfinder. Не в то время, не в том месте

Nissan Pathfinder уже давно не внедорожник, а большой семейный универсал

4x4 Club
Злодеи из кинокомиксов, которые в чем-то правы (и мы им даже сопереживаем) Злодеи из кинокомиксов, которые в чем-то правы (и мы им даже сопереживаем)

Суперзлодеи кинокомиксов порой интереснее любого добряка

Maxim
АУК АУК

Проект, который направлен на популяризацию региональной кухни Урала

Bones
Ученые идентифицировали парфянскую крепость и раскопали в ней казармы и святилище Ученые идентифицировали парфянскую крепость и раскопали в ней казармы и святилище

Руины Рабана-Меркули на склоне горы представляют собой остатки города Натуния

N+1
Секс-просвет или эмоциональное насилие: психолог о торговле вибраторами в «Л’Этуаль» Секс-просвет или эмоциональное насилие: психолог о торговле вибраторами в «Л’Этуаль»

Можно ли продавать секс-игрушки в неспециализированных розничных магазинах?

Psychologies
6 признаков, что пора менять тормозные колодки 6 признаков, что пора менять тормозные колодки

Признаки износа тормозных колодок

РБК
Без гаремов и Серканов Болатов: 9 новых турецких сериалов, которые стоит посмотреть Без гаремов и Серканов Болатов: 9 новых турецких сериалов, которые стоит посмотреть

Теперь турецкие сериалы научились говорить о реальных проблемах общества

Правила жизни
Из солдат в рабочие: история и интересные факты о джипах Из солдат в рабочие: история и интересные факты о джипах

Почему слово «джип» стало нарицательным?

Вокруг света
Половое воспитание. Нужно ли разговаривать с детьми о сексе Половое воспитание. Нужно ли разговаривать с детьми о сексе

Как разговаривать с детьми о сексе и отношениях — и нужно ли вообще это делать

СНОБ
В чем разница между ядовитым и токсичным животным? В чем разница между ядовитым и токсичным животным?

Venomous и poisonous: в чем разница?

ТехИнсайдер
5 способов ускорить работу компьютера без знаний программирования 5 способов ускорить работу компьютера без знаний программирования

Как вернуть компьютеру часть прежней скорости

ТехИнсайдер
Открыть в приложении