Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как поменять работу после 40 лет Как поменять работу после 40 лет

Как преодолеть страх и безболезненно сменить род деятельности в зрелом возрасте

Maxim
Как без особых проблем удалить себя из интернета: пособие для тех, кто хочет оставаться анонимом Как без особых проблем удалить себя из интернета: пособие для тех, кто хочет оставаться анонимом

Как стать анонимом и получить, наконец, контроль над своей "цифровой личностью"

ТехИнсайдер
Предковая компонента в геномах удмуртов и бесермян оказалась «удмуртской» Предковая компонента в геномах удмуртов и бесермян оказалась «удмуртской»

Генетики исследовали ДНК 28 удмуртов и бесермян

N+1
Домохозяйка из Китая 10 лет описывала вымышленную историю России в Википедии. Она придумала «Кашинский рудник», создав вокруг него целую вселенную Домохозяйка из Китая 10 лет описывала вымышленную историю России в Википедии. Она придумала «Кашинский рудник», создав вокруг него целую вселенную

Эту домохозяйку из Китая теперь называют «китайским Борхесом»

Правила жизни
Просто добавь воды: собираем и завариваем по науке Просто добавь воды: собираем и завариваем по науке

Как собрать душистый букет разнотравья для чая?

ТехИнсайдер
Личный опыт: как я стала жертвой эксгибициониста Личный опыт: как я стала жертвой эксгибициониста

Защититься от встречи с эксгибиционистом непросто

Psychologies
Шифры, хакеры, шпионы: пока все разбираются с криптовалютой, редакция «Правил жизни» изучает историю криптографии Шифры, хакеры, шпионы: пока все разбираются с криптовалютой, редакция «Правил жизни» изучает историю криптографии

Музей криптографии: самый древний шифр, популярные пароли и худший майнер в мире

Правила жизни
Город, рассказывающий истории Город, рассказывающий истории

Как Нижний Новгород стал одним из главных направлений внутреннего туризма

Правила жизни
Одержимая пластическими операциями 81-летняя Одержимая пластическими операциями 81-летняя

Светскую львицу Джослин Вильденштейн называют "невестой Франкенштейна"

VOICE
Как смотреть Кубрика: гид по творчеству культового режиссера Как смотреть Кубрика: гид по творчеству культового режиссера

Разбираем произведения и анализируем творческий путь Стэнли Кубрика

Правила жизни
На партийном девичнике На партийном девичнике

Расспрашиваем о кремлёвских дамах Нину Хрущёву, внучку советского лидера

Дилетант
Вы точно такого не знали: 5 русских слов, значение которых со временем Вы точно такого не знали: 5 русских слов, значение которых со временем

Слова, которые есть в современном языке, раньше имели совершенно другой смысл

ТехИнсайдер
Не нужно переплачивать: как правильно выбрать домашний WI-FI роутер Не нужно переплачивать: как правильно выбрать домашний WI-FI роутер

Как правильно выбрать роутер, чтобы не остаться без глобальной сети?

ТехИнсайдер
Шоколад Шоколад

Ежегодно 11 июля любители сладкого отмечают Всемирный день шоколада

Здоровье
Его ошибки в сексуальных отношениях, с которыми женщине (не) стоит соглашаться: взгляд мужчин Его ошибки в сексуальных отношениях, с которыми женщине (не) стоит соглашаться: взгляд мужчин

Мнения женщин и мужчин по поводу типичных проблем в интимной сфере

Psychologies
Советские звезды VS современные модницы: кто лучше носит вещи из СССР Советские звезды VS современные модницы: кто лучше носит вещи из СССР

«Старый друг (старое платье) лучше новых двух». Сейчас объясним, почему!

VOICE
Секс-просвет или эмоциональное насилие: психолог о торговле вибраторами в «Л’Этуаль» Секс-просвет или эмоциональное насилие: психолог о торговле вибраторами в «Л’Этуаль»

Можно ли продавать секс-игрушки в неспециализированных розничных магазинах?

Psychologies
Как не нужно заниматься фитнесом: 10 ошибок, которые делает каждый второй во время тренировок Как не нужно заниматься фитнесом: 10 ошибок, которые делает каждый второй во время тренировок

Эти ошибки популярны среди тех, кто только начинает заниматься спортом

ТехИнсайдер
Боди-хоррор: что это такое и самые страшные современные фильмы этого жанра Боди-хоррор: что это такое и самые страшные современные фильмы этого жанра

Страшилки, где с человеческим телом происходит что-то нехорошее

Maxim
Диски для болгарки: как их правильно выбирать? Диски для болгарки: как их правильно выбирать?

Разбираемся, как именно выбрать круг для вашей УШМ

CHIP
Настольная книга идеального тренировочного партнера Настольная книга идеального тренировочного партнера

Какого напарника искать и как самому стать тем, кто раскроет силу в других

Men Today
Машинное обучение и технология AR в ритейле: миф или реальность Машинное обучение и технология AR в ритейле: миф или реальность

Работа магазина – это большой механизм, в котором есть место новым технологиям

ТехИнсайдер
Да, капитан: 5 способов стать хорошим руководителем Да, капитан: 5 способов стать хорошим руководителем

Как проявить лидерские качества и получить желаемую должность

Правила жизни
Поэт и инвалид Поэт и инвалид

Игорь Гулин об Алике Ривине, эксцентрике и пророке блокады

Weekend
Вкус соли можно заменить электрической стимуляцией языка Вкус соли можно заменить электрической стимуляцией языка

Соль и электричество — что у них общего?

ТехИнсайдер
Тунгусский метеорит. Кажется, нам всем невероятно повезло Тунгусский метеорит. Кажется, нам всем невероятно повезло

Новая модель "падения Тунгусского метеорита"

ТехИнсайдер
Как юрист из Москвы помогает хаски, от которых отказались хозяева Как юрист из Москвы помогает хаски, от которых отказались хозяева

Как юрист из Москвы Наталия Басина построила под Рузой хаски-деревню

СНОБ
На берегу Красноярского водохранилища нашли две каменные подвески и кострище возрастом 25 тысяч лет На берегу Красноярского водохранилища нашли две каменные подвески и кострище возрастом 25 тысяч лет

Археологи исследовали верхнепалеолитическую стоянку Сабаниха-3

N+1
Северные контрасты Северные контрасты

Квартира, отражающая в интерьере семейные корни и любимые вещи из детства

Идеи Вашего Дома
До сих пор больно: как взрослым детям освободиться от токсичного влияния родителей До сих пор больно: как взрослым детям освободиться от токсичного влияния родителей

Глава из книги «Они не изменятся» о реакции детей на родительское отношение

Forbes
Открыть в приложении