Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Это вам не одуванчики: 5 самых опасных растений России, о которых должен знать каждый Это вам не одуванчики: 5 самых опасных растений России, о которых должен знать каждый

Ядовитые растения, которые встречаются в России практически везде

ТехИнсайдер
Происхождение собак связали с двумя разными популяциями волков Происхождение собак связали с двумя разными популяциями волков

Предками собак могли быть одомашненные волки из Сибири и с Ближнего Востока

N+1
«Джейн глазами Шарлотты»: документальное кино об отношениях в семье Генсбур-Биркин «Джейн глазами Шарлотты»: документальное кино об отношениях в семье Генсбур-Биркин

Почему кино «Джейн глазами Шарлотты» — больше, чем просто байопик

Forbes
Опасные незнакомцы Опасные незнакомцы

Как объяснить ребенку правила общения с чужими людьми

Лиза
Почему в мире с мегаполисами люди до сих пор живут в племенах. Фрагмент книги «Разговоры на песке. Как аборигенное мышление может спасти мир» Почему в мире с мегаполисами люди до сих пор живут в племенах. Фрагмент книги «Разговоры на песке. Как аборигенное мышление может спасти мир»

Фрагмент главы «Мальчик-Альбинос» из книги «Разговоры на песке»

Правила жизни
Мартин Иванов: Всех своих «Таурусов» я получил за фильмы о Борне Мартин Иванов: Всех своих «Таурусов» я получил за фильмы о Борне

Чем известен автомобильный каскадёр Мартин Иванов?

4x4 Club

Гуф и Murovei — о том, как они изменились за два года

Правила жизни
Isuzu MU-X. Максимально близко к идеалу Isuzu MU-X. Максимально близко к идеалу

Простой и крепкий внедорожник Isuzu MU-X, которого нам не хватало

4x4 Club
7 привычек, которые мешают нам жить 7 привычек, которые мешают нам жить

Что следует изменить в своем образе жизни миллениалам?

Psychologies
6 секретов красоты, которые знают только испанки: для роскошных локонов и сияющей кожи! 6 секретов красоты, которые знают только испанки: для роскошных локонов и сияющей кожи!

6 бьюти-хитростей испанок, которые помогают им оставаться молодыми и красивыми

VOICE
Дары расставания: 4 практики для тех, кто переживает развод Дары расставания: 4 практики для тех, кто переживает развод

Развод — болезненная, но порой необходимая точка в супружеских отношениях

Psychologies
Поэт и инвалид Поэт и инвалид

Игорь Гулин об Алике Ривине, эксцентрике и пророке блокады

Weekend
В весенних климатических аномалиях Северного полушария обвинили арктическую озоновую дыру В весенних климатических аномалиях Северного полушария обвинили арктическую озоновую дыру

Истощение озонового слоя над Арктикой оказалось фактором потепления в Евразии

N+1
Экономический бумт Экономический бумт

Пять кризисных эпох в истории дореволюционной России

Правила жизни
Бургер без хлеба, белковый салат и элитная овсянка — секреты простейших завтраков Бургер без хлеба, белковый салат и элитная овсянка — секреты простейших завтраков

То, что сделает насыщенным весь ваш день

Maxim
Судебная перспектива Судебная перспектива

История постсоветского искусства в преследованиях и приговорах суда

Weekend
Что делать, если жвачка прилипла к волосам и одежде: 9 простых советов Что делать, если жвачка прилипла к волосам и одежде: 9 простых советов

Мы надеемся, что вы никогда не найдете жвачку в своих волосах или на одежде

ТехИнсайдер
Как еще можно использовать чайные пакетики: 10 необычных идей Как еще можно использовать чайные пакетики: 10 необычных идей

Чайные пакетики можно эффективно использовать в быту

ТехИнсайдер
Как развитие метавселенных повлияет на стриминг? Как развитие метавселенных повлияет на стриминг?

Какое влияние окажут метавселенные на индустрию потокового онлайн-вещания?

ТехИнсайдер
Астрофизики впервые напрямую измерили магнитное поле ультраяркого рентгеновского источника Астрофизики впервые напрямую измерили магнитное поле ультраяркого рентгеновского источника

Астрофизики измерили напряженность магнитного поля вблизи нейтронной звезды

N+1
Почему у Юпитера нет таких же колец, как у Сатурна? Или мы их просто не видим? Почему у Юпитера нет таких же колец, как у Сатурна? Или мы их просто не видим?

Почему у Юпитера нет великолепной обширной системы видимых колец?

ТехИнсайдер
5 фантастических произведений про постчеловечество: какими будут цивилизации будущего 5 фантастических произведений про постчеловечество: какими будут цивилизации будущего

Книги о мирах, в которых люди шагнули на следующую ступень эволюции

ТехИнсайдер
Все, что нужно знать о визите к гинекологу: советы врача Все, что нужно знать о визите к гинекологу: советы врача

Что происходит во время посещения гинеколога и как вести себя на приеме?

VOICE
Секреты флористов: как сохранить розы в букете дольше Секреты флористов: как сохранить розы в букете дольше

Как продлить цветам молодость?

VOICE
Путь самурая: как философия бусидо помогает сохранить честь в сложные времена Путь самурая: как философия бусидо помогает сохранить честь в сложные времена

Как современный человек может рассматривать кодекс чести самурая

Forbes
Уральская кухня Уральская кухня

Самые известные шефы Урала считают важным возвращение к гастрономическим истокам

Bones
Девять штрафов ГИБДД, которые удивят даже опытного водителя. Список Девять штрафов ГИБДД, которые удивят даже опытного водителя. Список

Разбираемся, как можно лишиться прав в безобидной ситуации

РБК
«Отец драконов» писатель Олег Рой — о новых детских проектах «Отец драконов» писатель Олег Рой — о новых детских проектах

Олег Рой — о новых вселенных, объединенных персонажем Дракошей Тошей

РБК
Четвероногий сапер Джульбарс: невероятная история пса, удостоенного ордена Четвероногий сапер Джульбарс: невероятная история пса, удостоенного ордена

Пес Джульбарс — почетный ветеран вoйны

ТехИнсайдер
Открыть в приложении