Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Астрономы ищут в океане неизвестный объект, который, вероятно, прибыл из межзвездного пространства Астрономы ищут в океане неизвестный объект, который, вероятно, прибыл из межзвездного пространства

В 2014 году странный объект упал недалеко от побережья Папуа-Новой Гвинеи

ТехИнсайдер
Мужской характер Мужской характер

В наполненном интересными деталями интерьере ощущается умеренная брутальность

Идеи Вашего Дома
Автопром: вопросы национализма Автопром: вопросы национализма

Автопром России развивался собственным, ни на кого не похожим путем

Эксперт
Палеогенетики прочитали геномы десяти людей из мексиканского некрополя колониального периода Палеогенетики прочитали геномы десяти людей из мексиканского некрополя колониального периода

Палеогенетики не обнаружили метисации между индейцами, европейцами и африканцами

N+1
Почему пионерам запрещали здороваться за руку: ты удивишься, когда узнаешь! Почему пионерам запрещали здороваться за руку: ты удивишься, когда узнаешь!

Странные правила среди пионерии

VOICE
Оказалось, что людям нравится проводить время без смартфона. Однако они этого не понимают Оказалось, что людям нравится проводить время без смартфона. Однако они этого не понимают

Способен ли человек наслаждаться временем, отложив смартфон?

ТехИнсайдер
Почему астронавтам нельзя пить алкоголь в космосе Почему астронавтам нельзя пить алкоголь в космосе

С практической точки зрения очень опрометчиво пить в космосе...

ТехИнсайдер
Как заставить питомца принимать лекарства: 5 простых способов спрятать таблетку Как заставить питомца принимать лекарства: 5 простых способов спрятать таблетку

Как замаскировать таблетку, чтобы питомец ничего не заподозрил

ТехИнсайдер
Расслабиться по-настоящему: 7 необходимых типов отдыха Расслабиться по-настоящему: 7 необходимых типов отдыха

Для того, чтобы чувствовать себя отдохнувшими, нам нужны разные виды отдыха

Psychologies
Сериалы как средство побега от реальности: 7 увлекательных телешоу, в чьих вымышленных мирах можно раствориться Сериалы как средство побега от реальности: 7 увлекательных телешоу, в чьих вымышленных мирах можно раствориться

Эскапистские сериалы, которые представляют собой чисто жанровое развлечение

Правила жизни
Не только алкоголь: продукты и напитки, которые нельзя совмещать с лекарствами Не только алкоголь: продукты и напитки, которые нельзя совмещать с лекарствами

Сыр несовместим с антидепрессантами, а обезболивающие с копченостями

Maxim
«Вчетвером мы составляли единое целое»: история семьи Рерихов «Вчетвером мы составляли единое целое»: история семьи Рерихов

Чем известны Елена, Юрий и Святослав Рерихи

Культура.РФ
Банки решили закодироваться Банки решили закодироваться

Популярность Системы быстрых платежей стремительно растет

Эксперт
Хлеб с вареньем Хлеб с вареньем

Продукты, которые нельзя сочетать

Лиза
Смертельный исход: 10 актеров, которые погибли до выхода фильма Смертельный исход: 10 актеров, которые погибли до выхода фильма

За успехом киноленты стоит не только адский труд актеров, но и трагедии

ТехИнсайдер
До слез: эти 5 фильмов, основанных на реальных событиях, никого не оставят равнодушными До слез: эти 5 фильмов, основанных на реальных событиях, никого не оставят равнодушными

Пять картин с мотивирующими и вдохновляющими историями

ТехИнсайдер
В Турции нашли летнюю резиденцию внука Чингисхана Хулагу В Турции нашли летнюю резиденцию внука Чингисхана Хулагу

Обнаружены следы поселения, предположительно сооруженного ильханом Хулагу

N+1
Предписывающие знаки: что это, какие бывают, как действуют Предписывающие знаки: что это, какие бывают, как действуют

Категория дорожных знаков, которые отвечают вопрос «Что делать?»

РБК
В Оксфорде провели масштабное исследование лекарств от бессонницы — и большинство оказалось крайне сомнительными В Оксфорде провели масштабное исследование лекарств от бессонницы — и большинство оказалось крайне сомнительными

Многие распространенные лекарства от бессонницы не имеют данных о безопасности

ТехИнсайдер
Антиотражающий слой сделал мутную среду прозрачной Антиотражающий слой сделал мутную среду прозрачной

Физики придумали, как сделать мутную рассеивающую среду полностью прозрачной

N+1
Обед рабочего человека Обед рабочего человека

Готовят ли в России настоящий рамен?

Bones
Устойчивые к антибиотикам штаммы брюшного тифа распространяются из Южной Азии Устойчивые к антибиотикам штаммы брюшного тифа распространяются из Южной Азии

Брюшной тиф снова представляется опасность и может вызвать эпидемии

ТехИнсайдер
Который час? Зачем нужны смарт-часы и каковы их возможности Который час? Зачем нужны смарт-часы и каковы их возможности

Что такое умные часы, в чем их отличие от фитнес-браслетов?

Цифровой океан
Краткая история «Гоголь-центра» Краткая история «Гоголь-центра»

«Сноб» вспоминает все, что происходило в театре «Гоголь-центер» и вокруг него

СНОБ
«Цинизм может быть веселой игрой» «Цинизм может быть веселой игрой»

Откуда взялись советские трикстеры и во что они превратились

Weekend
Конкретность русской философии Конкретность русской философии

Онтологизм всегда придавал русской философии удивительно практическое измерение

Эксперт
6 признаков, что у твоего мужа кризис среднего возраста: ты должна знать их все! 6 признаков, что у твоего мужа кризис среднего возраста: ты должна знать их все!

Как помочь мужу справиться с кризисом среднего возраста

VOICE
6 болезней, на которые указывают неожиданные лишние килограммы 6 болезней, на которые указывают неожиданные лишние килограммы

Опасно не только внезапное похудение, но и резкий набор веса

Лиза
«Купить часть скалы»: во что инвестирует 77-летний бейсбольный магнат во время спада «Купить часть скалы»: во что инвестирует 77-летний бейсбольный магнат во время спада

Куда Артуро Морено инвестирует во время экономического спада?

Forbes
Кошелек или жизнь: как научиться безболезненно экономить Кошелек или жизнь: как научиться безболезненно экономить

Как избежать крайностей и получать удовлетворение от финансовых вложений?

Psychologies
Открыть в приложении