Почему научить машину писать — легко, а искать ошибки в написанном — трудно

VC.RUHi-Tech

Обработка естественного языка: как создать «грамотного робота»

Узнали у разработчиков, почему научить машину писать — легко, а искать ошибки в написанном — трудно.

1280

Уже десяток российских команд включились в сложнейшую задачу по машинному обучению. Вот её условия:

Дано: реальные сочинения с ЕГЭ на двух языках — русском и английском. Их разметили школьные учителя: выделили смысловые блоки (аргументы, примеры, выводы) и нашли ошибки. В их числе — нарушение логики, искажение смысла, несоответствие теме.

1280

Задача: создать алгоритм, который сможет размечать такие же тексты и находить ошибки не хуже учителей. То есть разметка алгоритма должна отличаться от разметок педагогов не сильнее, чем разметки педагогов отличаются друг от друга. Язык можно выбрать на своё усмотрение.

Мы пообщались с тремя командами, работающими над решением.

  • «Антиплагиат» разработал одноимённый сервис обнаружения заимствований в текстах. В конкурсной команде эксперты в области машинного обучения, исследователи-алгоритмисты и специалисты по подготовке данных.
  • В составе команды «Наносемантика» — сотрудники «Нейросетей Ашманова» и системы проверки правописания «ОРФО»: нейросетевики, разработчики и лингвисты.
  • Команда DeepPavlov сформировалась во время работы над библиотекой разговорного AI DeepPavlov. Все участники — сотрудники лаборатории МФТИ.

Расскажите про своё решение. Какие ошибки оно уже определяет? Использовали в нём готовые модули или собственные наработки?

Антиплагиат: Делиться секретами до подведения хотя бы предварительных итогов было бы очень самонадеянно. Создание такого непростого алгоритма — задача творческая, каждая команда идёт к её решению особым путём.

Что касается результатов, то наш алгоритм приблизился к человеку в плане обнаружения грамматических ошибок.

Наносемантика: Конкурс лежит прямо в русле нашей работы. Мы развиваем одну из самых продвинутых систем проверки правописания — «ОРФО» — и как раз сейчас доделываем для неё английский граммер. А заодно экспериментируем с нейросетевыми модулями для выявления сложных ошибок — например, в расстановке артиклей, употреблении форм глагола или выборе слов из тех, которые для иностранца звучат похоже (steal вместо still или thin вместо thing).

Мы не стали ничего выдумывать, а просто попробовали подготовить бета-версию некоего продукта, напоминающего тот, который мы собираемся выпустить в будущем. Получилась в лучшем случае альфа (что тоже неплохо) — и, конечно, не хватило нескольких дней на то, чтобы выявить и исправить кучу крайне обидных ошибок. Не говоря уже о том, чтобы что-то отполировать.

Если в двух словах, то наше решение — соединение нейромодулей с традиционным граммером на правилах, который пока находит больше ошибок, но и сам ошибается чаще.

Это решение не было самым простым — кажется, мы знаем, как написать примитивную заглушку, которая формально дала бы результаты получше. И не удивлюсь, если какая-то из команд в условиях цейтнота так и поступила. Но мы заметно продвинулись в тех направлениях, в которых хотели продвинуться. Судя по разметке экспертов в доступных эссе, наша модель уже исправляет артикли не хуже среднестатистического учителя. Не знаем, насколько это серьёзный комплимент.

1280

На скриншоте — редкий пример текста, в котором найдено много ошибок. К другим эссе у нейросети претензий было меньше — часто одна-две, иногда ни одной. Сочинение, впрочем, действительно выдающееся: внимательный читатель, хотя бы немного знающий английский, легко найдёт в нём ошибки, которые наши модули пропустили.

Среди отмеченных ошибок, к сожалению, встречаются и ложные срабатывания. В предложении «дети предпочитают компьютерные игры обучению» нейросеть предлагает добавить местоимение (them), но тогда смысл исказится: «дети предпочитают играть в компьютерные игры, а не изучать их».

DeepPavlov: Мы использовали буквально всё, что могли, из нашей библиотеки и не только из неё. Для конкурса Alexa Prize от Amazon мы разработали DeepPavlov Agent — платформу для оркестрирования диалогов. Она отлично подошла и для этого конкурса и позволила нам совмещать несколько моделей, управлять ими и агрегировать результаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Не думайте о покупателе: как вырастить стартап, который купит Apple Не думайте о покупателе: как вырастить стартап, который купит Apple

Что необходимо учитывать при создании стартапа, чтобы заинтересовать Apple

Forbes
Микростимуляция зрительной коры помогла макакам увидеть буквы на пустом экране Микростимуляция зрительной коры помогла макакам увидеть буквы на пустом экране

Микростимуляция мозга может повысить разрешение восстановленного зрения

N+1
Лучшие сериалы 2020-го, выбор Esquire: «Ход королевы», «Чики» и не только Лучшие сериалы 2020-го, выбор Esquire: «Ход королевы», «Чики» и не только

Именно по этим проектам мы будем вспоминать наши вечера в странном 2020 году

Esquire
Правила жизни Стивена Спилберга Правила жизни Стивена Спилберга

Правила жизни режиссера Стивена Спилберга

Esquire
Моя терапия: «Я перестала бояться осуждения окружающих» Моя терапия: «Я перестала бояться осуждения окружающих»

История нашей читательницы о том, как ей помогла психотерапия

Psychologies
#ароматы #ароматы

Парфюм, который позволяет путешествовать не выходя из дома

Glamour
Это личное! Это личное!

Интервью с Евгением Цыгановым о фильме «Неадекватные люди – 2»

Grazia
2007 год 2007 год

Выбор преемника, столица против провинции, «замкадье» и Мюнхенская речь Путина

Esquire

Обаятельного Джорджа Клуни, кажется, должны любить буквально все. Но это не так!

Cosmopolitan
Новый алгоритм DeepMind самостоятельно освоил игры Atari Новый алгоритм DeepMind самостоятельно освоил игры Atari

Алгоритм научился играть в го, шахматы и сёги

N+1
86 м² 86 м²

Вид на лесной массив в Покровском-Стрешневе соблазнил дизайнера Юлию Фаер

AD
«Аэрокобра» Покрышкина: американская хищница для советских асов «Аэрокобра» Покрышкина: американская хищница для советских асов

История настоящей Бэллочки-людоедки

Maxim
Цена счастья Цена счастья

За деньги счастье не купишь?

Robb Report
Холодное оружие Холодное оружие

Зимние прогулки могут обернуться переохлаждением или обморожением

Здоровье
Золотая рыбка Золотая рыбка

Объясняем, как выбрать качественную нарезку из слабосоленого лосося

Лиза
Ученые обнаружили в ядовитой пещере огромную многоножку: миллионы лет под землей Ученые обнаружили в ядовитой пещере огромную многоножку: миллионы лет под землей

В древней пещере Мовиле ученые нашли весьма необычных существ

Популярная механика
Евгений Гришковец: Если бы мне пришлось сдавать ЕГЭ, я бы не окончил школу Евгений Гришковец: Если бы мне пришлось сдавать ЕГЭ, я бы не окончил школу

Писатель Евгений Гришковец рассказывает, как жить с дислексией

СНОБ
Выдает желаемое! Выдает желаемое!

Яна Рудковская – человек безграничного оптимизма

Grazia
Эксклюзив Cosmo: интервью с Джеммой Чан — новой посланницей L’Oréal Paris Эксклюзив Cosmo: интервью с Джеммой Чан — новой посланницей L’Oréal Paris

Что вдохновляет Джемму Чан, что придает ей уверенности?

Cosmopolitan
Каждый приём пищи – это тренировка новых полезных привычек Каждый приём пищи – это тренировка новых полезных привычек

Эксперт объясняет, как питаться вкусно, разнообразно и правильно

Худеем правильно
Запуск десятилетия? Какой получилась игра Cyberpunk 2077 (обзор Esquire) Запуск десятилетия? Какой получилась игра Cyberpunk 2077 (обзор Esquire)

Почему Cyberpunk 2077 — это один из лучших релизов года, который мы ждали не зря

Esquire
Почему TikTok – это будущее онлайн-фитнеса Почему TikTok – это будущее онлайн-фитнеса

Инфлюенсеры TikTok считают, что платформа идеальна для популяризации спорта

GQ
«Атлант, что не расправил плечи»: на Netflix вышел черно-белый шедевр Дэвида Финчера «Манк» «Атлант, что не расправил плечи»: на Netflix вышел черно-белый шедевр Дэвида Финчера «Манк»

«Манк» — биографическая драма Дэвида Финчера о Германе Манкевиче

Forbes
Лучшие фильмы 2020 года по версии Forbes Life Лучшие фильмы 2020 года по версии Forbes Life

Самые яркие кинематографические удачи 2020 года по версии киноведов

Forbes
57 м² 57 м²

Дизайнер Наталья Белугина оформила квартиру с панорамным видом на Москву

AD
Меняемся на работе Меняемся на работе

Мышление и развитие лидера в сложном мире

kiozk originals
Исследование: российский венчурный рынок вырос почти вдвое в 2020 году — до 21,9 млрд рублей Исследование: российский венчурный рынок вырос почти вдвое в 2020 году — до 21,9 млрд рублей

По данным РВК и PwC за полгода, рынок сократился — всё дело в методе подсчёта

VC.RU
Ученые синтезировали супергидрид европия с 54 атомами Ученые синтезировали супергидрид европия с 54 атомами

Ученые синтезировали и рассчитали некоторые физические свойства гидридов европия

N+1
Слонов посчитали со спутника Слонов посчитали со спутника

Точность работы алгоритма сравнима с человеческой

N+1
Как работают магазины без кассиров «Пятерочки» и «Азбуки вкуса» и сколько это стоит Как работают магазины без кассиров «Пятерочки» и «Азбуки вкуса» и сколько это стоит

Из чего складывается стоимость «магазинов будущего»

Forbes
Открыть в приложении