Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Никон: крестьянин, патриарх, монах Никон: крестьянин, патриарх, монах

Особенности характера помогли Никону возвыситься

Дилетант
Почему сомневаться в себе нормально и как с этим жить в кризис Почему сомневаться в себе нормально и как с этим жить в кризис

Упадок сил, усталость от выбранного пути — частые ощущения даже в обычное время

РБК
Конец света: почему ксенон вымирает, а галогенки будут жить вечно Конец света: почему ксенон вымирает, а галогенки будут жить вечно

Вместе с самими автомобилями эволюционируют их комплектующие

Популярная механика
Один дома Один дома

В каком возрасте можно оставлять ребенка одного или отпускать в школу?

Лиза
Принуждение к отдыху. Зачем Владимир Путин велел всем не работать Принуждение к отдыху. Зачем Владимир Путин велел всем не работать

Неважно, кто будет платить зарплаты, когда речь идет о великой русской мечте

СНОБ
Упражнение на кольцах Упражнение на кольцах

Архитектор, ювелирный дизайнер и миллениал о творчестве, красоте и удовольствии

Robb Report
Внимание: опасность! 8 мест, где не стоит расплачиваться банковской картой Внимание: опасность! 8 мест, где не стоит расплачиваться банковской картой

Безналичная оплата стала явлением распространенным, но не всегда безопасным

Домашний Очаг
Как правильно хотеть, чтобы добиться всего Как правильно хотеть, чтобы добиться всего

Без правильной цели невозможно ничего добиться и, главное, — стать счастливым

Forbes
Голый Тимоти Шаламе в ванной, Леа Сейду в форме с пистолетом: разбираем постер нового фильма Уэса Андерсона «Французский диспетчер» Голый Тимоти Шаламе в ванной, Леа Сейду в форме с пистолетом: разбираем постер нового фильма Уэса Андерсона «Французский диспетчер»

От отсылок к журналу The New Yorker до побочных сюжетных линий и классики кино

Esquire
Сказка о царевне Сказка о царевне

Художница из Петербурга Юлдус Бахтиозина заставила Европу полюбить кокошники

Vogue
Не время сейчас! Не время сейчас!

Время пройтись по брендам, которые мы увидим в новом фильме бондианы

Robb Report
Магнитные поля галактик: что это такое Магнитные поля галактик: что это такое

Обычно магнитные поля ассоциируют с планетами и звездами

Популярная механика
Изнасилование несовершеннолетней, смерть жены и побег: жизнь Романа Полански Изнасилование несовершеннолетней, смерть жены и побег: жизнь Романа Полански

Главные скандалы Романа Полански и рассказываем, почему его не любят в Голливуде

Cosmopolitan
Аэрозольные частицы оказались источниками муравьиной кислоты в атмосфере Аэрозольные частицы оказались источниками муравьиной кислоты в атмосфере

Ученые сумели понаблюдать за процессами, происходящими в атмосферном аэрозоле

N+1
Знать, что я совершенство! Знать, что я совершенство!

Стоит ли мириться со всеми недостатками своей внешности

Grazia
Офис во время чумы: как организовать работу отдела на удаленке и не разорить компанию Офис во время чумы: как организовать работу отдела на удаленке и не разорить компанию

Какие подводные камни скрывает безобидный на первый взгляд режим работы из дома?

Forbes
Земля в иллюминаторе Земля в иллюминаторе

Российский космонавт-испытатель Олег Артемьев, штатный блогер Роскосмоса

Популярная механика
10 способов повысить работоспособность для страдающих СДВГ 10 способов повысить работоспособность для страдающих СДВГ

Способность к концентрации — мягко говоря, не самая сильная черта людей с СДВГ

Psychologies
Я перед вами чиста Я перед вами чиста

Героини «Татлера» все чаще выходят в свет без макияжа

Tatler
Владимир Гусев Владимир Гусев

Интервью с директором Русского музея

Собака.ru
Как на ладони: как выбрать и настроить телескоп Как на ладони: как выбрать и настроить телескоп

Если вы интересуетесь астрономией, то без домашнего телескопа не обойтись

Популярная механика
Как дочь фанатика-мормона из Айдахо стала профессором Кембриджа и любимой писательницей Гейтса и Обамы Как дочь фанатика-мормона из Айдахо стала профессором Кембриджа и любимой писательницей Гейтса и Обамы

Два года назад Тара Вестовер написала мемуары о жизни в семье мормонов

Forbes
На зарядку! На зарядку!

Как правильно выбрать пауэрбанк для гаджетов

Лиза
#пронауку: почему мы теряем время и ничего не успеваем #пронауку: почему мы теряем время и ничего не успеваем

Почему при наличии лишних ресурсов эффективность снижается и как этого избежать

РБК
Как виноматериалы спрячут в российском вине Как виноматериалы спрячут в российском вине

Называть вином напитки, сделанные с использованием виноматериалов, запретили

Forbes
«Нечем радоваться»: где найти энергию, чтобы стать счастливым «Нечем радоваться»: где найти энергию, чтобы стать счастливым

Наши эмоции напрямую зависят от состояния тела

Psychologies
Журналист Ронен Бергман: Роль спецслужб в управлении Израилем сравнима с ролью КГБ в СССР Журналист Ронен Бергман: Роль спецслужб в управлении Израилем сравнима с ролью КГБ в СССР

Как журналист собирал информацию об одной из самых засекреченных организаций

СНОБ
Коливинги, вход через крышу и PropTech: как мы будем жить через 50 лет Коливинги, вход через крышу и PropTech: как мы будем жить через 50 лет

В условиях самоизоляции «не выходить из дома» звучит как приговор

РБК
Возмездие через годы Возмездие через годы

Самая успешная операция по ликвидации нацистов за всю историю «Моссада»

Дилетант
Плагиат или совпадение: бывают ли случайности в моде Плагиат или совпадение: бывают ли случайности в моде

Как крупные бренды разбираются с обвинениями в плагиате

GQ
Открыть в приложении