Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Правила жизни Правила жизни

Правила жизни величайшего актера Кирка Дугласа

Playboy
Ревизия наследия Медведева: правительство пересмотрит план облагать пошлиной посылки дороже €20 Ревизия наследия Медведева: правительство пересмотрит план облагать пошлиной посылки дороже €20

Следует ли продолжать понижение беспошлинного порога на посылки из AliExpress

Forbes
Елена Николаева: «Я нашла свою идеальную форму и будто замерла в ней» Елена Николаева: «Я нашла свою идеальную форму и будто замерла в ней»

Елена Николаева — о семье, штопке и фирменном способе соления лосося

Худеем правильно
10 отличных сериалов на Netflix для запойного просмотра 10 отличных сериалов на Netflix для запойного просмотра

Пришло время посмотреть все сериалы, которые пылились в списке must-see

Esquire
Няни поделились страшными секретами семей, в которых они работали Няни поделились страшными секретами семей, в которых они работали

Из этих жутких историй можно написать целый роман

Cosmopolitan
Ужас Амитвилля и кукла Аннабель: самые страшные дела Эда и Лоррейн Уоррен Ужас Амитвилля и кукла Аннабель: самые страшные дела Эда и Лоррейн Уоррен

Супруги Уоррены, пожалуй, самые известные исследователи паранормального в мире

Cosmopolitan
Ловко обманула Ловко обманула

Врать нехорошо, внушали нам с детства

Лиза
Как и с кем живут бывшие мужья Аллы Пугачевой Как и с кем живут бывшие мужья Аллы Пугачевой

За плечами российской Примадонны 5 браков и 2 венчания

Cosmopolitan
«Я пообещал себе жить честно» «Я пообещал себе жить честно»

Марк Богатырёв о новой жизни и о том, почему не хочет быть хорошим для всех

OK!
Джордан Роуз Фрай: «Какой смысл в жизни без авантюр?!» Джордан Роуз Фрай: «Какой смысл в жизни без авантюр?!»

Американка Джордан Роуз Фрай о том, как ей дались съемки откровенных сцен

Grazia
Двое на одного Двое на одного

Женщины и мужчины все еще обращаются с детьми по-разному, и нередко это полезно

Maxim
Работающая мама и школьник на карантине: уроки выживания Работающая мама и школьник на карантине: уроки выживания

Как организовать дистанционное обучения ребенка, когда самой нужно работать

Forbes
Биолог на Марсе Биолог на Марсе

Первый неамериканский марсоход: Rosalind Franklin в поисках воды и жизни

Популярная механика
Почему некоторые постоянно опаздывают и что с этим делать Почему некоторые постоянно опаздывают и что с этим делать

Какие внутренние причины могут скрываться за неспособностью прийти вовремя

Psychologies
Личная инициатива Личная инициатива

Любовь к себе – насколько она важна и опасна одновременно

Grazia
Правила тонировки — 2020: штрафы, нюансы, методы проверки Правила тонировки — 2020: штрафы, нюансы, методы проверки

Какие существуют способы тонировки, можно ли попасть под арест за темные стекла

РБК
Понять и простить: нарциссы в социальных сетях Понять и простить: нарциссы в социальных сетях

Считается, что социальные сети — идеальная среда для нарциссов

Psychologies
Лучшие ноутбуки для видеомонтажа 2020: делаем ролики на раз, два, три Лучшие ноутбуки для видеомонтажа 2020: делаем ролики на раз, два, три

Модели, которые с легкостью справится с процессом создания видеороликов

CHIP
«Конструктор» за $1,2 млн: кто и как зарабатывает на советском наследии «Конструктор» за $1,2 млн: кто и как зарабатывает на советском наследии

Какие советские артефакты покупают коллекционеры и музеи

Forbes
Вне системы Вне системы

Актриса Ольга Сутулова в профессии набирает и набирает обороты

OK!
Тарелка молодости Тарелка молодости

Споры об антивозрастном питании – сейчас самая популярная тема

Домашний Очаг
Чувство стиля Чувство стиля

Загородный дом в Калининграде в стиле американская классика

SALON-Interior
Наш «Секс в большом городе»: героини «Бальзаковского возраста» тогда и сейчас Наш «Секс в большом городе»: героини «Бальзаковского возраста» тогда и сейчас

Как сейчас выглядят героини сериала «Бальзаковский возраст, или Все мужики сво…»

Cosmopolitan
Гибкая диета Гибкая диета

Основной принцип флекситарианской диеты – никаких жестких органичений

Лиза
Арам Мнацаканов Арам Мнацаканов

Интервью с ресторатором и основателем Probka family Арамом Мнацакановым

Собака.ru
Как фирма однокурсника Путина стала крупнейшей юридической компанией России Как фирма однокурсника Путина стала крупнейшей юридической компанией России

Фирма «Егоров, Пугинский, Афанасьев и партнеры» была небольшим адвокатским бюро

Forbes
Кто твой номер один: нумерология расскажет тебе, с кем стоит встречаться Кто твой номер один: нумерология расскажет тебе, с кем стоит встречаться

Давай вычислим, кто ты на самом деле!

Cosmopolitan
Серые крысы распознали голод сородичей по запаху и добыли им еду Серые крысы распознали голод сородичей по запаху и добыли им еду

Серые крысы (Rattus norvegicus) по запаху понимают, кто из их сородичей голоден

N+1
«Английский пот»: загадочная средневековая эпидемия, унесшая тысячи жизней «Английский пот»: загадочная средневековая эпидемия, унесшая тысячи жизней

В XVI веке достать маски и дезинфицирующие средства было особенно трудно

Maxim
На колёсах: как появился автомобиль На колёсах: как появился автомобиль

Автомобиль — одно из самых важных изобретений человечества

Популярная механика
Открыть в приложении