Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Засиделись: 6 верных признаков того, что вам не хватает движения Засиделись: 6 верных признаков того, что вам не хватает движения

Сидячий образ жизни так же опасен, как курение и злоупотребление алкоголем

Cosmopolitan
На счастье На счастье

Модный и уютный интерьер в светлых тонах с яркими акцентами

SALON-Interior
Дед Савенко. На смерть Эдуарда Лимонова Дед Савенко. На смерть Эдуарда Лимонова

Без него современную Россию «невозможно представить и еще труднее понять»

СНОБ
Хорошее время для экспериментов Хорошее время для экспериментов

В условиях изоляции на психику человека влияет комплекс факторов

N+1
10 отличных сериалов, которые вы могли пропустить — на любой вкус 10 отличных сериалов, которые вы могли пропустить — на любой вкус

Достойные телешоу, на которые точно стоит обратить внимание

Esquire
Полезные свойства чая — снижаем вес, молодеем и повышаем иммунитет Полезные свойства чая — снижаем вес, молодеем и повышаем иммунитет

Может ли чай повысить иммунитет и замедлить процессы старения?

Cosmopolitan
Ни сна, ни отдыха измученной душе Ни сна, ни отдыха измученной душе

Может ли принудительное лишение сна помочь при депрессии?

N+1
В Эрмитаж приняли на работу искусственный интеллект В Эрмитаж приняли на работу искусственный интеллект

Эрмитаж и компания КРОК запустили для работы в музее виртуального помощника

Популярная механика
Облачный атлас Облачный атлас

Хозяева этой московской квартиры окружены облаками

AD
Алекс Дубас: «Отношения людей — это обмен поступками» Алекс Дубас: «Отношения людей — это обмен поступками»

Алекс Дубас рассказывает о своей новой книге и любви к людям

Добрые советы
Не жалея ни женщин, ни детей Не жалея ни женщин, ни детей

Процесс по делу об айнзацгруппах в Нюрнберге

Дилетант
Список чтения на карантин: 10 книг, которые могут помочь пережить и осознать новые странные времена Список чтения на карантин: 10 книг, которые могут помочь пережить и осознать новые странные времена

Список актуальных и захватывающих внимание книг на самые разные темы

Esquire
Физики послушали лопающийся мыльный пузырь Физики послушали лопающийся мыльный пузырь

Физики измерили звуковое давление лопающихся мыльных пузырей

N+1
11 фактов об альбоме Metallica «Master of Puppets» 11 фактов об альбоме Metallica «Master of Puppets»

Невозможно поверить, что главной металлической пластинке уже более тридцати лет!

Maxim
Что такое апсайклинг и почему вам стоит узнать о нем больше Что такое апсайклинг и почему вам стоит узнать о нем больше

Апсайклинг – один из способов проявить свою осознанность

GQ
Какие футбольные матчи стоит пересмотреть Какие футбольные матчи стоит пересмотреть

Подборка самых эмоциональных футбольных матчей

GQ
Возмездие через годы Возмездие через годы

Самая успешная операция по ликвидации нацистов за всю историю «Моссада»

Дилетант
Слайд-шоу Слайд-шоу

Новые разработки и прототипы

Популярная механика
Как правильно гладить вещи, чтобы убить микробы Как правильно гладить вещи, чтобы убить микробы

Что такое правильная глажка и почему она так важна

Cosmopolitan
Святая простота. Почему так привлекателен мир без правил Святая простота. Почему так привлекателен мир без правил

Теперь система вступает на путь прямых и примитивных ответов на любые вызовы

СНОБ
Со скоростью Светы Со скоростью Светы

Светлана Ходченкова о женском соперничестве и дружбе с мужчинами

Cosmopolitan
Как сестра Ким Кардашьян устроила бум продаж в российском интернет-магазине Как сестра Ким Кардашьян устроила бум продаж в российском интернет-магазине

Откройте Instagram: там вы обнаружите актуальные модные тренды

Forbes
За стеклом За стеклом

Пора разбирать хлам на балконе и готовиться к лету!

Лиза
Один + один Один + один

Какие бьюти-средства усилят действие друг друга, а какие лучше не сочетать

Лиза
История в машинах: чем запомнился 1991 год История в машинах: чем запомнился 1991 год

1991 год — августовский путч, распад автопрома и легендарная «Волга»

РБК
Что общего у космонавтов и видеоблогеров Что общего у космонавтов и видеоблогеров

Как разговаривать с ребенком, который мечтает о модной профессии

СНОБ
Не у станка: какой бизнес в России создают женщины Не у станка: какой бизнес в России создают женщины

Женщинам в России принадлежат порядка 30% компаний малого и среднего бизнеса

Forbes
Помоги пушистику! Простые способы помочь бездомным животным Помоги пушистику! Простые способы помочь бездомным животным

Чем лучше подкормить бездомного пушистика и как найти нового хозяина?

Cosmopolitan
Современники австралопитеков сочетали прямохождение с любовью к древолазанию Современники австралопитеков сочетали прямохождение с любовью к древолазанию

Пока одни родственники людей ходили на двух ногах, другие лазали по деревьям

N+1
В ритме сердца В ритме сердца

Автор множества знаменитых хитов о своей семье и мечтах, которые сбываются

OK!
Открыть в приложении