Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Шестое поколение Шестое поколение

За сетями 5G уже проступают контуры следующего поколения связи

Популярная механика
Все, что вам нужно знать об операторе-постановщике Давиде Хайзникове Все, что вам нужно знать об операторе-постановщике Давиде Хайзникове

Давид Хайзников снял первый российский проект Apple об Эрмитаже

GQ
Наука о блондинках и брюнетках: кто умнее? Наука о блондинках и брюнетках: кто умнее?

Светловолосые от рождения вовсе находятся на грани вымирания

Популярная механика
Принуждение к отдыху. Зачем Владимир Путин велел всем не работать Принуждение к отдыху. Зачем Владимир Путин велел всем не работать

Неважно, кто будет платить зарплаты, когда речь идет о великой русской мечте

СНОБ
«Партизанская» война: как женщины соперничают при помощи одежды «Партизанская» война: как женщины соперничают при помощи одежды

В коллективе никуда не деться от конкуренции

Psychologies
Несем потери: причины выпадения волос у женщин и как с ними бороться Несем потери: причины выпадения волос у женщин и как с ними бороться

Почему выпадают волосы у женщин?

Cosmopolitan
Что делать, если не работает тачпад на ноутбуке? Что делать, если не работает тачпад на ноутбуке?

Разбираемся в причинах поломки тачпада

CHIP
Желтые ногти, рак кожи и еще 5 мифов о вреде геля-лака развенчивает эксперт Желтые ногти, рак кожи и еще 5 мифов о вреде геля-лака развенчивает эксперт

Откуда тенденция отказываться от долгосрочного покрытия

Cosmopolitan
7 самых ярких звезд искусственного интеллекта 7 самых ярких звезд искусственного интеллекта

Вещи вокруг нас стремительно умнеют, набираясь искусственного интеллекта

Русский репортер
10 примеров ядовитой еды, которой мы не прочь перекусить 10 примеров ядовитой еды, которой мы не прочь перекусить

​​​​Мы нередко можем услышать, что тот или иной вид пищи – яд

Популярная механика
Дисней, Миядзаки, Петров и еще 5 мультипликаторов-революционеров Дисней, Миядзаки, Петров и еще 5 мультипликаторов-революционеров

Художники-аниматоры — настоящие экспериментаторы и творцы

РБК
Риск дефолта российского госдолга вырос до максимума за четыре года Риск дефолта российского госдолга вырос до максимума за четыре года

Стоимость страховки от дефолта России выросла в пять раз

Forbes
Mercedes Путина и болид Шумахера: что продают на аукционах Mercedes Путина и болид Шумахера: что продают на аукционах

Автомобили с крупнейших аукционных площадок

РБК
Как оставаться в форме даже в режиме самоизоляции. Интервью с тренером Павлом Кондрашевым Как оставаться в форме даже в режиме самоизоляции. Интервью с тренером Павлом Кондрашевым

Павел Кондрашев о том, как поддерживать форму и иммунитет в изоляции

СНОБ
8 марта здорового человека: как Google, Netflix и другие бренды отпраздновали «женский день» 8 марта здорового человека: как Google, Netflix и другие бренды отпраздновали «женский день»

Международный женский день — праздник, посвященный достижениям женщин

Forbes
Машинное обучение помогло диагностировать рак по ДНК микроорганизмов в крови Машинное обучение помогло диагностировать рак по ДНК микроорганизмов в крови

Этот метод диагностирования универсален для всех типов рака

N+1
Марблинг, геокэшинг и еще 5 новых занятий для счастья Марблинг, геокэшинг и еще 5 новых занятий для счастья

Новые модные хобби, которые помогут снять стресс и пережить неожиданные эмоции

РБК
Главный инфлюенсер мира: как ВОЗ за три дня обошла самого популярного «тиктокера» Главный инфлюенсер мира: как ВОЗ за три дня обошла самого популярного «тиктокера»

Звезды и спортсмены делятся видео, на которых моют руки в течение 20 секунд

Forbes
Программа действий для безболезненного переезда из одной квартиры в другую Программа действий для безболезненного переезда из одной квартиры в другую

Мы подробно расписали, как виртуозно и с огоньком переехать на новое место

Maxim
Как и с чем носить свитер оверсайз: 6 модных вариантов Как и с чем носить свитер оверсайз: 6 модных вариантов

Руководство по стилизации свитера оверсайз

Cosmopolitan
Даешь молодежь! Даешь молодежь!

Встречайте новых звезд, чьи имена скоро будут у всех на устах

Grazia
10 главных научных трендов следующего десятилетия 10 главных научных трендов следующего десятилетия

Что ждёт тебя помимо старения и приступов ностальгии в ближайшее время

Maxim
Моментальное решение задач и почти абсолютная защита данных: как применяют квантовые технологии и в чём их недостатки Моментальное решение задач и почти абсолютная защита данных: как применяют квантовые технологии и в чём их недостатки

Обзор современных разработок и компаний, которые создают квантовые компьютеры

VC.RU
Что будет если съесть заплесневевшие, подгоревшие, засахарившиеся, залежавшиеся (и т.д.) продукты Что будет если съесть заплесневевшие, подгоревшие, засахарившиеся, залежавшиеся (и т.д.) продукты

Чем черевата показная всеядность

Maxim
Золотые мили. Первое поколение Porsche Cayenne Золотые мили. Первое поколение Porsche Cayenne

Стоит ли сейчас покупать Porse Cayenne?

4x4 Club
Маленькая хищница: как расплачиваются юные разлучницы Маленькая хищница: как расплачиваются юные разлучницы

Молодая любовница стареющего мужчины - отрицательный фольклорный персонаж

Cosmopolitan
Джастин Тимберлейк и Анна Кендрик о фильме Джастин Тимберлейк и Анна Кендрик о фильме

Эксклюзивное интервью Джастина Тимберлейка и Анны Кендрик о новом фильме

Cosmopolitan
Кредитка доверия Кредитка доверия

Рассказываем, как ты можешь заработать на кредитной карте

Cosmopolitan
«Лживый, нечестный подонок и вор»: почему создателя умного рюкзака обвинили в растрате $800 000 с краудфандинга «Лживый, нечестный подонок и вор»: почему создателя умного рюкзака обвинили в растрате $800 000 с краудфандинга

Как Дуглас Монахан смог нажиться с помощью краудфандинговой компании

Forbes
#пронауку: почему мы теряем время и ничего не успеваем #пронауку: почему мы теряем время и ничего не успеваем

Почему при наличии лишних ресурсов эффективность снижается и как этого избежать

РБК
Открыть в приложении