Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Грегори Леннон: «Асана — инструмент для исследования конкретных вопросов» Грегори Леннон: «Асана — инструмент для исследования конкретных вопросов»

Грегори Леннон, преподаватель Виньяса-йоги, стаж 20 лет

Yoga Journal
Бой за звание самой-самой между 32 главными красавицами мировой истории Бой за звание самой-самой между 32 главными красавицами мировой истории

Красивая женщина — двигатель прогресса

Maxim
Я больше ничего не делегирую, и это серьезно облегчило мою жизнь Я больше ничего не делегирую, и это серьезно облегчило мою жизнь

Лучший способ выполнять дела — делать их самостоятельно

Psychologies
Что происходит с Полярной звездой Что происходит с Полярной звездой

Результаты измерений звезды массы разными методами существенно отличаются

Популярная механика
О хостах и людях: первые впечатления от третьего сезона «Мира Дикого Запада» (без спойлеров) О хостах и людях: первые впечатления от третьего сезона «Мира Дикого Запада» (без спойлеров)

В третьем сезоне «Мира Дикого Запада» местом действия становится Лос-Анджелес

Esquire
Само совершенство Само совершенство

Квартира в самом сердце Северной столицы с вневременным дизайн–концептом

SALON-Interior
Какой лодочный мотор лучше выбрать: 6 оптимальных вариантов для вашей ПВХ лодки Какой лодочный мотор лучше выбрать: 6 оптимальных вариантов для вашей ПВХ лодки

Какой мотор больше подойдет для вашей лодки?

CHIP
Тепло под ногами: как эффективно обогреть любую площадь Тепло под ногами: как эффективно обогреть любую площадь

Трудно представить себе современное жильё без отопления

Популярная механика
Почему состоятельные люди оставляют детей без наследства Почему состоятельные люди оставляют детей без наследства

Почему многие звезды и бизнесмены не завещают детям своё состояние

РБК
Элио Гуариско: «Когда мы практикуем йогу, у нас должно быть понимание присутствия» Элио Гуариско: «Когда мы практикуем йогу, у нас должно быть понимание присутствия»

Элио Гуариско — о том, как практикует йогу и что главное в тибетских текстах

Yoga Journal
«Суператлет, как Роналду»: как Овечкин стал главной маркетинговой звездой мирового хоккея «Суператлет, как Роналду»: как Овечкин стал главной маркетинговой звездой мирового хоккея

Овечкин входит в рейтинг самых высокооплачиваемых российских спортсменов 2010-х

Forbes
Как совмещать йогу и силовые тренировки Как совмещать йогу и силовые тренировки

Возможно ли одновременно развивать силу и гибкость?

Yoga Journal
Минисериал на выходные: какими получились «Разрабы» о мрачном мире будущего Минисериал на выходные: какими получились «Разрабы» о мрачном мире будущего

В марте на Hulu вышли «Разрабы» — мрачный сериал о Силиконовой долине

Esquire
Как и с кем живут бывшие мужья Аллы Пугачевой Как и с кем живут бывшие мужья Аллы Пугачевой

За плечами российской Примадонны 5 браков и 2 венчания

Cosmopolitan
Стритвир умер, да здравствует стритвир: 9 марок уличной одежды, за которыми стоит следить Стритвир умер, да здравствует стритвир: 9 марок уличной одежды, за которыми стоит следить

Молодые проекты переосмысливают околоспортивную концепцию стритвира

Esquire
Подключение проходного выключателя: как это делать правильно? Подключение проходного выключателя: как это делать правильно?

Объясняем подробно со схемами и примерами, как подключить проходной выключатель

CHIP
На Луну от вируса. Осталось ли в мире что-то важнее эпидемий На Луну от вируса. Осталось ли в мире что-то важнее эпидемий

Судя по новостям, цивилизация на Земле рискует закончиться бесславным образом

СНОБ
Наука и жизнь в начале XX века Наука и жизнь в начале XX века

О чем писали в журнале 100 лет назад

Наука и жизнь
Карты моей души: как арт-терапия помогает в работе с зависимостями Карты моей души: как арт-терапия помогает в работе с зависимостями

Работа с метафорическими или ассоциативными картами — один из необычных методов

Psychologies
Мужчинам о цветах: хитрости, смыслы, зачем они вообще Мужчинам о цветах: хитрости, смыслы, зачем они вообще

Как собрать красивый букет и не ошибиться?

Maxim
Запчасти подорожают в июне. Что будет с ОСАГО и каско Запчасти подорожают в июне. Что будет с ОСАГО и каско

Участники страхового рынка прогнозируют рост стоимости полисов каско

РБК
Хвост малой косатки оказался самым эффективным Хвост малой косатки оказался самым эффективным

Американские ученые смоделировали движение хвостового плавника

N+1
Путин обсудил с Воложем и Богуславским новое технологическое предпринимательство Путин обсудил с Воложем и Богуславским новое технологическое предпринимательство

Президент России Владимир Путин встретился с российскими инвесторами

Forbes
Изнасилование несовершеннолетней, смерть жены и побег: жизнь Романа Полански Изнасилование несовершеннолетней, смерть жены и побег: жизнь Романа Полански

Главные скандалы Романа Полански и рассказываем, почему его не любят в Голливуде

Cosmopolitan
Ужасный конец или ужас без конца: почему развал сделки ОПЕК+ был неизбежен Ужасный конец или ужас без конца: почему развал сделки ОПЕК+ был неизбежен

Сдерживание добычи бессмысленно

Forbes
Вызывает ли зависимость шоколад: 7 фактов о сладком Вызывает ли зависимость шоколад: 7 фактов о сладком

Насколько питателен шоколад? Вызывает ли он привыкание?

Популярная механика
Тройная броня российских нефтяников: как Россия подготовилась к ценовой войне с Саудовской Аравией Тройная броня российских нефтяников: как Россия подготовилась к ценовой войне с Саудовской Аравией

Нефтедобывающие компании России способны пережить кратковременную ценовую войну

Forbes
GMail для биткоина: как миллиардер-анархист создал главную криптобиржу США GMail для биткоина: как миллиардер-анархист создал главную криптобиржу США

Брайан Армстронг построил криптобиржу как главное хранилище цифровых активов

Forbes
Позвони мне, позвони. Почему триллер «Колл-центр» может стать главным российским сериалом года Позвони мне, позвони. Почему триллер «Колл-центр» может стать главным российским сериалом года

Почему сериал «Колл-центр» действительно стоит посмотреть

Forbes
Как устроен женский футбол в России и в мире Как устроен женский футбол в России и в мире

Разбираемся в главных проблемах женского футбола

GQ
Открыть в приложении