Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

20 вопросов Клаве Коке 20 вопросов Клаве Коке

Playboy «достал» певицу Клаву Коку занудными вопросами…

Playboy
Учителя йоги: система ценностей Учителя йоги: система ценностей

Опытные мастера рассказывают о своих правилах жизни

Yoga Journal
Почему некоторые постоянно опаздывают и что с этим делать Почему некоторые постоянно опаздывают и что с этим делать

Какие внутренние причины могут скрываться за неспособностью прийти вовремя

Psychologies
Пандемия и немного нервно. Кое-что о новой повседневности Пандемия и немного нервно. Кое-что о новой повседневности

Звучит банально, но — по возможности избегайте паники

СНОБ
Так, как хотела Так, как хотела

Лена Темникова — о принятии себя, ночных кошмарах и экспириенсе #безретуши

Glamour
Путешествие во времени Путешествие во времени

Планируете поездку на Кубу? Обязательно включите в нее несколько дней в Гаване

Grazia
Даже не пытайтесь слушать новый альбом The Weeknd в плохом настроении Даже не пытайтесь слушать новый альбом The Weeknd в плохом настроении

Хейтеры скажут, что Абель Тесфайе написал альбом в честь Беллы Хадид

GQ
Зеленый двор Зеленый двор

Палисадник около дома, который по силам каждому

Seasons of life
Как найти программу, которая тормозит компьютер? Как найти программу, которая тормозит компьютер?

Что делать, если ОС начинает тормозить без видимой на то причины?

CHIP
Конечно, Боря! Конечно, Боря!

О спорте на экране и в жизни, профессиональных амбициях и своем амплуа

OK!
Время девы. Весеннее небо Время девы. Весеннее небо

Весна — лучшее время для наблюдения созвездия Девы

Наука и жизнь
Самые полезные и самые вредные продукты — знай врагов и друзей в лицо Самые полезные и самые вредные продукты — знай врагов и друзей в лицо

Почему одни продукты лучше выбросить, а другие — включить в ежедневный рацион

Cosmopolitan
Весна в заповедной степи Весна в заповедной степи

Не по дням, а по часам в застывшие природные «апартаменты» вливается свет

Наука и жизнь
Нет ни либерала, ни фундаменталиста. Продолжение полемики Артема Нарышкина и Александра Дворкина о расколе в РПЦ Нет ни либерала, ни фундаменталиста. Продолжение полемики Артема Нарышкина и Александра Дворкина о расколе в РПЦ

Фундаментальные вопросы о представлении христианского мировоззрения

СНОБ
Сумо: весомая статья о японской борьбе Сумо: весомая статья о японской борьбе

Чтобы быть спортсменом, совсем необязательно беспокоиться о красоте своего тела

Maxim
Нейтронные звезды могут иметь странные «сердца» Нейтронные звезды могут иметь странные «сердца»

Результат эксперимента может объяснить, что происходит внутри нейтронных звезд

Популярная механика
Маленькие люди уходят вдаль Маленькие люди уходят вдаль

Рассказ писательницы Майи Кучерской

Grazia
Одной нагой здесь Одной нагой здесь

Отправьтесь на один из этих нудистских пляжей

GQ
Магнитные поля галактик: что это такое Магнитные поля галактик: что это такое

Обычно магнитные поля ассоциируют с планетами и звездами

Популярная механика
Сколько стоят «путинские каникулы» Сколько стоят «путинские каникулы»

«Путинские каникулы» замедлят экономический рост в 2020 году

Forbes
Золотые мили. Первое поколение Porsche Cayenne Золотые мили. Первое поколение Porsche Cayenne

Стоит ли сейчас покупать Porse Cayenne?

4x4 Club
Разговор на чистоту Разговор на чистоту

Важные вопросы по очищению кожи лица

Yoga Journal
«Подушка безопасности — это не про малый бизнес»: почему небольшие проекты переносят пандемию тяжелее всех «Подушка безопасности — это не про малый бизнес»: почему небольшие проекты переносят пандемию тяжелее всех

Большинство энтузиастов, которые создают немассовый продукт, уйдут с рынка

Forbes
Вячеслав Малежик, Фёдор Добронравов и другие артисты, которые пережили инсульт Вячеслав Малежик, Фёдор Добронравов и другие артисты, которые пережили инсульт

Рассказываем о знаменитостях, которым пришлось услышать страшный диагноз

Cosmopolitan
Потерянные деньги: почему женщины меньше инвестируют и как это исправить Потерянные деньги: почему женщины меньше инвестируют и как это исправить

Мировая финансовая индустрия теряет 700 млрд, не привлекая женскую аудиторию

Forbes
Страшная сказка про Холокост: с кем воюет Аль Пачино в сериале «Охотники» Страшная сказка про Холокост: с кем воюет Аль Пачино в сериале «Охотники»

Что хотел сказать автор своим жестоким комиксом про ужасы Второй мировой

Forbes
Кристиан Бэйл сыграет злодея в фильме Marvel «Тор. Любовь и гром». Соцсети в восторге Кристиан Бэйл сыграет злодея в фильме Marvel «Тор. Любовь и гром». Соцсети в восторге

Четвертый фильм о Торе выйдет 5 ноября 2021 года

Esquire
Владимир Мишуков: «Деньги должны знать свое место» Владимир Мишуков: «Деньги должны знать свое место»

Владимир Мишуков о том, каково это – после перерыва возвращаться в профессию

Grazia
Максим Виторган: брак с Ксенией Собчак, звёздные роли и взрослые дети Максим Виторган: брак с Ксенией Собчак, звёздные роли и взрослые дети

В последние годы Максим Виторган многими воспринимался как муж Собчак

Cosmopolitan
Девон, Англия Девон, Англия

Теперь в этих топях заброшенный эльфийский лес

Maxim
Открыть в приложении