Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как создать прикольный мем онлайн прямо сейчас Как создать прикольный мем онлайн прямо сейчас

Создайте себе собственную коллекцию мемов - это делается элементарно

CHIP
От чего нейросети избавят мир От чего нейросети избавят мир

О каких вещах можно будет забыть в ближайшем будущем благодаря нейросетям?

Популярная механика
Марблинг, геокэшинг и еще 5 новых занятий для счастья Марблинг, геокэшинг и еще 5 новых занятий для счастья

Новые модные хобби, которые помогут снять стресс и пережить неожиданные эмоции

РБК
В петроглифе из Ирана разглядели человека-богомола В петроглифе из Ирана разглядели человека-богомола

Зачем доисторические художники рисовали насекомых?

N+1
Хибла Герзмава: «Певица должна быть здоровой и счастливой» Хибла Герзмава: «Певица должна быть здоровой и счастливой»

Певица с уникальным сопрано о своём голосе и умении быть счастливой

Здоровье
Дима Рыбин: про сексуальное воспитание детей в XXI веке и не только Дима Рыбин: про сексуальное воспитание детей в XXI веке и не только

«Смысл говорить, что порно – это жанр живописи, а секс – название сериала?»

Playboy
Весело живем Весело живем

Знаменитости нередко попадают впросак

Добрые советы
11 причин задуматься, нужны ли вы мужчине 11 причин задуматься, нужны ли вы мужчине

Казалось, у вас все идет хорошо, и вдруг он пропадает без объяснений

Psychologies
Темный цвет волос у мужчин связали с ранним пубертатом и короткой жизнью Темный цвет волос у мужчин связали с ранним пубертатом и короткой жизнью

Судя по всему, эта корреляция работает для обоих полов

N+1
Голый Тимоти Шаламе в ванной, Леа Сейду в форме с пистолетом: разбираем постер нового фильма Уэса Андерсона «Французский диспетчер» Голый Тимоти Шаламе в ванной, Леа Сейду в форме с пистолетом: разбираем постер нового фильма Уэса Андерсона «Французский диспетчер»

От отсылок к журналу The New Yorker до побочных сюжетных линий и классики кино

Esquire
Замкнутый ребенок: как его раскрепостить (и надо ли) Замкнутый ребенок: как его раскрепостить (и надо ли)

Что делать, если ребенок избегает общения с посторонними и боится выступать

Psychologies
Какие хоккейные матчи стоит пересмотреть Какие хоккейные матчи стоит пересмотреть

Главные игры за историю хоккея

GQ
Почему не стоит писать в Сети о проблемах детей Почему не стоит писать в Сети о проблемах детей

Стоит ли родителям спрашивать совета по воспитанию в Сети

Psychologies
Расплата «бизнес-олигархов» Расплата «бизнес-олигархов»

Акулам немецкого капитализма тоже пришлось предстать перед судом

Дилетант
«Стрессов меньше не стало, просто теперь я их не заедаю» «Стрессов меньше не стало, просто теперь я их не заедаю»

История похудения

Худеем правильно
Конец света: почему ксенон вымирает, а галогенки будут жить вечно Конец света: почему ксенон вымирает, а галогенки будут жить вечно

Вместе с самими автомобилями эволюционируют их комплектующие

Популярная механика
Пережившие послеродовое психическое расстройство женщины не захотели рожать еще Пережившие послеродовое психическое расстройство женщины не захотели рожать еще

Какие причины могут повлиять на желание женщины рожать детей

N+1
Какие уроки усвоил владелец закрывшейся мастерской по ремонту техники и почему теперь чинит iPhone на выезде Какие уроки усвоил владелец закрывшейся мастерской по ремонту техники и почему теперь чинит iPhone на выезде

Предприниматель рассказал об особенностях бизнеса по ремонту техники

VC.RU
Пенная вечеринка: как устроена пожарная машина Пенная вечеринка: как устроена пожарная машина

Как устроена пожарная машина: в России есть ГОСТы, в которых прописано все

Популярная механика
Принцы с телефонами: как члены королевских семей относятся к гаджетам? Принцы с телефонами: как члены королевских семей относятся к гаджетам?

Членам королевской семьи не чужды простые человеческие радости

Cosmopolitan
Ошибка Тинькова: как работает американский налог, при расчете которого российский миллиардер ошибся в 3333 раза Ошибка Тинькова: как работает американский налог, при расчете которого российский миллиардер ошибся в 3333 раза

Exit tak — что это за налог и как мог ошибиться Олег Тиньков?

Forbes
«Будущее завит от принципиальности Павла Дурова»: что будет с криптовалютой Telegram после запрета в США «Будущее завит от принципиальности Павла Дурова»: что будет с криптовалютой Telegram после запрета в США

Команда Павла Дурова назвала «разочаровывающим» решение суда в Нью-Йорке

Forbes
Мы все немного дураки? Мы все немного дураки?

Глупость – часть человеческой природы!

Psychologies
Российские биофизики предложили получать полимерно-белковые полотна электропрядением Российские биофизики предложили получать полимерно-белковые полотна электропрядением

Российские ученые разработали способ производства полимерно-белковых полотен

N+1
9 изменений после менопаузы — что происходит со здоровьем женщины 9 изменений после менопаузы — что происходит со здоровьем женщины

Менопауза — период, когда нужно прислушиваться к своему телу

Cosmopolitan
Как медицинские макси повлияли на модную индустрию Как медицинские макси повлияли на модную индустрию

Пока одни бренды заботятся о здоровье граждан, кто-то пытается нажиться

GQ
Энтеротипы: что это такое и как правильно питаться при каждом из них Энтеротипы: что это такое и как правильно питаться при каждом из них

Почему одни девушки не могут жить без сладкого, а другие выбирают стейки?

Cosmopolitan
«Заражение» и еще 8 фильмов, которые предсказали будущее «Заражение» и еще 8 фильмов, которые предсказали будущее

«Заражение» Стивена Содерберга стало самым скачиваемым фильмом

РБК
Стая товарищей Стая товарищей

Рассказ Елены Первушиной

Наука и жизнь
Переплетено Переплетено

Примета времени: источником бьюти-трендов становится даже экоактивизм

Glamour
Открыть в приложении