Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Используй ложку и телефон: 20 способов доставить себе удовольствие Используй ложку и телефон: 20 способов доставить себе удовольствие

Двадцать разных способов мастурбации на любой вкус и цвет

Cosmopolitan
Куда направить стопы Куда направить стопы

Плоскостопие, на первый взгляд, кажется безобидным нарушением

Лиза
Революция мобильности Революция мобильности

Какое будущее ждёт премиальные и люксовые автомобили в ближайшие годы

Robb Report
«Это гуманитарная катастрофа». Писатель Саша Филипенко о новой книге, посвященной проблеме детских домов в России «Это гуманитарная катастрофа». Писатель Саша Филипенко о новой книге, посвященной проблеме детских домов в России

Саша Филипеко — о своей новой книге, проблеме сиротства и детских домах

Forbes
Как не вестись на провокации Как не вестись на провокации

Как дать отпор провоцирующему ссору собеседнику?

Maxim
Взрослые игры Взрослые игры

Дом с двумя игровыми комнатами: одна для детей, а вторая — для их родителей

AD
И предали шпагу свою. Как наши этические компромиссы приблизили катастрофу И предали шпагу свою. Как наши этические компромиссы приблизили катастрофу

Как мы отступали от твердой буквы присяг, торжественных обещаний и кодексов

СНОБ
«Это просто отвратительно»: чем нам полезно это чувство? «Это просто отвратительно»: чем нам полезно это чувство?

Почему все люди испытывают одинаковое отвращение к некоторым вещам

Psychologies
Как мшанки прожили на Земле 500 миллионов лет: секрет долголетия Как мшанки прожили на Земле 500 миллионов лет: секрет долголетия

Какие эволюционные приобретения помогли мшанкам прожить на Земле много лет

Популярная механика
Совсем взрослый: почему после 40 лет для бизнесменов открываются новые горизонты Совсем взрослый: почему после 40 лет для бизнесменов открываются новые горизонты

Как возраст влияет на успех в бизнесе?

Forbes
Как правильно хотеть, чтобы добиться всего Как правильно хотеть, чтобы добиться всего

Без правильной цели невозможно ничего добиться и, главное, — стать счастливым

Forbes
7 зарубежных стендап-комиков, которые покорили российских зрителей 7 зарубежных стендап-комиков, которые покорили российских зрителей

Юмор понятен каждому независимо от места рождения

РБК
Восьмимесячные младенцы освоили служебные слова Восьмимесячные младенцы освоили служебные слова

Маленькие дети могут различить в языке служебные слова

N+1
«Замедлим распространение этой хрени»: как и зачем российский бизнес переходит на удаленку «Замедлим распространение этой хрени»: как и зачем российский бизнес переходит на удаленку

Почему нельзя работать в пижаме и зачем включать видео при созвонах?

Forbes
«Учеба «в бою» гораздо эффективнее любой теории» «Учеба «в бою» гораздо эффективнее любой теории»

Технологические стартапы — это интеллектуальная собственность нового типа

Forbes
«Это полностью изменит мир»: миллиардер Богуславский о том, как заработал $1 млрд на одной сделке, и грядущем перевороте в интернете «Это полностью изменит мир»: миллиардер Богуславский о том, как заработал $1 млрд на одной сделке, и грядущем перевороте в интернете

Леонид Богуславский: почему талантливые бизнесмены похожи на теннисистов

Forbes
Мания одевания Мания одевания

«У меня уже есть много вещей. Зачем мне еще?» – думаем мы и идем за покупками

Grazia
Лед на Меркурии назвали частично местным Лед на Меркурии назвали частично местным

Она образуется под действием солнечного ветра и высокой температуры

N+1
Помехи помешали нейронам кодировать информацию Помехи помешали нейронам кодировать информацию

Шум, который создают нейроны, могут мешать регистрировать слабые стимулы

N+1
Секреты фэншуй: какая одежда делает несчастливой — вещи с плохой энергетикой Секреты фэншуй: какая одежда делает несчастливой — вещи с плохой энергетикой

Фэншуй гласит: одежда, которую мы носим, обладает определенной энергетикой

Cosmopolitan
Ужасный конец или ужас без конца: почему развал сделки ОПЕК+ был неизбежен Ужасный конец или ужас без конца: почему развал сделки ОПЕК+ был неизбежен

Сдерживание добычи бессмысленно

Forbes
10 вариантов позднего ужина, которые помогут похудеть 10 вариантов позднего ужина, которые помогут похудеть

Есть продукты, которые не только можно, но и нужно есть на ночь

Cosmopolitan
Работники автосервисов рассказывают о 30 способах отъема денег у автовладельцев Работники автосервисов рассказывают о 30 способах отъема денег у автовладельцев

Чтоб не обманули в автосервисе, надо либо пешком ходить, либо делать все самому

Maxim
«Английский пот»: загадочная средневековая эпидемия, унесшая тысячи жизней «Английский пот»: загадочная средневековая эпидемия, унесшая тысячи жизней

В XVI веке достать маски и дезинфицирующие средства было особенно трудно

Maxim
Круче Джоли и Ди Каприо? Юные звезды, которые будут популярны в 2020 году Круче Джоли и Ди Каприо? Юные звезды, которые будут популярны в 2020 году

Кто из новоиспеченных звезд точно добьется высот в нынешнем году

Cosmopolitan
Полимер ждет строгих мер Полимер ждет строгих мер

Какие новые материалы придут на смену пластику

РБК
Арт-терапия Арт-терапия

Дизайн–дуэт Паломба вдохнул новую жизнь в старинное палаццо в Апулии

SALON-Interior
Один дома Один дома

В каком возрасте можно оставлять ребенка одного или отпускать в школу?

Лиза
Российские ученые приблизили воплощение «голубой мечты» авиастроителей Российские ученые приблизили воплощение «голубой мечты» авиастроителей

Ученые увеличили прочность лазерного сварного соединения алюминия и титана

Популярная механика
Один + один Один + один

Какие бьюти-средства усилят действие друг друга, а какие лучше не сочетать

Лиза
Открыть в приложении