Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Правила здорового сна: уберите от кровати гаджеты и яблоки Правила здорового сна: уберите от кровати гаджеты и яблоки

Удается ли вам спать достаточное количество часов?

Psychologies
Взлетаем под парусом Взлетаем под парусом

Добиться под парусом сумасшедших скоростей? Это легко

Популярная механика
9 питомцев, которым знаменитые музыканты посвятили песни 9 питомцев, которым знаменитые музыканты посвятили песни

Рассказываем, кто из исполнителей сделал домашних питомцев героями песен

РБК
Елена Николаева: «Я нашла свою идеальную форму и будто замерла в ней» Елена Николаева: «Я нашла свою идеальную форму и будто замерла в ней»

Елена Николаева — о семье, штопке и фирменном способе соления лосося

Худеем правильно
Метеозависимость, рассол от похмелья и 3 других мифа о головной боли Метеозависимость, рассол от похмелья и 3 других мифа о головной боли

Врач-невролог Дмитрий Шубин отделяет зерна от плевел, а мифы — от правды

Популярная механика
ЗАЗ: самые необычные «Запорожцы» ЗАЗ: самые необычные «Запорожцы»

За время своего существования на ЗАЗе сделали ряд крайне интересных моделей

Популярная механика
Курс немецкого Курс немецкого

Автопутешествие по весенней Германии: что можно увидеть из окна?

Cosmopolitan
Обыкновенный фашизм: каким получился «Заговор против Америки» — антиутопия про США, ставшие союзниками Третьего рейха Обыкновенный фашизм: каким получился «Заговор против Америки» — антиутопия про США, ставшие союзниками Третьего рейха

На HBO и Amediateka выходит новый проект Дэвида Саймона

Esquire
На Луну от вируса. Осталось ли в мире что-то важнее эпидемий На Луну от вируса. Осталось ли в мире что-то важнее эпидемий

Судя по новостям, цивилизация на Земле рискует закончиться бесславным образом

СНОБ
10 фильмов, которым пришлось изменить название уже после выхода на экраны 10 фильмов, которым пришлось изменить название уже после выхода на экраны

Случай с переименованием «Хищных птиц» далеко не единственный в киноиндустрии

Maxim
Доктор из будущего Доктор из будущего

Как найти настоящего профессионала и как он поможет нам прожить больше ста лет

Vogue
6 способов перестать смотреть порно (хотя бы на время) 6 способов перестать смотреть порно (хотя бы на время)

Да, иногда стоит отвлечься от порно

Playboy
Жутко интересно: 5 самых мистических гостиниц Жутко интересно: 5 самых мистических гостиниц

Эти места идеальных для путешественников, которые жаждут адреналина

Популярная механика
Понять и простить: нарциссы в социальных сетях Понять и простить: нарциссы в социальных сетях

Считается, что социальные сети — идеальная среда для нарциссов

Psychologies
Будущее уже здесь Будущее уже здесь

Попытки увеличить дальность полётов и одновременно снизить углеродный след

Robb Report
Звездные Овны: узнай, с какой знаменитостью ты родилась в один день! Звездные Овны: узнай, с какой знаменитостью ты родилась в один день!

Кого можно вспомнить добрым словом в свой день рождения

Cosmopolitan
Как стать компетентным Как стать компетентным

Отрывок из книги «Ваш источник мотивации: Как захотеть сделать то, что нужно»

СНОБ
Вуди Аллен выпустил мемуары, в которых назвал себя Вуди Аллен выпустил мемуары, в которых назвал себя

В своих мемуарах Аллен рассказывает о Харви Вайнштейне и об отношениях с семьей

Esquire
Лекции Шульман, спектакли Гоголь-центра и другие способы научить детей работать и думать Лекции Шульман, спектакли Гоголь-центра и другие способы научить детей работать и думать

Основательница Европейском гимназии о том, что школа должна давать детям

Forbes
Счастье женщины в труде Счастье женщины в труде

Коуч Алексей Ситников учит читательниц «Татлера» искать работу

Tatler
Какой процессор будет для вас идеальным? Какой процессор будет для вас идеальным?

На что следует обращать внимание при выборе ЦПУ

CHIP
Слезы капали Слезы капали

Дизайнер Полина Осипова не догадывалась, что будет продавать свои слезы

Seasons of life
«Джуди»: сказка об отнятой жизни «Джуди»: сказка об отнятой жизни

Байопик «Джуди» о последних годах актрисы и певицы Джуди Гарленд

Psychologies
Александр Дворкин: Есть ли раскол в Русской Православной церкви? Ответ Артему Нарышкину Александр Дворкин: Есть ли раскол в Русской Православной церкви? Ответ Артему Нарышкину

Артем Нарышкину отвечает кандидат богословия, доктор философии, профессор

СНОБ
Лучший враг человека. 9 неприятных историй, связанных с милыми собаками Лучший враг человека. 9 неприятных историй, связанных с милыми собаками

Собака — это существо, которое может доставить массу проблем окружающим

Maxim
Сверхпроводники обнаружили сразу в двух метеоритах Сверхпроводники обнаружили сразу в двух метеоритах

Американские ученые обнаружили внеземные сверхпроводящие материалы

N+1
Почему мы переоцениваем наши силы и что с этим делать Почему мы переоцениваем наши силы и что с этим делать

Почему не стоит задирать планку требований к самому себе слишком высоко

РБК
Линия защиты Линия защиты

Без личных границ никто не будет уважать наши желания и интересы

Добрые советы
О чём пишут научно-популярные журналы мира О чём пишут научно-популярные журналы мира

Интересные исследования и новости научного мира

Наука и жизнь
Как не вестись на провокации Как не вестись на провокации

Как дать отпор провоцирующему ссору собеседнику?

Maxim
Открыть в приложении