ИИ и машинное обучение могут стать спасением для редких и исчезающих языков мира

Популярная механикаHi-Tech

Лингвистический гомункул

Текст: Роман Фишман

Из 7,3 млрд человек больше половины разговаривают на одном из десяти крупнейших языков. Большая часть текстов в интернете написаны на английском или севернокитайском (мандаринском) – это вызывает опасения, что вскоре они вовсе вытеснят языки менее распространенные. Однако судьба малых языков в сети развивается совершенно противоположным образом.

В безопасности

Русский язык и в Сети, и в офлайне занимает вполне достойное восьмое место среди крупнейших. Благодаря широкому распространению в России интернета на нем говорят в общей сложности 103 млн пользователей – почти 3% от их общего числа в мире. В одной только русскоязычной «Википедии» наберется почти 1,4 млн страниц, а из 10 млн самых посещаемых сайтов 6,4% написаны на русском. Все это создает внушительную базу текстов, существующих параллельно на русском и других крупных языках. А она позволяет использовать стандартные, статистические подходы к созданию систем машинного перевода между такими языковыми парами.

Одинаковые статьи в версиях «Википедии» на разных языках, переводы религиозных канонов и классических литературных произведений дополняются колоссальным объемом нового материала. Такие страницы часто легко обнаружить по названиям документов, которые могут отличаться лишь указанием RU или ENG. А если учесть характерные последовательности специальных символов, редких слов, цифр и другие особенности, то можно автоматически дополнять исходный набор еще бόльшим числом параллельных текстов. Неудивительно, что заняты этим в основном крупные интернет-компании, поисковики, которые индексируют многие миллиарды страниц на разных языках.

Однако начало современному статистическому подходу положили разработчики IBM Research. Еще в 1980-х они работали с массивом документов канадского парламента, которые обязательно переводятся на английский и французский, и предложили рассматривать текст на одном языке как полученный по сильно зашумленному каналу – а значит, «с ошибками» – текст другого языка. В такой модели «шумного канала» в исходные фразы требуется вносить исправление за исправлением, пока они не превратятся в аналогичные фразы уже на новом языке.

Это и делается на основе статистики параллельного употребления слов в одинаковых фразах на разных языках. При этом система может учитывать правила морфологии (образования и изменения слов) и синтаксиса (построения предложений), а качество машинного перевода проверяют люди, пока он не достигнет приемлемого уровня. «И хрюкотали зелюки, как мюмзики в мове», – интерпретирует оригинальный текст онлайн-система переводов Google; заметно, что машине знакомы параллельные фразы на английском и русском, и это простейший вариант.

Под угрозой

Определить, что же такое языки, и отделить их от диалектов, удается не всегда, так что даже точное число человеческих языков назвать не возьмется, наверное, никто. Обычные оценки колеблются в пределах от 6000 до 7000, причем выпускаемый ЮНЕСКО «Атлас языков мира, находящихся под угрозой исчезновения» выделяет среди них 2473, существование которых в будущем совсем не гарантировано. Цыганский и эрзянский, идиш и крымско-татарский практически не осваиваются молодыми поколениями, их носители стареют, использование сокращается.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Что естественно, то прекрасно Что естественно, то прекрасно

Нас будут окружать вещи, соавторами которых наравне с людьми выступят компьютеры

Популярная механика
Бесплатные приложения для планирования: какое выбрать Бесплатные приложения для планирования: какое выбрать

Бесплатные приложения-планировщики: чем отличаются и какое стоит попробовать?

Inc.
Восток и его обитатели Восток и его обитатели

В озере Восток под ледовым щитом Антарктиды есть жизнь

Популярная механика
Почему поколение Z уходит из корпораций и выбирает франшизы Почему поколение Z уходит из корпораций и выбирает франшизы

Почему зумеры выбирают вместо корпоративной стабильности предпринимательство?

Forbes
Техпарад Техпарад

Новости мира науки

Популярная механика
Какое пиво лучше с оливье, борщом, окрошкой: ответ специалиста Какое пиво лучше с оливье, борщом, окрошкой: ответ специалиста

Крайне необычный варианты гастрономической пары к пиву

Maxim
Крошка Ро Крошка Ро

Блогер Марьяна Ро выбралась в реальный мир без одежды

Maxim
Борьба за наследство Борьба за наследство

Диадохи: наследники Александра Македонского, развалившие его империю

Дилетант
Легенда Сибири Легенда Сибири

Словно драгоценную чашу держит Бурятия священный Байкал

Лиза
С любовью к русской песне, фолк-группа «Красива» С любовью к русской песне, фолк-группа «Красива»

О силе традиций, народной музыке, женской дружбе и не только – в нашем интервью

Лиза
Терапия бездельем: что такое бедроттинг и почему зумеры полюбили валяться в постели Терапия бездельем: что такое бедроттинг и почему зумеры полюбили валяться в постели

Bed rotting: обычная лень или способ восстановить силы?

Forbes
Диета одного дня Диета одного дня

Сутки в неделю без животных продуктов – в чем польза

Лиза
Кто живет на чердаке Кто живет на чердаке

Как оформить квартиру в стиле лофт, не ломая стены

Лиза
В своем праве В своем праве

Как вернуть деньги за некачественный товар или услугу

Лиза
Животные Камчатки и трудничество на Валааме: где в России есть волонтерские программы Животные Камчатки и трудничество на Валааме: где в России есть волонтерские программы

Волонтерские программы в России: от Камчатки до Санкт-Петербурга

Forbes
Без паники Без паники

Как не дать гиперответственности превратить жизнь в постоянный стресс

Лиза
Едем в Гагры? Едем в Гагры?

Самые популярные курорты СССР, где отдыхали наши бабушки и дедушки

Лиза
Зеленый доктор Зеленый доктор

Чем больше «травы» – тем меньше вес

Лиза
Болит слева, но не сердце! Болит слева, но не сердце!

Боль в груди: сердечные и несердечные причины – как различить?

Здоровье
Холсты за миллионы долларов: самые дорогие картины отечественных художников Холсты за миллионы долларов: самые дорогие картины отечественных художников

О самых дорогих картинах, вышедших из под кистей российских мэтров живописи

ТехИнсайдер
Дорожки на даче Дорожки на даче

Как экономно обустроить тропинки на садовом участке

Лиза
Водолей — это знак Водолей — это знак

Как помочь организму сохранить живительную влагу?

Собака.ru
Крупным франшизам запрещают быть эксклюзивными Крупным франшизам запрещают быть эксклюзивными

Суд признал права франчайзи продавать не только товары франчайзера

Forbes
Разблокировка на доверии Разблокировка на доверии

Как действует механизм разблокировки замороженных активов через траст

Ведомости
Chery Tiggo 7 Pro Max с пробегом 100 тыс. Владельцы — о поломках и бедах Chery Tiggo 7 Pro Max с пробегом 100 тыс. Владельцы — о поломках и бедах

Как Chery Tiggo 7 Pro Max переживает эксплуатацию и на что жалуются владельцы

РБК
Что будет с организмом, если спать по 4 часа в сутки: эксперимент, который точно не стоит повторять Что будет с организмом, если спать по 4 часа в сутки: эксперимент, который точно не стоит повторять

Чем чревато пренебрежение здоровым сном?

ТехИнсайдер
Совершенствуя природу Совершенствуя природу

Личная история трансформации с помощью пластической хирургии

RR Люкс.Личности.Бизнес.
Почему важно вовремя менять модель управления Почему важно вовремя менять модель управления

Как уметь в нужный момент менять управленческую модель

Forbes
Пропан не пропал Пропан не пропал

Почему экспорт СУГ из России снизился и куда перенаправили поставки

Ведомости
Болванчик из бейсбола: как фигурки-сувениры приносят миллионы командам МЛБ Болванчик из бейсбола: как фигурки-сувениры приносят миллионы командам МЛБ

Бейсбол: уникальная субкультура и сумасшедший спрос на фигурки

Forbes
Открыть в приложении