ИИ и машинное обучение могут стать спасением для редких и исчезающих языков мира

Популярная механикаHi-Tech

Лингвистический гомункул

Текст: Роман Фишман

Из 7,3 млрд человек больше половины разговаривают на одном из десяти крупнейших языков. Большая часть текстов в интернете написаны на английском или севернокитайском (мандаринском) – это вызывает опасения, что вскоре они вовсе вытеснят языки менее распространенные. Однако судьба малых языков в сети развивается совершенно противоположным образом.

В безопасности

Русский язык и в Сети, и в офлайне занимает вполне достойное восьмое место среди крупнейших. Благодаря широкому распространению в России интернета на нем говорят в общей сложности 103 млн пользователей – почти 3% от их общего числа в мире. В одной только русскоязычной «Википедии» наберется почти 1,4 млн страниц, а из 10 млн самых посещаемых сайтов 6,4% написаны на русском. Все это создает внушительную базу текстов, существующих параллельно на русском и других крупных языках. А она позволяет использовать стандартные, статистические подходы к созданию систем машинного перевода между такими языковыми парами.

Одинаковые статьи в версиях «Википедии» на разных языках, переводы религиозных канонов и классических литературных произведений дополняются колоссальным объемом нового материала. Такие страницы часто легко обнаружить по названиям документов, которые могут отличаться лишь указанием RU или ENG. А если учесть характерные последовательности специальных символов, редких слов, цифр и другие особенности, то можно автоматически дополнять исходный набор еще бόльшим числом параллельных текстов. Неудивительно, что заняты этим в основном крупные интернет-компании, поисковики, которые индексируют многие миллиарды страниц на разных языках.

Однако начало современному статистическому подходу положили разработчики IBM Research. Еще в 1980-х они работали с массивом документов канадского парламента, которые обязательно переводятся на английский и французский, и предложили рассматривать текст на одном языке как полученный по сильно зашумленному каналу – а значит, «с ошибками» – текст другого языка. В такой модели «шумного канала» в исходные фразы требуется вносить исправление за исправлением, пока они не превратятся в аналогичные фразы уже на новом языке.

Это и делается на основе статистики параллельного употребления слов в одинаковых фразах на разных языках. При этом система может учитывать правила морфологии (образования и изменения слов) и синтаксиса (построения предложений), а качество машинного перевода проверяют люди, пока он не достигнет приемлемого уровня. «И хрюкотали зелюки, как мюмзики в мове», – интерпретирует оригинальный текст онлайн-система переводов Google; заметно, что машине знакомы параллельные фразы на английском и русском, и это простейший вариант.

Под угрозой

Определить, что же такое языки, и отделить их от диалектов, удается не всегда, так что даже точное число человеческих языков назвать не возьмется, наверное, никто. Обычные оценки колеблются в пределах от 6000 до 7000, причем выпускаемый ЮНЕСКО «Атлас языков мира, находящихся под угрозой исчезновения» выделяет среди них 2473, существование которых в будущем совсем не гарантировано. Цыганский и эрзянский, идиш и крымско-татарский практически не осваиваются молодыми поколениями, их носители стареют, использование сокращается.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Нарисуйте нам взрывопотама Нарисуйте нам взрывопотама

Как художнику-самоучке из Подольска удалось поселить своих монстров в Голливуде

Популярная механика
Доставка опережает Доставка опережает

Из-за чего этот труд курьеров перестает быть высокооплачиваемым

Ведомости
Мяу по-русски Мяу по-русски

Налаживая связь с человеком, кошки изменили тональность мяуканья

Популярная механика
Дэвид Хокни: большой всплеск Дэвид Хокни: большой всплеск

В 88 лет Дэвид Хокни сумел остаться актуальным в XXI веке

Монокль
Северный гигант Северный гигант

Новый вездеход от КамАЗ, который легко пройдет по тундре и болоту

Популярная механика
От Чувака до Гарфилда: 13 киногероев, которые сделали лень культовой От Чувака до Гарфилда: 13 киногероев, которые сделали лень культовой

Киногерои, чье бездействие стало зеркалом тревог и надежд целых поколений

Правила жизни
Дети декабря Дети декабря

Декабристы — безумцы, герои, предатели или лучшие сыны нации?

Дилетант
В сосновом бору В сосновом бору

Настоящий гимн природе в интерьере загородного дома в пригороде Новосибирска

SALON-Interior
Жизнь без гаджетов Жизнь без гаджетов

Как прекратить сидеть в телефоне: 9 шагов к цифровой свободе

Лиза
Ложные вампиры обнялись и поделились друг с другом пищей Ложные вампиры обнялись и поделились друг с другом пищей

Социальное поведение ложныех вампиров оказалось неожиданно сложным

N+1
Одежда и надежды Одежда и надежды

Красивые книги о моде

Weekend
Простой шаг, который сделает еду, разогретую в микроволновке, по-настоящему вкусной Простой шаг, который сделает еду, разогретую в микроволновке, по-настоящему вкусной

Зачем менять уровень мощности СВЧ-печи?

VOICE
На двух софтах На двух софтах

Почему российские компании продолжают работать на смешанном софте

Ведомости
Наука в фантастике: эпизоды истории Наука в фантастике: эпизоды истории

Сказочная повесть — фантастика с просветительской задачей

Наука и жизнь
Отец спящего родился Отец спящего родился

135 лет назад появился на свет Говард Филлипс Лавкрафт

Weekend
Как выбрать мясорубку и не превратить кухню в филиал мясокомбината Как выбрать мясорубку и не превратить кухню в филиал мясокомбината

Как выбрать идеальную мясорубку, чтобы она не стала пылесборником на полке

ТехИнсайдер
«Американцы хорошо продают себя, но работают слабо». 5 бизнес-ошибок основателя платформы ИИ-музыки Mubert «Американцы хорошо продают себя, но работают слабо». 5 бизнес-ошибок основателя платформы ИИ-музыки Mubert

Чего не следует делать стартапам с совершенно новой технологией на рынке

Inc.
Анна Тараторкина: «Я осознавала с рождения исключительность своего папы, но никогда не переводила это на себя» Анна Тараторкина: «Я осознавала с рождения исключительность своего папы, но никогда не переводила это на себя»

«В театре сложно первые 20 лет, а остальные 20 — еще сложнее»

Коллекция. Караван историй
Гипоаллергенная диета: что включить в меню Гипоаллергенная диета: что включить в меню

Справиться с аллергией можно не только с помощью лекарств

Лиза
Выключи это немедленно: почему среди современных артистов нет голоса поколения Выключи это немедленно: почему среди современных артистов нет голоса поколения

Музыкальная битва поколений началась еще в XIX веке...

Правила жизни
Меняет характер, провоцирует кошмары и увеличивает риск смерти: раскрыты главные побочные эффекты одиночества Меняет характер, провоцирует кошмары и увеличивает риск смерти: раскрыты главные побочные эффекты одиночества

Одиночество — глобальная проблема, и это не просто слова

ТехИнсайдер
Какое пиво лучше с оливье, борщом, окрошкой: ответ специалиста Какое пиво лучше с оливье, борщом, окрошкой: ответ специалиста

Крайне необычный варианты гастрономической пары к пиву

Maxim
В поисках утраченного секса В поисках утраченного секса

Самый неожиданный сериал с Мишель Уильямс

Weekend
Это не автомобиль: какой самый опасный вид транспорта Это не автомобиль: какой самый опасный вид транспорта

Рейтинг самых «аварийных» типов транспорта

ТехИнсайдер
Что такое отложенный налог на прибыль и зачем его учитывать Что такое отложенный налог на прибыль и зачем его учитывать

Как работает отложенный налог на прибыль

Inc.
Актриса-фейерверк Актриса-фейерверк

Полина Максимова снимается в кино уже двадцать лет — с шестнадцати

OK!
Тысячи сомиков-шмелей вскарабкались по водопадам Тысячи сомиков-шмелей вскарабкались по водопадам

Почему южноамериканские сомики-шмели необычно ведут себя у водопадов

N+1
Почему блокируют счет ИП: 10 реальных причин и как их избежать Почему блокируют счет ИП: 10 реальных причин и как их избежать

Разберем на примерах основные причины блокировки средств на счете ИП

Inc.
Приманка для зумера: почему у молодежи меняется мотивация и как с этим работать Приманка для зумера: почему у молодежи меняется мотивация и как с этим работать

Как работодателям правильно воспринимать новые тенденции мотивации сотрудников

Forbes
«Покажи ручку!» 3 причины приучить себя подавать сигналы рукой «Покажи ручку!» 3 причины приучить себя подавать сигналы рукой

Несколько важных причин подавать сигналы рукой, когда едешь на велосипеде

ТехИнсайдер
Открыть в приложении