ИИ и машинное обучение могут стать спасением для редких и исчезающих языков мира

Популярная механикаHi-Tech

Лингвистический гомункул

Текст: Роман Фишман

Из 7,3 млрд человек больше половины разговаривают на одном из десяти крупнейших языков. Большая часть текстов в интернете написаны на английском или севернокитайском (мандаринском) – это вызывает опасения, что вскоре они вовсе вытеснят языки менее распространенные. Однако судьба малых языков в сети развивается совершенно противоположным образом.

В безопасности

Русский язык и в Сети, и в офлайне занимает вполне достойное восьмое место среди крупнейших. Благодаря широкому распространению в России интернета на нем говорят в общей сложности 103 млн пользователей – почти 3% от их общего числа в мире. В одной только русскоязычной «Википедии» наберется почти 1,4 млн страниц, а из 10 млн самых посещаемых сайтов 6,4% написаны на русском. Все это создает внушительную базу текстов, существующих параллельно на русском и других крупных языках. А она позволяет использовать стандартные, статистические подходы к созданию систем машинного перевода между такими языковыми парами.

Одинаковые статьи в версиях «Википедии» на разных языках, переводы религиозных канонов и классических литературных произведений дополняются колоссальным объемом нового материала. Такие страницы часто легко обнаружить по названиям документов, которые могут отличаться лишь указанием RU или ENG. А если учесть характерные последовательности специальных символов, редких слов, цифр и другие особенности, то можно автоматически дополнять исходный набор еще бόльшим числом параллельных текстов. Неудивительно, что заняты этим в основном крупные интернет-компании, поисковики, которые индексируют многие миллиарды страниц на разных языках.

Однако начало современному статистическому подходу положили разработчики IBM Research. Еще в 1980-х они работали с массивом документов канадского парламента, которые обязательно переводятся на английский и французский, и предложили рассматривать текст на одном языке как полученный по сильно зашумленному каналу – а значит, «с ошибками» – текст другого языка. В такой модели «шумного канала» в исходные фразы требуется вносить исправление за исправлением, пока они не превратятся в аналогичные фразы уже на новом языке.

Это и делается на основе статистики параллельного употребления слов в одинаковых фразах на разных языках. При этом система может учитывать правила морфологии (образования и изменения слов) и синтаксиса (построения предложений), а качество машинного перевода проверяют люди, пока он не достигнет приемлемого уровня. «И хрюкотали зелюки, как мюмзики в мове», – интерпретирует оригинальный текст онлайн-система переводов Google; заметно, что машине знакомы параллельные фразы на английском и русском, и это простейший вариант.

Под угрозой

Определить, что же такое языки, и отделить их от диалектов, удается не всегда, так что даже точное число человеческих языков назвать не возьмется, наверное, никто. Обычные оценки колеблются в пределах от 6000 до 7000, причем выпускаемый ЮНЕСКО «Атлас языков мира, находящихся под угрозой исчезновения» выделяет среди них 2473, существование которых в будущем совсем не гарантировано. Цыганский и эрзянский, идиш и крымско-татарский практически не осваиваются молодыми поколениями, их носители стареют, использование сокращается.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Время людей Время людей

Антропоцен – время, когда человек оказывает глобальное влияние на всю планету

Популярная механика
Пластыри от прыщей: как они устроены и действительно ли помогают избавиться от высыпаний Пластыри от прыщей: как они устроены и действительно ли помогают избавиться от высыпаний

Работают ли патчи от прыщей или это просто маркетинг?

ТехИнсайдер
Мяу по-русски Мяу по-русски

Налаживая связь с человеком, кошки изменили тональность мяуканья

Популярная механика
Кто даст мне сто долларов? Кто даст мне сто долларов?

Аукционные дома Sotheby’s и Christie’s: инструкция по применению

Weekend
Антикиллеры Антикиллеры

Всем разновидностям ядовитых фосфорорганических веществ противостоят антидоты

Популярная механика
Фрагмент истории Фрагмент истории

Интерьер, в котором сохранили стену с аутентичной кирпичной кладкой

Идеи Вашего Дома
Бои глобального значения Бои глобального значения

Командные схватки DJI RoboMasters – эпицентр новой революции роботов

Популярная механика
Тихая охота Тихая охота

Как правильно и безопасно собирать грибы осенью

Лиза
Последнее думающее поколение. Кто на самом деле воспитывает наших детей Последнее думающее поколение. Кто на самом деле воспитывает наших детей

Как ИИ становится цифровым воспитателем

Inc.
«Стекло в пуантах — прошлый век» «Стекло в пуантах — прошлый век»

Почему в профессии балерины так важны верные партнеры и любовь к своему делу

OK!
Сергей Довлатов: зумер среди классиков Сергей Довлатов: зумер среди классиков

О роли Сергея Довлатова в литературе и причинах его современности

Правила жизни
Мария Стерникова о Валерии Носике: «Он был человеком необыкновенной доброты и света» Мария Стерникова о Валерии Носике: «Он был человеком необыкновенной доброты и света»

«Он, как волшебник, прилетал ненадолго со съемок, а внизу его уже ждала машина»

Коллекция. Караван историй
Правда ли, что OLED-экраны мониторов и телевизоров выгорают? Правда ли, что OLED-экраны мониторов и телевизоров выгорают?

Выгорание OLED-экранов: оправданы ли страхи в действительности?

CHIP
Потепление океана оказалось угрозой для бактериального фотосинтеза Потепление океана оказалось угрозой для бактериального фотосинтеза

Вода теплее 28 градусов приведет к коллапсу популяций цианобактерий

N+1
Скороварка эволюции: как городская жизнь изменила вид и повадки животных и насекомых Скороварка эволюции: как городская жизнь изменила вид и повадки животных и насекомых

Как меняются животные и растения в городах

Forbes
Инвестиции в эпоху снижения ставок: где искать прибыль Инвестиции в эпоху снижения ставок: где искать прибыль

О том, идет ли переток депозитов в инструменты фондового рынка

Деньги
Миллиард на неконтролируемом шуме Миллиард на неконтролируемом шуме

Звукоизоляция остаётся слабым местом новостроек

Монокль
Завтра наступит сегодня Завтра наступит сегодня

Примеряемся к автомобилям из области фантастики

Moodboard
Москва слезам не верит Москва слезам не верит

Актриса Марина Александрова — о сериалах, театре и work-life балансе

Moodboard
Юлия Миндубаева: Наша цель – совместными усилиями развивать рынок Юлия Миндубаева: Наша цель – совместными усилиями развивать рынок

Что поможет привлечь на рынок онлайн-кинотеатров новые деньги

Ведомости
Павел и Зепюр Прилучные: «Нет ничего важнее семьи, все остальное может подождать» Павел и Зепюр Прилучные: «Нет ничего важнее семьи, все остальное может подождать»

Мне очень сложно без Зипи. Я такой человек, мне необходимо, чтобы она была рядом

Коллекция. Караван историй
От Голливуда до слухов про лоботомию: печальная история успеха Фрэнсис Фармер От Голливуда до слухов про лоботомию: печальная история успеха Фрэнсис Фармер

Правда о трагедии женщины, чей образ исказили газетные мифы

ТехИнсайдер
Распиши под хохлому Распиши под хохлому

Русский стиль в современном интерьере: посконно, органично, удобно

Лиза
Архитектура выжидания: когда квартиры в новостройках станут доступнее Архитектура выжидания: когда квартиры в новостройках станут доступнее

Когда приобретение жилья в новостройке вновь станет доступным?

Inc.
Короткие ножки и большая уверенность в себе: 10 интересных фактов о таксах Короткие ножки и большая уверенность в себе: 10 интересных фактов о таксах

Длинное тело, короткие лапы, самодостаточность и прыткий ум — знакомьтесь, такса

ТехИнсайдер
Архангелогородский рудознатец Федор Прядунов Архангелогородский рудознатец Федор Прядунов

Судьба первого русского нефтепромысла

Знание – сила
Александр Ведяхин: «Экспорт российских ИИ-решений – стратегически важная задача» Александр Ведяхин: «Экспорт российских ИИ-решений – стратегически важная задача»

Какова роль России в развитии сотрудничества стран БРИКС в сфере ИИ?

Ведомости
Пугающая ошибка на Windows: что такое синий экран смерти и как его исправить Пугающая ошибка на Windows: что такое синий экран смерти и как его исправить

Расшифровка кодов ошибок синего экрана Windows и способы их быстрого устранения

ТехИнсайдер
Давай мириться Давай мириться

7 вещей, которые нельзя делать после ссоры с любимым

Лиза
На гребне волны На гребне волны

В интерьере сохранена морская тематика, цветовые сочетания синего и оранжевого

Идеи Вашего Дома
Открыть в приложении