Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Кладбище домашних животных: что делать, если умер питомец Кладбище домашних животных: что делать, если умер питомец

Что делать, если умер кот или собака? Как и где происходит кремация животных?

ТехИнсайдер
Кристина Кучеренко: «Я долго билась о дверь и выбила ее» Кристина Кучеренко: «Я долго билась о дверь и выбила ее»

Встал выбор: заниматься, несмотря на перелом, или уходить из балета

Коллекция. Караван историй
Обновления нарочно ломают наши телефоны и еще 9 мифов о гаджетах Обновления нарочно ломают наши телефоны и еще 9 мифов о гаджетах

10 самых распространенных мифов об электронных устройствах

Maxim
Сколько посадок самолета выдерживают шины и почему авиакомпании никогда их не покупают Сколько посадок самолета выдерживают шины и почему авиакомпании никогда их не покупают

Как устроены шины для самолетов и почему они так быстро изнашиваются

Maxim
Накопленная усталость: почему молодые шведки чаще выбирают жизнь за счет партнера Накопленная усталость: почему молодые шведки чаще выбирают жизнь за счет партнера

Почему некоторые шведки выбирают отказ от карьеры и жизнь за счет партнера

Forbes
Когда это закончится? Когда это закончится?

Жителям Польши дольше других пришлось ждать, чем кончится схватка

Дилетант
По следам Америго Веспуччи По следам Америго Веспуччи

Своим капризом судьба обессмертила путешественника Америго Веспуччи

Знание – сила
Многогранные инвестиции Многогранные инвестиции

Какие камни собирать, чтобы сохранить капитал

RR Люкс.Личности.Бизнес.
Кокаин, связь с мафией и удар стулом: за что известные футболисты попадали в тюрьму Кокаин, связь с мафией и удар стулом: за что известные футболисты попадали в тюрьму

Самые известные истории футболистов, попадавших в тюрьму

Forbes
«Задуйте свечи»: как экологично выражать скорбь в сети? «Задуйте свечи»: как экологично выражать скорбь в сети?

Что можно и чего не стоит постить в ответ на трагические новости?

Правила жизни
Женщины в деле Женщины в деле

Бизнес – дело мужчин? Как бы не так!

Лиза
На одной волне На одной волне

Ученые разработали несколько инноваций для российского судостроения

Наука
Алиса в стране несбывшихся надежд Алиса в стране несбывшихся надежд

«Нежный восток»: абсурдистское роуд-муви о попытке убежать от политики

Weekend
Перепись птичьего населения Перепись птичьего населения

Ученые предложили новый способ оценки синантропизации птиц

Наука
Ретроградный Меркурий в 2024 году Ретроградный Меркурий в 2024 году

Так ли виноват ретроградный Меркурий и какие сюрпризы от него ждать в этом году?

Лиза
Практика добаюкивания: как перепрожить свой детский опыт и дополучить родительскую любовь Практика добаюкивания: как перепрожить свой детский опыт и дополучить родительскую любовь

Клинический психолог рассказывает о том, как и зачем перепроживать детство

Psychologies
Как понять, что доставляет вам удовольствие: 4 простых шага Как понять, что доставляет вам удовольствие: 4 простых шага

Как разобраться что именно приносит нам удовольствие?

Psychologies
Фактор стройности Фактор стройности

Питаясь по этой системе, ты не будешь чувствовать себя голодной

Лиза
«Серьезный вызов даже для передовых технологий» «Серьезный вызов даже для передовых технологий»

Что говорят эксперты о перспективах применения биопринтинга в медицине

РБК
«Мы начнем все заново». Главы из романа Хелены Побяржиной «Другие ноты» «Мы начнем все заново». Главы из романа Хелены Побяржиной «Другие ноты»

Второй роман Хелены Побяржиной о молчании, смерти, предательстве и музыке

СНОБ
Как научиться отжиматься: советы для новичков Как научиться отжиматься: советы для новичков

Отжимания, как известно, трудно выполнять правильно. Но не невозможно!

ТехИнсайдер
Игры_с_разумом Игры_с_разумом

Как нейросети меняют гейм-индустрию

ТехИнсайдер
Лариса Лужина: «Я не встречала вечной любви» Лариса Лужина: «Я не встречала вечной любви»

У меня спрашивают: «Что же ты, не могла замуж выйти?» Почему не могла? Могла!

Коллекция. Караван историй
Источники энергии Источники энергии

Кетогенная диета – система питания, придуманная почти сто лет назад

Добрые советы
Высокодоходный максимум Высокодоходный максимум

Небольшие компании воспользовались шансом занять у частников

Деньги
Из почвы в почву Из почвы в почву

«Калина красная»: как можно вернуться в крестьянский мир

Weekend
Прокладывая путь: как София Ионеску стала первой в мире женщиной-нейрохирургом Прокладывая путь: как София Ионеску стала первой в мире женщиной-нейрохирургом

София Ионеску — первая женщина-врач, которая провела операцию на головном мозге

Forbes
13 вещей, которые нельзя делать во время уборки на кухне: мнение профессиональных клинеров 13 вещей, которые нельзя делать во время уборки на кухне: мнение профессиональных клинеров

Хочешь знать мнение профессиональных клинеров о правилах уборки на кухне?

VOICE
«Поэтам не всё дозволено» «Поэтам не всё дозволено»

Нет ни одной сферы советской жизни, в которой не проявился антисемитизм

Дилетант
«Такое может случиться с каждым»: 4 серьезных удара по нашей психике «Такое может случиться с каждым»: 4 серьезных удара по нашей психике

Почему стоит обращаться к психотерапевтам после травматичных событий в жизни?

Psychologies
Открыть в приложении