Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как сохранять по две тысячи рублей каждый месяц: 5 советов по экономии света в квартире Как сохранять по две тысячи рублей каждый месяц: 5 советов по экономии света в квартире

Не только лампочки: неочевидные способы снизить расход электроэнергии

ТехИнсайдер
Лиза Моряк: «Я была готова побороться за роль Татьяны» Лиза Моряк: «Я была готова побороться за роль Татьяны»

Оператор, который снимал фильм, сказал: «Это одна из лучших ролей Лизы»

Караван историй
Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер

Инженеры разработали гибкие актуаторы, которые могут плавно деформироваться

N+1
Год на Бабушкинской Год на Бабушкинской

Автофикшен-рассказ Ксении Буржской. Забавный, непринужденно-бытовой, уязвимый

Правила жизни
Первая минута Первая минута

Как заставить начало разговора работать на результат

kiozk originals
Работа по исполнению себя Работа по исполнению себя

Валентина Габышева о том, что такое призвание и как его в себе разглядеть

Seasons of life
Кому точно нельзя делать тату и перманентный макияж: твоя главная памятка перед процедурой Кому точно нельзя делать тату и перманентный макияж: твоя главная памятка перед процедурой

Как не допустить, чтобы бьюти-процедура обернулась для тебя серьезными рисками.

VOICE
6 стратегий, которые помогут влюбленным выразить свои чувства 6 стратегий, которые помогут влюбленным выразить свои чувства

Как поделиться чувствами с «тем самым» человеком?

Psychologies
«Улыбающиеся твари»: что это за игрушки и стоит ли бояться взрослым «Улыбающиеся твари»: что это за игрушки и стоит ли бояться взрослым

Есть ли в Smiling critters опасность для ребенка и что в них привлекательного

Psychologies
Евгений Князев: «Талант — это единственная новость, которая всегда нова» Евгений Князев: «Талант — это единственная новость, которая всегда нова»

Я думал: «Боже, какой дурью мы занимаемся, чему же нас здесь учат?»

Коллекция. Караван историй
Что не так с «Большими девочками»? 4 главные проблемы популярного шоу о похудении Что не так с «Большими девочками»? 4 главные проблемы популярного шоу о похудении

Почему шоу «Большие девочки» транслирует неправильные идеи

Psychologies
Вреден ли микропластик? Вреден ли микропластик?

Микропластик находят везде: в Марианской впадине и даже в человеческой крови

Maxim
Премиальный поворот Премиальный поворот

В России меняются представления о дорогих автомобилях

Деньги
Иерусалим 2000 лет назад Иерусалим 2000 лет назад

Иерусалим две тысячи лет назад был для иудеев местом всеобщего паломничества

Знание – сила
Время посещения древними людьми французской пещеры вычислили по саже в спелеотеме Время посещения древними людьми французской пещеры вычислили по саже в спелеотеме

Охотники-собиратели посещали памятник Поинтс в конце верхнего палеолита

N+1
Метод часов: как диагностировать раннюю стадию деменции у пожилого родственника Метод часов: как диагностировать раннюю стадию деменции у пожилого родственника

На что обратить внимание, чтобы не упустить развитие деменции у близкого?

Psychologies
Экстремальная глажка и вышивка по металлу: 10 самых странных хобби в мире Экстремальная глажка и вышивка по металлу: 10 самых странных хобби в мире

Рассказываем о 10 самых странных увлечениях на свете

ТехИнсайдер
Выйти из тени Выйти из тени

Яхтенный мир знает немного историй об успешном партнерстве верфей с автопромом

Y Magazine
И никакой боли! И никакой боли!

8 упражнений, которые облегчат боль в спине

Лиза
Вороны-свистуны не унаследовали интеллект матерей Вороны-свистуны не унаследовали интеллект матерей

Когнитивные способности птенцы воронов-свистунов не наследуют от своих матерей

N+1
Нормальный по Фрейду. Как родители могут помочь детям на пути взросления Нормальный по Фрейду. Как родители могут помочь детям на пути взросления

С какими трудностями сталкивается современный подросток?

СНОБ
Перевернутая Сибирь Перевернутая Сибирь

Петр Первый экзаменовал своих бояр по географии, пользуясь Большой картой Сибири

Вокруг света
Эпилепсия после травмы головы повысила риск развития деменции Эпилепсия после травмы головы повысила риск развития деменции

У людей с посттравматической эпилепсией риск развития деменции в 4,5 раза выше

N+1
Хайлайтер: зачем его применяют и как выбрать правильный Хайлайтер: зачем его применяют и как выбрать правильный

Чтобы получить идеальный макияж, пригодится хайлайтер

РБК
Искусство запрещать Искусство запрещать

Одна из самых громких сенсаций в новейшей истории арт-рынка

Правила жизни
В свободном полете В свободном полете

Самые внеземные коллекции одежды в истории моды

Men Today
Сколько баллов в урагане чувств? Сколько баллов в урагане чувств?

Как повысить уровень EI и доказать – будущее не за роботами

Psychologies
Зачем люди коллекционируют кроссовки и почему это хорошая инвестиция Зачем люди коллекционируют кроссовки и почему это хорошая инвестиция

Рассказываем о тех, кто покупает редкие кроссовки и зарабатывает на этом

Maxim
Постколониальный док и борьба с зависимостью: лучшие женские работы на Берлинале Постколониальный док и борьба с зависимостью: лучшие женские работы на Берлинале

Работы женщин, которые заявили о себе на Берлинале

Forbes
Надежда Румянцева. Звезда, которая вовремя покинула экран Надежда Румянцева. Звезда, которая вовремя покинула экран

О любимице советских зрителей Надежде Румянцевой — в рассказе ее мужа

Коллекция. Караван историй
Открыть в приложении