Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Холсты за миллионы долларов: самые дорогие картины отечественных художников Холсты за миллионы долларов: самые дорогие картины отечественных художников

О самых дорогих картинах, вышедших из под кистей российских мэтров живописи

ТехИнсайдер
Древние сибиряки добыли пемзу более чем в 1000 километрах от места обнаружения Древние сибиряки добыли пемзу более чем в 1000 километрах от места обнаружения

Древние сибиряки собрали куски породы в районе Удоканского вулканического плато

N+1
Роботы Figure научились сообща сортировать предметы Роботы Figure научились сообща сортировать предметы

Компания Figure разработала универсальный алгоритм управления роботами

N+1
Жизнь на высоких нотах: почему весь мир любит (и иногда ненавидит) Ариану Гранде Жизнь на высоких нотах: почему весь мир любит (и иногда ненавидит) Ариану Гранде

О чем поет повзрослевшая Ариана Гранде, за что ее ненавидят моралисты?

Правила жизни
Накопленная усталость: почему молодые шведки чаще выбирают жизнь за счет партнера Накопленная усталость: почему молодые шведки чаще выбирают жизнь за счет партнера

Почему некоторые шведки выбирают отказ от карьеры и жизнь за счет партнера

Forbes
Зачем кенгуру три влагалища и две матки? Такого вам не расскажут в школе Зачем кенгуру три влагалища и две матки? Такого вам не расскажут в школе

Говорят, что быть «немножко беременной» невозможно. Это вы скажите кенгуру

ТехИнсайдер
Капля по капле. 7 способов передать показания счетчиков расхода воды Капля по капле. 7 способов передать показания счетчиков расхода воды

Рассмотрим способы передачи показаний счетчиков воды

Лиза
«Лучшие пропускают искусство через сердце, через эмоции» «Лучшие пропускают искусство через сердце, через эмоции»

Почему кроме коммерческой и художественной ценности на арт-рынке важна любовь

Правила жизни
Ученые раскрыли секрет, почему нам даже во взрослом возрасте бывает трудно расстаться с детскими игрушками Ученые раскрыли секрет, почему нам даже во взрослом возрасте бывает трудно расстаться с детскими игрушками

Почему мы не можем отвязаться от старых игрушек?

ТехИнсайдер
Высокое собрание Высокое собрание

Кто такой коллекционер? Эксперт? Знаток? Ценитель?

Правила жизни
Надо ли тебе менять работу Надо ли тебе менять работу

Чувствуешь себя не на своем месте? Своим ли делом ты занимаешься?

Лиза
Петербург будущего Петербург будущего

Как применить ИИ во славу Петербурга будущего?

Собака.ru
«Совершенно Невероятное Событие»: женитьба середины XIX века «Совершенно Невероятное Событие»: женитьба середины XIX века

Премьера спектакля Евгения Каменьковича по пьесе Николая Гоголя

Монокль
Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше

Недосып прибавляет к ощущаемому возрасту человека почти 4,5 года

ТехИнсайдер
Как заново влюбиться в партнера: 9 проверенных способов Как заново влюбиться в партнера: 9 проверенных способов

Как пробудить яркие эмоции и воссоздать романтическую атмосферу?

Psychologies
Дефицитные кадры: почему бизнесу так сложно нанимать сотрудников с инвалидностью Дефицитные кадры: почему бизнесу так сложно нанимать сотрудников с инвалидностью

Зачем людям приходится скрывать свою инвалидность на работе?

Forbes
Назад в коммуналки Назад в коммуналки

В условиях дорогой ипотеки москвичи покупают квартиры в складчину

Деньги
На Петровке по-французски На Петровке по-французски

Изысканный «кружевной» интерьер в самом сердце Москвы

SALON-Interior
Бионические протезы. Русский след Бионические протезы. Русский след

Важные этапы в области развития биопротезирования

Наука и техника
Кому точно нельзя делать тату и перманентный макияж: твоя главная памятка перед процедурой Кому точно нельзя делать тату и перманентный макияж: твоя главная памятка перед процедурой

Как не допустить, чтобы бьюти-процедура обернулась для тебя серьезными рисками.

VOICE
Эпилепсия после травмы головы повысила риск развития деменции Эпилепсия после травмы головы повысила риск развития деменции

У людей с посттравматической эпилепсией риск развития деменции в 4,5 раза выше

N+1
Эрос, что тебе снится? Эрос, что тебе снится?

Почему в сексе нам часто не хватает реальности и мы пускаемся в фантазирование?

Psychologies
Почти как Бекхэмы: 10 успешных союзов звезд футбола, тенниса, хоккея и гимнастики Почти как Бекхэмы: 10 успешных союзов звезд футбола, тенниса, хоккея и гимнастики

Спортивные браки, которые оказались и прочными, и финансово успешными

Forbes
Кочубеи Кочубеи

На крови Василия Леонтьевича Кочубея возвысился весь его род

Дилетант
Наталия Архангельская Наталия Архангельская

Наталия Архангельская выжгла дотла первоосновы русского люкса и глянца

Собака.ru
Навязался гайморит. 4 неожиданные причины и способы лечения Навязался гайморит. 4 неожиданные причины и способы лечения

Что поможет отказаться от капель насовсем и начать дышать носом свободно?

Лиза
Хороший тон Хороший тон

Как добиться эффекта идеально гладкой сияющей кожи с помощью тональных средств

Лиза
Интерьер с чистым звуком Интерьер с чистым звуком

Акустический диффузор и интерьер в стиле этнопанк в кирпичном доме

Идеи Вашего Дома
Что может взойти на российско-китайском огороде Что может взойти на российско-китайском огороде

Потенциал сотрудничества России и Китая в сегменте овощей и картофеля

Агроинвестор
Почему скрипит обувь при ходьбе и как это исправить: решаем навязчивую проблему за минуту Почему скрипит обувь при ходьбе и как это исправить: решаем навязчивую проблему за минуту

Скрип обуви во время ходьбы может сильно раздражать и вызывать улыбки со стороны

ТехИнсайдер
Открыть в приложении