Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Японские ученые создали суперклей для морских глубин Японские ученые создали суперклей для морских глубин

Ученые создали гидрогель, который способен удержать резиновую уточку на скале

ТехИнсайдер
Любовь сильнее страха Любовь сильнее страха

Всегда была любовь к городу и желание сделать о нем сувенир

Seasons of life
Правда ли, что OLED-экраны мониторов и телевизоров выгорают? Правда ли, что OLED-экраны мониторов и телевизоров выгорают?

Выгорание OLED-экранов: оправданы ли страхи в действительности?

CHIP
Театр начинается с вешалки Театр начинается с вешалки

Макар Михалкин — о Большом театре и балете

Men Today
Стресс на работе: как распознать и что делать Стресс на работе: как распознать и что делать

Основные факторы возникновения стресса на работе и его влияние на организм

Inc.
Бизнес на скорость и выносливость Бизнес на скорость и выносливость

Как изменились тренды мировой фитнес-индустрии

РБК
Бионические протезы. Русский след Бионические протезы. Русский след

Важные этапы в области развития биопротезирования

Наука и техника
Расклад такой Расклад такой

Пора стереть с собственного лица следы усталости от зимы, морщины и купероз!

Собака.ru
Господин фикус Господин фикус

Приметы и суеверия, связанные с популярным комнатным растением

Лиза
Язык: сделай сам. Искусственные языки в истории человечества Язык: сделай сам. Искусственные языки в истории человечества

Зачем люди придумывают искусственные языки? Мало им естественных?

Знание – сила
«А что я такого сказала?»: 5 признаков «мягкого» буллинга, который используют женщины «А что я такого сказала?»: 5 признаков «мягкого» буллинга, который используют женщины

Иногда травля бывает такой нежной и вкрадчивой, что ее нелегко распознать

Psychologies
Искусственный интеллект смог создать «идеальное» пиво Искусственный интеллект смог создать «идеальное» пиво

ИИ доработал состав пенного напитка, который смог поразить дегустаторов-людей

ТехИнсайдер
Японский – простой язык Японский – простой язык

Сложности при изучении японского глубоко укоренены в самой японской ментальности

Знание – сила
Искусство повышает градус Искусство повышает градус

Достижения русской науки в Арктике за последние 400 лет

Наука
Психопаты, социопаты, нарциссы: в чем разница Психопаты, социопаты, нарциссы: в чем разница

Социопаты — это не серийные убийцы, которых мы привыкли видеть на экранах

Psychologies
Вдруг выросла спина Вдруг выросла спина

Как сделать спину снова великой

Men Today
Отцы атомной бомбы: 5 ученых, стоящих за созданием самого разрушительного оружия Отцы атомной бомбы: 5 ученых, стоящих за созданием самого разрушительного оружия

Кто создавал ядерное оружие?

ТехИнсайдер
О тонкостях астрономической терминологии О тонкостях астрономической терминологии

«Протопланетный» или «протопланетарный»: есть ли разница?

Наука и техника
Красный рынок Красный рынок

После октября 1917 года Эрмитаж начали распродавать – и даже не очень дорого

Правила жизни
12 фраз, оставленных Христом 12 фраз, оставленных Христом

Мудрость Священного Писания, которая поможет найти утешение в трудные времена

Psychologies
Худеем вместе Худеем вместе

Сидеть на диете в одиночестве мужчинам скучно. Другое дело — худеть с женой

Лиза
Океанская рыба, заплывшая в реку Океанская рыба, заплывшая в реку

Об истории замысла Словаря культуры XXI века

Знание – сила
Как искусственный интеллект обретает лицо и теряет свободу: тренды развития ИИ в России Как искусственный интеллект обретает лицо и теряет свободу: тренды развития ИИ в России

Обоснован ли ажиотаж вокруг ИИ и какие тенденции определят его развитие

Наука
Коллективное укрупнение Коллективное укрупнение

Как растут активы под управлением УК

Деньги
5 признаков того, что вы слишком увлечены заботой о партнере 5 признаков того, что вы слишком увлечены заботой о партнере

«Cиндром спасателя» — что это такое и чем выгодна эта модель поведения?

Psychologies
От «Мастера и Маргариты» до «Онегина»: удачные и провальные экранизации классики От «Мастера и Маргариты» до «Онегина»: удачные и провальные экранизации классики

Успешные и провальные случаи киноадаптаций больших книг

Правила жизни
Какой же вы интеллектуал с чувством юмора, если не знаете эти 14 цитат советского гения смешного Аркадия Аверченко! Какой же вы интеллектуал с чувством юмора, если не знаете эти 14 цитат советского гения смешного Аркадия Аверченко!

Каждый интеллектуал с чувством юмора обязан знать эти цитаты Аркадия Аверченко

Maxim
Анн-Гаэль Юон: «Пока меня зовет Париж» Анн-Гаэль Юон: «Пока меня зовет Париж»

О том, где Анн-Гаэль Юон черпает вдохновение и об искусственном интеллекте

Grazia
5 самых странных лотов благотворительных аукционов 5 самых странных лотов благотворительных аукционов

Иногда, чтобы помочь кому-то, нужно продать свои ресницы

Правила жизни
Петля затягивается: чем опасна новая уязвимость для проведения DDoS-атак Петля затягивается: чем опасна новая уязвимость для проведения DDoS-атак

Эксперты обнаружили новый вид атаки типа «отказ в обслуживании» (DDoS)

Forbes
Открыть в приложении