Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Исследование выявило один фактор, по которому можно понять, что вы находитесь в здоровых отношениях Исследование выявило один фактор, по которому можно понять, что вы находитесь в здоровых отношениях

Как узнать, что ваши отношения здоровые? Поможет поступок, выявленный учеными

ТехИнсайдер
«Тест на любовь»: женитьба времен пандемии «Тест на любовь»: женитьба времен пандемии

В МТМ — премьера мюзикла «Тест на любовь»

Монокль
IT-разработка «внутри» или готовое решение: что выбрать IT-разработка «внутри» или готовое решение: что выбрать

Стоит ли IT-компании разрабатывать ПО с нуля или лучше купить готовое решение?

Inc.
Отдохни! Отдохни!

Досрочная пенсия для женщин: кому положена и как ее получить

Лиза
Новое открытие в нейробиологии: ученые разобрались, как на самом деле работает память Новое открытие в нейробиологии: ученые разобрались, как на самом деле работает память

Какой процесс играет ключевую роль в том, как хранятся воспоминания?

Inc.
Кибермошенничество. Актуальные схемы и меры противодействия Кибермошенничество. Актуальные схемы и меры противодействия

Как защитить себя и свои средства от кибермошенничества?

Наука и техника
Жизнь им к лицу Жизнь им к лицу

Как биохакеры пытаются победить переутомление, болезни и смерть

РБК
Набросок города Набросок города

Владивосток: освоение пейзажа зоной

Weekend
Господин фикус Господин фикус

Приметы и суеверия, связанные с популярным комнатным растением

Лиза
Дизайн человека Дизайн человека

Как предсказать будущее фигуры без натальной карты? Боди-менеджмент — наше все.

Собака.ru
Домашние просторы Домашние просторы

Связь с внешним миром и пространство, наполненное светом, в трехэтажном доме

Идеи Вашего Дома
У дуэли женское лицо У дуэли женское лицо

«Первая дуэль»: костюмная драма о фехтовальщиках и суфражистках

Weekend
Как почистить ванну, не напрягая спину: 2 отличных способа, экономящих твои силы Как почистить ванну, не напрягая спину: 2 отличных способа, экономящих твои силы

Удобные методы очистки ванны, после которых не устает спина

VOICE
9 трендов в уборке, которые стоит попробовать в этом году: мнение профессиональных клинеров 9 трендов в уборке, которые стоит попробовать в этом году: мнение профессиональных клинеров

Что сейчас считается трендом в области наведения порядка и чистоты в доме?

VOICE
Не только игрушки: чем интересна для бизнеса сфера SexTech и что мешает ее развитию Не только игрушки: чем интересна для бизнеса сфера SexTech и что мешает ее развитию

С какими барьерами сталкивается SexTech индустрия?

Forbes
Звёзды завтрашнего дня Звёзды завтрашнего дня

Ева Сергеенкова и Макар Михалкин — яркие личности, будущие звезды Большого!

OK!
Паук, который захотел стать муравьем: редкая находка в ископаемой смоле Паук, который захотел стать муравьем: редкая находка в ископаемой смоле

Этот ископаемый паук замечателен тем, что имитирует внешний вид муравья

ТехИнсайдер
Из почвы в почву Из почвы в почву

«Калина красная»: как можно вернуться в крестьянский мир

Weekend
«Масло с водой не смешивается». Глава из романа «Заххок» Владимира Медведева «Масло с водой не смешивается». Глава из романа «Заххок» Владимира Медведева

Глава из романа, в котором пересекаются культуры прошлого и настоящего «Заххок»

СНОБ
Искра моря Искра моря

Траулеру Scintilla Maris посчастливилось стать настоящей экспедиционной яхтой

Y Magazine
Как телефон убивает отношения Как телефон убивает отношения

Что-то пошло не так, и гаджеты всё чаще вызывают ссоры и ревность

Здоровье
«Так и живет большинство»: отрывок из романа о бегстве из невыносимого брака «Так и живет большинство»: отрывок из романа о бегстве из невыносимого брака

Отрывок из романа Антонии Байетт «Вавилонская башня»

Forbes
«Близкие отказываются помогать с ребенком, ведь они не просили меня рожать»: история читательницы и комментарий психолога «Близкие отказываются помогать с ребенком, ведь они не просили меня рожать»: история читательницы и комментарий психолога

Почему семья может не поддерживать маму с ребенком? История читательницы

Psychologies
Этилацетат оказался самым важным компонентом бельгийского пива Этилацетат оказался самым важным компонентом бельгийского пива

Кченые проанализировали химический состав 250 марок бельгийского пива

N+1
Как и зачем айтишник из Якутии пытается сохранить исчезающие языки малочисленных народов России с помощью современных технологий Как и зачем айтишник из Якутии пытается сохранить исчезающие языки малочисленных народов России с помощью современных технологий

Как эколог стал IT-специалистом и сложно ли ИИ говорить на редких языках

СНОБ
Только вперед Только вперед

Детские и недетские вопросы — от важности побыть одному до индульгенции границ

Psychologies
От Одри Хепберг до Билли Айлиш: 12 легендарных песен, получивших премию «Оскар» От Одри Хепберг до Билли Айлиш: 12 легендарных песен, получивших премию «Оскар»

Самые легендарные оскароносные треки, которые знают и любят во всем мире

Forbes
Как выглядел бы Марс, будь он пригодным для жизни Как выглядел бы Марс, будь он пригодным для жизни

Возможно ли на планете размером с Марс возникновение условий для жизни?

Наука и техника
По ком звонит телефон По ком звонит телефон

Как работают похитители средств граждан и как им противостоять

Деньги
Уровень смертности молодых людей США в 2,5 раза выше, чем в других странах: почему Уровень смертности молодых людей США в 2,5 раза выше, чем в других странах: почему

Взрослые в США умирают гораздо чаще, чем их сверстники из других стран. Почему?

ТехИнсайдер
Открыть в приложении