Из звука в текст и обратно
Руководитель отдела ИИ-платформы и ИИ-инструментов для сотрудников T-Банка Евгений Брицын рассказывает, как ИИ распознает звуки, «угадывает» буквы и собирает их в слова, что ждет голосовые сервисы через несколько лет и почему «чистый» звук — не всегда хорошо
Евгений, как развивалась мировая индустрия голосовых технологий и что с ней происходит сейчас?
Решить задачу распознавания речи пытались еще во второй половине XX века. Прорыв с нейросетевыми моделями в массовых зарубежных продуктах пришелся на начало 2010-х. Индустрия переизобрела голосовых роботов минимум трижды, и на каждой волне наши технологии были двигателем голосовых продуктов банка.
В 2016 году мы начали работать над собственной технологией распознавания речи для кол-центра. Уже через два года наша модель обрабатывала все звонки в компании и транскрибировала их в текст, что помогало отследить и повысить качество обслуживания клиентов. Два из трех слов она распознавала верно — для спонтанной речи из шумного телефонного канала это было прорывом.
Затем появились голосовые роботы, следующее поколение которых сейчас называют агентами, а вместе с ними — и новые вызовы: теперь нужны были не только «уши» для распознавания речи, но и «голосовые связки». В 2019 году в Т-Банке запустили собственный синтез речи, а технологии распознавания и синтеза объединили в платформу VoiceKit. Как и вся индустрия, мы стремились синтезировать чистую студийную речь, однако со временем поняли, что пользователям некомфортно взаимодействовать с ней. В итоге стали записывать обычных людей. Тут возникла еще одна сложность: зачитывая текст вслух, человек неосознанно начинал вести себя как диктор. Тогда мы сделали ставку на спонтанные монологи.
Вместе с тем развивались и технологии. В 2023 году мы перешли на синтез на LLM-подобных моделях: новый голос теперь можно было задать образцом в несколько секунд, без переобучения. А учились эти модели на живой речи, поэтому и звучали естественнее, с запинками и другими шероховатостями.
Задачи распознавания и синтеза речи сегодня можно считать практически решенными. Исключения остаются — например, когда несколько человек говорят одновременно в один микрофон или на редком языке, — но базовые задачи «услышать, перевести в текст» и «озвучить текст» решены. Свою потоковую модель распознавания для телефонных звонков, T-one, мы в 2025 году выложили в открытый доступ.
Раньше голосовой робот собирался из трех частей: распознавание переводило речь в текст, языковая модель придумывала ответ, а синтез его озвучивал. Но на каждом стыке что-то терялось. Опираясь на научные статьи и открытые наработки, мы начали обучать собственную модель, которая заменяет все три части: слышит звук и сразу отвечает звуком. Она может подстраиваться под собеседника: на шепот ответить тише, на спешку — короче, на раздражение — мягче. При этом она слушает и говорит одновременно. Привычные ассистенты работают как рация: сказал — подождал — услышал ответ. А в живом разговоре мы постоянно поддакиваем и перебиваем. Наша модель тоже так умеет: вставляет «угу», пока вы говорите, сразу замолкает, если ее перебить, и отвечает без долгих пауз.