AI-перевод речи в прямых трансляциях: практическое руководство

По теме: прочитайте наш полный гайд — 7 лучших инструментов перевода видеозвонков в сравнении (2026).

Почему Фора Софт написала это руководство

Фора Софт создала Translinguist — платформу для живого перевода на 62 языках, которая сочетает искусственный интеллект и работу живых переводчиков для многоязычных видеоконференций. Мы также обеспечиваем стриминг на Worldcast Live (задержка «стекло-в-стекло» менее 500 мс, до 10 000 зрителей одновременно), видеокомнаты в реальном времени на Speed.Space (1080p, 8 Мбит/с, до 25 участников одновременно — для Netflix, HBO и EA) и видеосервисы, соответствующие стандартам HIPAA, на CirrusMED в более чем 40 штатах США.

Этот стек означает, что мы протестировали все основные решения для перевода в реальном времени — Google, Azure, AWS, Whisper, Deepgram, ElevenLabs, Meta Seamless, DeepL — в боевых условиях на пайплайнах WebRTC и HLS. Эта статья — краткое руководство: какой пайплайн подходит для какого сценария, кто выигрывает по цене и задержке, где возникают проблемы в продакшене и как сделать перевод естественной частью продукта.

Если хотите ускорить процесс, наша команда по AI-видеостримингу уже не раз реализовывала подобные решения за 3–6 недель на любом крупном стеке WebRTC и HLS.

Что на самом деле представляет собой потоковый перевод в реальном времени

«Live-перевод» — это общее название для четырёх разных продуктов. Считать их одним и тем же — самая частая причина, по которой пилот по переводу умирает, не дойдя до релиза.

Live-субтитры. Речь распознаётся и отображается в виде субтитров на языке оригинала. Используется один движок (ASR) и один выход — текст. Целевая задержка: 300–800 мс.

Переведённые субтитры. Речь распознаётся, переводится и отображается в виде субтитров на нужном языке. Используются два компонента (распознавание речи + машинный перевод), результат — текст. Целевое время задержки: 500 мс – 1,5 с.

Дублированное аудио. Речь распознаётся, переводится и озвучивается на целевом языке. Используются три компонента (распознавание речи + перевод + синтез речи), результат — одна аудиодорожка. Цель — задержка 800 мс для диалога, 2–5 с для вещания.

Дублированное аудио с сохранением голоса. Речь переводится и пересинтезируется голосом исходного говорящего. Либо end-to-end S2ST (Meta SeamlessExpressive, Google Pixel 10), либо каскадный пайплайн с клонированием голоса (ElevenLabs Dubbing). Задержка 2–5 с; стоимость в 5–30 раз выше.

Выберите что-то одно для первого этапа. Субтитры — безопасный старт; дублирование с сохранением голоса — полёт на Луну.

Трёхступенчатый пайплайн: ASR → MT → TTS

Каскадный пайплайн в 2026 году по-прежнему остаётся вариантом по умолчанию: каждая ступень — понятный, проверенный API, который можно отлаживать отдельно.

Ступень 1: потоковое ASR (речь → текст)

Аудио поступает кадрами PCM или Opus длительностью 20–100 мс. Потоковый движок ASR выдаёт промежуточные расшифровки каждые несколько сотен миллисекунд и финальную — когда фраза завершена (обычно по паузе, которую определяет детектор речевой активности). Задержка: AssemblyAI Universal-3 Pro P50 ~150 мс; Deepgram Flux < 300 мс end-of-turn.

Ступень 2: чанковый MT (текст → переведённый текст)

Переводите каждую промежуточную расшифровку, чтобы субтитр обновлялся в реальном времени, но держите контекстное окно в пределах 100–200 символов — иначе смысл может «перевернуться» (например, «not bad» превратится в «плохо»). DeepL, Google Translate и Azure Translator предлагают потоковые API; для минимальной задержки мы используем перевод на основе LLM с загруженным глоссарием и таймаутом 800 мс, при этом в случае сбоя происходит откат на традиционный NMT.

Ступень 3: потоковое TTS (текст → аудио)

ElevenLabs, Azure Neural TTS, Google Cloud TTS и AWS Polly поддерживают чанковый синтез — они начинают передавать аудиофрагменты, ещё не получив весь текст. Чтобы дублировать речь с сохранением голоса, используйте ElevenLabs Instant Voice Clone (на основе 30-секундного образца) или Meta SeamlessExpressive (открытый исходный код, сохраняет эмоции). Задержка до первого аудиофрагмента — 200–500 мс.

Опциональная ступень: определение языка

Если говорящие переключают язык посреди речи (что типично для устного перевода и международных встреч), запускайте лёгкую модель определения языка на первых 500 мс каждой фразы, чтобы выбрать подходящий голос для ASR. Whisper поддерживает это из коробки; коммерческие API предлагают такую функцию как feature flag.

Каскад против end-to-end S2ST: когда что выбирать

End-to-end перевод речи в речь (S2ST) обещает меньшую задержку (~2 с) и сохранение голоса говорящего. Реальность 2026 года — список готовых к использованию решений S2ST по-прежнему короткий.

Бюджет задержки: куда уходит каждая миллисекунда

Пользователи терпят паузу в 500 мс. Выше 1 с они начинают повторять. Выше 2 с — перебивают собеседника. Уложиться в 800 мс сквозной задержки на каскадном пайплайне — это и есть мастерство.

Audio in (20 ms frame) ........................    20 ms
Buffering for VAD / partial emit ...............  100–300 ms
Streaming ASR inference (interim) ..............   50–200 ms
Network: ASR result → MT ......................   20– 80 ms
MT inference (chunked) .........................   50–200 ms
Network: MT result → TTS ......................   20– 80 ms
Streaming TTS time-to-first-frame ..............  150–400 ms
Audio out (20 ms frame) ........................    20 ms
                                                 ----------
                                                 Total 430–1300 ms

Где реально больно. Ожидание полной фразы на ASR (добавляет 200–500 мс), повторный перевод всей фразы на каждом промежуточном результате (тратит токены и добавляет 100–200 мс) и переходы между регионами между ASR, MT и TTS (могут добавить по 100 мс).

Где выигрыш. Разместите ASR, MT и TTS в одном облачном регионе. Передавайте частичный перевод, когда уверенность ASR превышает 0,7. Запускайте синтез TTS на первом переведённом фрагменте, а не на итоговом. Используйте модели INT8 или 4-битной квантования для self-hosted Whisper / Seamless, если работаете на GPU.

Метрики качества: WER, COMET, MOS

Три числа охватывают весь пайплайн на всех этапах. Все три должны отображаться на дашборде.

Word Error Rate (WER) — качество ASR. Держите < 5% для носителей языка, < 10% для речи с акцентом, < 15% для речи с переключением языков или шумного аудио. Выше 15% — и перевод начинает «галлюцинировать», даже если MT идеален.

COMET — качество MT. BLEU устарел; COMET намного лучше коррелирует с оценкой человека. Цель — не ниже 0,75 для production; ниже 0,60 — эскалация к редактору или откат на более дорогой тариф машинного перевода. LLM-переводы иногда выдают ошибки — проверяйте выборочно 1–2% трафика постоянно.

Mean Opinion Score (MOS) — качество синтеза речи и общий уровень звука. Цель: средний MOS не ниже 4,0; если показатель ниже 3,5 — в продакшн не выпускать. При дублировании с клонированным голосом дополнительно проверяйте сходство диктора (косинусная близость эмбеддингов; цель — не ниже 0,85).

Совокупная цель в production. WER 4,5% + COMET 0,75 + MOS 4,2 — ровно то качество, с которым Translinguist стартовал при запуске. Если по любой из метрик отклонитесь больше чем на 15%, это проявится в бизнес-показателях (доля завершённых сессий, частота повторных вопросов) уже в течение недели.

Как выбрать провайдера ASR

Deepgram

Наш дефолт для коммерческого ASR с низкой задержкой. Модель Flux: < 300 мс end-of-turn, ~150–250 мс до первого токена, 0,7 ₽/мин для real-time. Хорошо распознаёт английский; испанский, французский, немецкий, португальский, хинди — уверенно. Кастомные словари через API Nova.

AssemblyAI

Universal-3 Pro streaming: P50 — около 150 мс, P90 — около 240 мс, 14,5% WER на разнородном бенчмарке — лучшая точность в потоковой категории. 0,18 ₽/мин в батч-режиме, дороже в стриминге. Отличный английский; хуже работает с низкоресурсными языками.

Azure Speech-to-Text

~1,2 ₽/мин. Поддержка более 100 языков, опыт работы с enterprise-клиентами и соответствие требованиям безопасности (включая HIPAA BAA, хранение данных в ЕС). Live Interpreter объединяет распознавание речи, перевод и синтез речи и обеспечивает измеренную сквозную задержку 0,78 с.

Google Cloud Speech-to-Text

1,2 ₽/мин стандарт, 1,8 ₽/мин enhanced. Поддержка 125+ языков — самое широкое покрытие в этом списке. Качество хорошее, но иногда возникает «пульсирующая» задержка при потоковой передаче; чанкинг нужно настраивать осторожно.

AWS Transcribe

1,8 ₽/мин streaming (tier 2: 1,1 ₽/мин), медицинский тариф в 3 раза выше. 75 языковых пар. Легко подключиться, если вы уже используете AWS и хотите работать с одним поставщиком.

OpenAI Whisper / Faster-Whisper (self-hosted)

Open source, обучен на 1 млн часов. Whisper-large-v3 обеспечивает точность уровня коммерческих решений по значительно более низкой цене, если у вас уже есть GPU. Faster-Whisper (CTranslate2) ускоряет обработку примерно в 4 раза. Идеальный выбор для задач под регуляторным контролем, где аудиоданные не могут покидать защищённую зону.

Как выбрать провайдера машинного перевода

DeepL. Лидер по качеству перевода европейских языков. Поддержка глоссариев для корпоративных клиентов (например, Deutsche Bahn использует глоссарий из 30 000 записей). Бесплатный тариф — до 500 тыс. символов в месяц; бизнес-планы — около 1 500 ₽ за миллион символов. Voice API запустят весной 2026 года.

Google Cloud Translation API. Поддерживает более 100 языков, работает быстро и недорого при больших объёмах — около 1 500 ₽ за миллион символов на тарифе v3 advanced. Есть поддержка глоссариев. Выбираем по умолчанию, когда важнее охват языков, чем максимальная естественность перевода.

Azure Translator. Сравнимая цена. Лучший выбор, если вы уже используете Azure Speech — тот же SDK, те же гарантии по задержкам.

AWS Translate. 1 125 ₽ за миллион символов — стандартный тариф, 4 500 ₽ за миллион — для кастомных моделей. Каталог поддерживаемых языков уже, чем у Google.

LLM-перевод (GPT-4o, Claude, Gemini). Наиболее естественный результат, лучше других справляется с идиомами и юмором, точно следует инструкциям в системном промпте, например, «переведи в разговорном стиле». Иногда выдаёт ошибки при работе с длинными текстами — проверяйте качество через COMET и при низкой уверенности возвращайтесь к DeepL. В 3–10 раз дороже классического машинного перевода за 1000 токенов.

Как выбрать провайдера TTS и клонирования голоса

ElevenLabs. Лидер рынка по выразительной озвучке и клонированию голоса. Мгновенное клонирование по 30-секундному образцу; Dubbing Studio — 150 ₽/мин с водяным знаком, 225 ₽/мин без. Поддержка более 32 языков. MOS стабильно 4,3–4,5 на тестах с разговорной речью.

Azure Neural TTS. Отличное качество для бизнеса, более 400 голосов, доступна настройка собственного нейросинтезатора (CNV) с процессом получения согласия. Оплата — за символ (~1 200 ₽ за миллион).

Google Cloud Text-to-Speech. Хороший вариант по умолчанию, нативно интегрируется с Google Translation, 300 ₽ за миллион символов для стандартных голосов / 1 200 ₽ за миллион для нейронных. Chirp HD по качеству сопоставим с ElevenLabs на основных языках.

AWS Polly. 360 ₽ за миллион символов для нейронных голосов. Работает стабильно, но по выразительности уступает ElevenLabs. Выбирайте из-за цены и интеграции с AWS.

Meta SeamlessExpressive. Открытый исходный код, TTS с сохранением эмоций на 100 языках. Хорошее решение, если нужно дублирование речи с сохранением голоса, но не хочется платить enterprise-цену ElevenLabs.

Сравнение провайдеров

Как встроить перевод в WebRTC

WebRTC обеспечивает задержку передачи медиа около 300 мс. Добавьте к этому пайплайн перевода — получится примерно 1 секунда, что всё ещё остаётся ниже порога, при котором разговор кажется естественным. Паттерн, который мы используем в каждом проекте на WebRTC:

1. Раздвоить аудио на SFU. LiveKit, mediasoup, Janus и Jitsi позволяют подключаться к аудиодорожке публикующего как к сырому RTP- или Opus-потоку. Перенаправьте этот поток в воркер перевода.

2. Запустить ASR + MT + TTS как headless-сервис. Node.js, Go или Python. Один воркер на одного активного говорящего. Масштабируйте горизонтально — задача отлично распараллеливается.

3. Опубликовать переведённое аудио как вторую дорожку. Либо как нового участника SFU («Переводчик для говорящего A → испанский»), либо как дополнительную SDP m-строку в том же соединении peer connection с указанием языкового кода в MSID. Зрители выбирают нужный язык для просмотра.

4. Отправлять субтитры через data channel. Низкий джиттер, доставка в порядке следования, без отдельного медиапотока. Клиент накладывает их с помощью CSS. VTT-таймкоды синхронизируют субтитры с переведённым аудио.

5. Глушить оригинальное аудио на стороне слушателя. Каждый зритель выбирает: «оригинал + субтитры», «переведённое аудио + субтитры» или «только переведённое аудио». Это микшер на стороне клиента — SFU отдаёт обе дорожки.

Как встроить перевод в HLS / LL-HELS

Для трансляций вещательного типа — спорт, конференции, концерты, live-мероприятия уровня Worldcast — доминирует HLS. Задержка составляет 2–5 с при использовании LL-HTTP Live Streaming (LL- HLS) и 5–30 с при классическом HLS, поэтому у разработчиков больше времени на обработку, но синхронизация контента на стороне CDN становится сложнее.

Дорожка субтитров: сегментированный WebVTT. Добавьте #EXT-X-MEDIA TYPE=SUBTITLES в мастер-плейлист — по одной записи на каждый язык. Разбивайте WebVTT на сегменты по 4–6 секунд, чтобы они совпадали с медиасегментами. Большинство плееров (hls.js, Shaka) переключают язык автоматически.

Дублированное аудио: дополнительные аудиорендиции. Добавьте #EXT-X-MEDIA TYPE=AUDIO на каждый язык. Клиент выбирает одну при воспроизведении. Перекодируйте переведённое аудио в AAC по тем же сегментным границам, что и видео, чтобы lip-sync держался в пределах ±200 мс.

Сохраняйте атомарность CMAF. Для LL-HTTP Streaming убедитесь, что каждый чанк (вход ASR, выход MT, выход TTS, видеосегмент) попадает на одну и ту же границу CMAF. Иначе субтитры начнут отставать, и через пару часов трансляции зрители начнут жаловаться на рассинхрон с речью.

Субтитры или дублированный голос: что выбрать

Субтитры выигрывают по: стоимости (в 5–10 раз дешевле), охвату языков (доступны на 100+ языках, а качество дубляжа падает уже после 40), доступности (глухим и слабослышащим они нужны в любом случае) и в многоязычных сценариях, когда зрители смотрят оригинальное видео и одновременно читают перевод.

Дубляж выигрывает по: вовлечённости (досматриваемость на субтитрованном контенте падает на 20–30% по сравнению с дублированным), доступности для зрителей с низкой грамотностью, сценариям без визуального контакта с экраном (вождение, готовка, спорт издалека) и ощущению «премиум» для платного контента.

Поставляйте и то, и другое. Дайте зрителю выбор. Субтитры стоят 3,7–11,2 ₽ за минуту речи на одного говорящего; дублированное аудио добавляет 22,5–225 ₽ в зависимости от качества голоса. При типичном распределении — 60–70% зрителей смотрят с субтитрами, 20–30% — с дубляжом, 10% — с оригиналом — общая стоимость остаётся в пределах разумного.

Мини-кейс: Translinguist, платформа live-перевода на 62 языка

Ситуация. Клиент хотел запустить live-перевод конференций и занятий на 62 языках в единой платформе — с AI-переводом (дёшево, круглосуточно) и человеческим устным переводом (премиум, по запросу), доступными через один интерфейс. Готовые решения поддерживали максимум 5–10 языков; ни у кого не было гибридной модели с AI и людьми, а также низкой задержкой передачи через WebRTC.

План на 12 недель. Недели 1–3 — собрали трёхступенчатый каскадный пайплайн (ASR на мультипровайдерном роутере, DeepL + Google MT с попарной оценкой качества, ElevenLabs + Azure Neural TTS). Недели 4–6 — интегрировали в WebRTC SFU с выбором языка на стороне слушателя. Недели 7–9 — добавили слот для живого переводчика через маршрутизацию WebRTC-аудио и реализовали процесс бронирования. Недели 10–12 — провели полную QA-матрицу COMET + MOS, внедрили глоссарии для топ-12 отраслей и добавили контроль приватности (опт-ин на запись, переключатель хранения данных в ЕС).

Результат. Полное покрытие 62 языков с самого начала. Сквозная задержка — от 900 мс до 1,4 с при AI-переводе по топ-12 языковым парам. Смешанный MOS — 4,2 при AI-дубляже, средний COMET — 0,78 при машинном переводе, WER — 5,1% при распознавании речи. Платформа сейчас обрабатывает тысячи минут многоязычных встреч в месяц. Прочитайте сопутствующий разбор о том, как добавить переводчика в реальном времени в WebRTC-видеозвонок.

Если хотите получить аналогичный объём работ на три месяца под свой стек, позвоните нам — за 30 минут обсудим детали и попросим прислать запись.

Математика стоимости: во что реально обходится час многоязычного стрима

Четыре строки расходов на один целевой язык за час речи. Подставьте свой прайс в тот же шаблон.

1 час активной речи = 60 мин = ~9 000 слов = ~55 000 символов

Переведённые субтитры (ASR + MT):
  ASR:  60 мин   × 0,75 ₽/мин       =  45 ₽
  MT:   55 000 симв. × 1 500 ₽/млн   =  82 ₽
                                          --------
                                          ~127 ₽ / час / язык

Дублированное аудио (ASR + MT + TTS):
  ASR:  45 ₽
  MT:   82 ₽
  TTS:  55 000 симв. × 1 200 ₽/млн   =  66 ₽
                                          --------
                                          ~193 ₽ / час / язык (нейронное TTS)

Дубляж с клонированием голоса (ElevenLabs Dubbing):
  ~150–225 ₽/мин дубляжа × 60 = 9 000–13 500 ₽ / час / язык

Откат на живого переводчика:
  ~5 200–11 200 ₽ / час / язык

Для события на 10 языках с 40 часами речи в месяц субтитры обойдутся примерно в 51 000 ₽, AI-дубляж — около 77 200 ₽. Дубляж с клонированием голоса вырастает до 3,6 млн ₽ — поэтому мы используем клонирование голоса только для on-demand-контента, а не для прямых трансляций.

Фреймворк решения — выбираем стек за пять вопросов

1. Субтитры или дублированное аудио? Начинайте с субтитров, если только продукт не связан с просмотром контента, где дубляж заметно повышает досматриваемость. Большинству продуктов для конференций и e-learning полноценный дубляж не нужен вообще.

2. Насколько жёсткий бюджет задержки? < 1 с разговорного формата — каскад с потоковым ASR. 2–5 с вещательного формата позволяют использовать batch ASR, более широкий контекст MT и более качественное TTS. Сначала зафиксируйте бюджет — потом подбирайте провайдеров.

3. Сколько языковых пар нужно на старте? Меньше 5 → стоит рассмотреть Azure Live Interpreter или self-hosted-развёртывание Seamless. 5–25 → каскад из DeepL и ElevenLabs. 25+ → каскад с Google или Azure (важнее охват, чем качество).

4. Данные под регуляторикой? Если в скоупе HIPAA, GDPR или SOC 2 → Whisper на устройстве либо Azure с хранением в ЕС и подписанным BAA. Если регуляторики нет → выбирайте по задержке и стоимости. Этот один вопрос отсекает половину коммерческих провайдеров для медицины.

5. WebRTC, HLS или оба? Только WebRTC → раздвоение аудио на SFU и выбор языка на стороне слушателя. Только HLS → дополнительные аудиорендиции и сегментированный WebVTT. Оба сразу (приём по WebRTC, доставка по HLS) → гибрид с выравниванием CMAF-таймстемпов. Протокол доставки определяет половину архитектуры.

Пять подводных камней, которые сломают ваш пайплайн перевода

1. Перевод промежуточных выходов ASR без порогов уверенности. Если переводить каждые 200 мс, быстро исчерпается бюджет перевода, а субтитры будут «мерцать». Установите порог уверенности ASR выше 0,7 и обновляйте перевод только при изменении начала фразы.

2. Нет доменного глоссария. Универсальный MT искажает названия продуктов, медицинские коды и юридическую терминологию. Заранее предусмотрите возможность загрузки глоссария на тенант. Типовой эффект: WER на доменной лексике снижается в 3–5 раз.

3. Смешение endpoints из разных регионов. ASR в США + MT в ЕС + TTS в США добавляют 100–200 мс чистой сетевой задержки на каждую фразу. Прикрепите все три endpoints к одному региону, а зеркалирование в другие добавляйте только при необходимости.

4. Игнорирование перекрывающейся речи. Два человека говорят одновременно. ASR выдаёт перемешанные промежуточные результаты. MT галлюцинирует. TTS произносит абракадабру. Запустите диаризацию говорящих на стороне SFU и направляйте речь каждого в отдельный пайплайн.

5. Нет фолбэка при отказе провайдера. ASR API возвращают 5xx. MT-модели упираются в rate-лимит. TTS-сервисы выходят из строя при региональных авариях. Постройте маршрутизатор по двум провайдерам с переключением быстрее 500 мс и логируйте каждое срабатывание фолбэка как метрику. Пользователь не должен видеть сообщение «сервис перевода недоступен».

Приватность, HIPAA, GDPR для трансграничной передачи аудиоданных

HIPAA. В здравоохранении США аудиозаписи часто содержат персональные медицинские данные (PHI). С каждым участником цепочки обработки данных требуется подписанное соглашение о обработке защищённой информации — BAA. Azure и AWS предоставляют такие соглашения, а многие молодые поставщики ASR — нет. Использование ASR на устройстве с помощью Whisper решает проблему полностью, но требует мощного GPU.

GDPR. Персональные данные граждан ЕС должны храниться в пределах ЕС или передаваться с соблюдением SCC и DPA. Регионы Azure DE и AWS EU-West обеспечивают соответствие напрямую. Особую опасность представляет голосовая биометрия — её невозможно восстановить. Штрафы за нарушения могут достигать €20 млн или 4% мировой выручки компании.

Согласие. Чтобы использовать голос для перевода, получите явное согласие пользователя. Разместите баннер с запросом согласия до первого вызова ASR. Логируйте временные метки согласия и идентификаторы провайдеров для каждой сессии — это поможет пройти аудит.

Дефолты по хранению. Начинайте с нулевого хранения аудио на стороне ASR/MT/TTS-провайдеров (большинство enterprise-тарифов это поддерживают) и ограничьте хранение расшифровок на своём сервере 30 днями, если клиент не выбрал больший срок осознанно.

KPI для отчётов перед бизнесом

Показатели качества. WER p50 по языку, COMET p50 по паре, смешанный MOS по выходной дорожке. Цели: WER < 8%, COMET ≥ 0,75, MOS ≥ 4,0. Если значение в любой ячейке матрицы ниже целевого — задача попадает в бэклог.

Бизнес-метрики. Доля сессий, в которых включали перевод; время просмотра переведённых дорожек по сравнению с оригиналом; частота повторных вопросов (косвенный признак путаницы из-за перевода); NPS по языковым группам.

Метрики надёжности. Сквозная задержка p95 на каждой стадии пайплайна, доступность провайдера по языкам, частота срабатывания фолбэка. Алерт при превышении целевой p95 в течение 5 минут подряд.

Когда live-перевод добавлять НЕ стоит

Ваша аудитория практически одноязычная. Если 95% зрителей говорят на одном языке, перевод только отвлекает. Лучше адаптировать интерфейс и записи событий — это в 10 раз дешевле.

Контент — юридические, медицинские или финансовые консультации. Галлюцинации MT в этих областях могут иметь серьёзные последствия. Используйте переведённые субтитры с чётким дисклеймером «машинный перевод» или передавайте задачи живым переводчикам.

Ваш бюджет задержки — меньше 500 мс. Настоящие интерактивные игры, совместное производство трансляций. Каскадный перевод сегодня не укладывается в 500 мс.

Продукт ещё не нашёл PMF. До product-market fit перевод — это шум. Сначала запустите ядро продукта на одном языке; добавляйте перевод, когда об этом начнут спрашивать повторные когорты.

FAQ

Какая реалистичная сквозная задержка для live AI-перевода в 2026 году?

На хорошо настроенном каскадном пайплайне в одном облачном регионе: 800 мс — 1,5 с для переведённых субтитров и 1–2 с для дублированного аудио на основных языковых парах. End-to-end S2ST (Google Pixel 10, Meta Seamless) достигает ~1–2 с с сохранением голоса, но работает только для нескольких языковых пар.

Какой движок ASR лучше всего подходит для live-стримов?

Deepgram Flux выигрывает по задержке (< 300 мс end-of-turn), AssemblyAI Universal-3 Pro — по точности (14,5% WER), а Whisper large-3 self-hosted — по приватности и удельной стоимости, если у вас уже есть GPU. Для медицины под регуляторикой Azure Speech с подписанным BAA — безопасный выбор по умолчанию.

Сколько стоит live AI-перевод за час?

Переведённые субтитры: ~127 ₽/час/язык. AI-дубляж: ~193 ₽/час/язык на нейронном TTS. Дубляж с клонированием голоса (ElevenLabs): 9 000–13 500 ₽/час/язык. Живой устный переводчик: 5 200–11 200 ₽/час/язык. Большинство продуктов стартуют с субтитров, чтобы сэкономить, а потом предлагают дубляж как дополнительную опцию.

Можно ли сохранить оригинальный голос говорящего в переведённом выводе?

Да, через клонирование голоса. Либо с помощью end-to-end S2ST-моделей (например, Meta SeamlessExpressive open source, Google Pixel 10 on-device), либо через каскадные пайплайны с использованием ElevenLabs Instant Voice Clone. Для обучения модели потребуется 30-секундный сэмпл, стоимость дубляжа — 150–225 ₽ за минуту. Будьте внимательны с согласием: голос относится к биометрическим данным и регулируется GDPR.

Как встроить перевод в существующий WebRTC SFU?

Разделите аудиодорожку каждого участника, транслируемого в формате сырого RTP или Opus, и направьте её в воркер перевода для каждого говорящего с использованием ASR, MT и TTS. Опубликуйте переведённое аудио обратно в SFU — либо как нового участника, либо как дополнительную SDP m-линию. Субтитры передавайте через data channel. LiveKit, mediasoup, Janus и Jitsi поддерживают такой подход из коробки.

Как измерять качество перевода в production?

Отслеживайте три показателя: WER на ASR (цель — менее 10%), COMET на MT (цель — не ниже 0,75), MOS на TTS (цель — не ниже 4,0). Направляйте 1–2% трафика на автоматическую оценку непрерывно и раз в неделю просите людей проверить стратифицированную выборку из 50–200 фраз по языку. Алерт — если любая метрика упадёт более чем на 10% по сравнению с предыдущей неделей.

Законно ли прогонять аудио клиента через сторонние AI-сервисы?

Зависит от регулятора и данных. В США PHI требует подписанного BAA с каждым провайдером. В ЕС персональные данные требуют DPA и — для надёжного соответствия — регионального хранения. Всегда показывайте явный баннер согласия до начала обработки, логируйте согласие и предлагайте ASR на устройстве тем, кто отказывается от облачной обработки.

Сколько времени уйдёт на сборку production-пайплайна перевода?

С AI-ассистируемой инженерией мы обычно закладываем 3–6 недель на добавление субтитров поверх существующего стека WebRTC или HLS и 8–12 недель на полный дубляж с клонированием голоса, глоссариями и проверками соответствия требованиям. Translinguist (62 языка, гибрид AI и людей) занял около 12 недель от старта до запуска.

Что почитать дальше

Готовы выйти на многоязычность?

Live AI-перевод в 2026 году — это трёхступенчатый каскадный пайплайн (ASR, MT, TTS), подключённый к слою доставки WebRTC или HLS. Следите за качеством по WER, COMET и MOS. Задержка должна быть не больше 800 мс для разговора и 2–5 с для вещания. Сначала запускайте субтитры, оценивайте интерес аудитории, а потом добавляйте дубляж только тем группам, которые реально слушают переведённое аудио.

Если такой план вам подходит, наша команда уже реализовывала это на 62 языках — и наш пайплайн Agent Engineering обычно запускает переведённые субтитры в продакшн за 3–6 недель поверх существующего стека.