Видео‑AI‑агенты в 2026: архитектура, бюджет задержки, стек и поминутная экономика

Почему гайд по видео‑AI‑агентам пишет именно Фора Софт

Фора Софт делает продукты с реальным временем и AI с 2005 года. Мы запускали в продакшене помощника для звонков отдела продаж на Meetric, синхронный перевод в реальном времени на TransLinguist и VOLO и эксплуатируем стеки, в которых одновременно живут LiveKit, Whisper, GPT-4o, Llama 3.3, ElevenLabs и кастомные vision‑пайплайны.

Этот гайд — ровно тот разговор, который мы ведём, когда продакт‑менеджер спрашивает: «а как видео‑AI‑агент устроен внутри?». Тут есть мнение, нет вендорной предвзятости, и каждый абзац опирается на клиентские проекты, где приходится укладываться в субсекундную задержку и предсказуемую поминутную экономику. Наша AI‑интеграционная практика как раз на таких задачах построена.

Внутри мы пользуемся подходом Agent Engineering — именно поэтому наши оценки по срокам и бюджету типично на 30–50 % быстрее, чем у агентств, которые до сих пор делают это вручную.

Что такое видео‑AI‑агент

Видео‑AI‑агент — это софт, который подключается к живой аудио‑ и видеосессии, воспринимает происходящее, рассуждает с помощью LLM и действует: говорит, делает резюме, дёргает UI, эскалирует разговор человеку или всё это сразу. По сути, это потоковый родственник классического LLM‑агента: тот же цикл, но жёсткие требования реального времени.

Минимально жизнеспособный агент проходит четыре стадии: воспринять (вход аудио, опционально видео), понять (ASR + разбор намерения и vision), подумать (рассуждения LLM, вызовы инструментов, ретривал), действовать (вывод TTS, вызовы функций, события UI). Любой коммерческий продукт — LiveKit Agents, Daily AI, Vapi, Retell, Pipecat — реализует эту же схему, отличаются только дефолтные значения.

Стоит сразу прояснить две оговорки. «Реальное время» в этом домене значит, что цикл замыкается быстрее секунды в большинстве случаев. «Мультимодальность» значит больше одного входного потока: чаще всего аудио + видео, иногда аудио + screen share, иногда аудио + события UI. Наш подробный гайд по мультимодальным агентам на LiveKit разбирает сам стек глубже.

Эталонная архитектура — девять компонентов в секундном цикле

Картинка, которую любая команда рисует на доске:

1. Транспорт реального времени. LiveKit, Daily, Twilio, Vonage или собственный SFU. Тащит аудио и видео в обе стороны, односторонняя задержка ниже 300 мс. 2. Стриминговый ASR. Whisper Large v3 (HF), Deepgram Nova-3, AssemblyAI Streaming. Возвращает частичные результаты за 200 мс. 3. Захват видеокадров. Опционально. Кадры берутся периодически (каждые 1–5 с) и отправляются в vision‑совместимую LLM. 4. Определение конца реплики. Ловит момент, когда пользователь договорил, чтобы запустить LLM. На VAD, обученное или встроенное в платформу.

5. Ядро на LLM. GPT-4o, Claude 3.5 Sonnet, Llama 3.3 70B, Qwen 3.5, DeepSeek V3.2. Стриминговая генерация, function calling, опционально vision. 6. Ретривал и RAG. Векторное хранилище и эмбеддинги: подтягивает в промпт продуктовый, клиентский и базы‑знаний контекст. 7. Вызовы инструментов. Function call‑схема для всего, что агент умеет делать (найти заказ, забронировать слот, отправить письмо, эскалировать).

8. TTS. ElevenLabs, Cartesia Sonic, OpenAI TTS, Deepgram Aura. Стриминговый вывод, привязанный к границам предложений: TTS начинает говорить ещё до того, как LLM закончила генерацию. 9. Оркестрация и состояние. Небольшой сервис, который держит состояние сессии, память диалога, политики ретраев и фолбэков. Эту функцию закрывают LiveKit Agents и Pipecat «из коробки».

Цикл рассуждения после тюнинга замыкается за 600–1 200 мс. Частичный ASR — 200 мс, определение конца реплики — 100 мс, первый токен LLM — 200–400 мс, первый аудиосэмпл TTS — 100–200 мс, сеть и jitter‑буфер — 200–400 мс. Всё, что выше 1,5 с, ощущается как сломанный диалог.

Бюджет задержки — куда уходит каждая миллисекунда

Эталонный стек 2026 — шпаргалка по вендорам

Чем видео‑AI‑агент отличается от голосового бота

Голосовые агенты и видео‑AI‑агенты используют почти один и тот же стек, но расходятся в трёх местах. Понимание этих различий не даст переинвестировать в одно и забыть про другое.

Vision — это дополнительная статья расходов и задержек. Кадры считаются токенами, мультимодальные LLM берут деньги за каждое изображение. Наивная схема «один кадр в секунду» способна съесть весь бюджет до того, как вы это заметите. Стратегию отбора кадров (frame gating) надо закладывать с первого дня.

Определение конца реплики становится сложнее. Видео даёт визуальные подсказки (направление взгляда, движение губ) для конца фразы. Если использовать их грамотно, выигрыш по задержке составляет 50–150 мс по сравнению с чистым голосовым VAD.

Требования к UX выше. Пользователь видит аватар или видеовыход агента; артефакты «зловещей долины», синхронизация губ и визуальные заполнители (индикаторы набора, «думаю...») превращаются из инженерных мелочей в продуктовые требования.

Eval и непрерывное улучшение — как держать качество на росте

Видео‑AI‑агент ровно настолько хорош, насколько хорош eval‑набор, на котором его прогоняют. Процесс, к которому в 2026 году сходятся самые сильные команды:

1. Размечайте 50–200 диалогов вручную. Реальные продакшен‑расшифровки, оценённые экспертом по 1–5 шкале по нескольким измерениям: точность, тон, корректность действий, безопасность.

2. Автоматизируйте оценку LLM‑судьёй. Вторая модель оценивает ответы агента по той же рубрике, откалибрована против человеческих оценок. Это позволяет регрессионно тестировать агент на сотнях диалогов после каждого изменения.

3. Трассируйте всё. Langfuse или LangSmith пишут полный диалог, промпт, вывод модели, вызовы инструментов и тайминги. Галлюцинации и регрессии превращаются в конкретные строки в трассе, а не в расплывчатые тикеты.

4. Возвращайте диалоги обратно в eval‑набор. Каждая эскалация, каждый «палец вниз», каждая жалоба клиента превращается в новый размеченный пример. Eval‑набор растёт — качество растёт.

5. Гейтите смену моделей через eval. Когда GPT-4o превратится в GPT-5, а Llama 3.3 — в Llama 4, прогоняйте eval до того, как переключаетесь. Неправильная замена модели тихо просаживает качество на 10 %.

Пять сценариев использования с самой быстрой окупаемостью

1. Помощники для звонков отдела продаж и резюме встреч. Расшифровка звонка в реальном времени, выделение action‑item, автоматическое обновление CRM, итоговое резюме после звонка. Этот паттерн Meetric катит в продакшене. Окупаемость меньше шести месяцев для любой команды продаж от 20 человек.

2. Телемедицинская сортировка. Сбор симптомов, фиксация витальных показателей через vision, предварительное резюме для врача, автоматическая генерация заметок. Снижает нагрузку на врача на 30–40 %; HIPAA закрывается self‑hosted Llama.

3. Синхронный перевод в реальном времени. Двусторонний голосовой перевод в видеозвонках с субсекундной задержкой. TransLinguist и VOLO — готовая референс‑архитектура.

4. Ведущие в live‑commerce. Постоянно работающий стример отвечает на вопросы по товарам в чате или голосом во время живой трансляции. Поиск по складу подключается как вызов инструмента.

5. Эскалация в клиентской поддержке. AI‑агент сортирует обращения, закрывает типовые случаи, эскалирует сложные на человека с полным контекстом. Среднее время обработки в наших пилотах падает на 30–50 %.

Модель стоимости — поминутная экономика на трёх реальных стеках

Два неочевидных факта. TTS часто оказывается самой дорогой строкой: ElevenLabs по 22 ₽ за 1 000 символов накапливается быстрее, чем счёт за LLM, на болтливых агентах. Видеокадры раздувают стоимость LLM: отправка одного кадра в секунду на GPT-4o vision в 30‑минутном звонке способна увеличить счёт за LLM в пять раз по сравнению с режимом «только аудио».

Когда отправлять кадры в агент, а когда нет

Vision — это то, что превращает видео‑AI‑агента в нечто большее, чем голосовой бот. И это же главный мультипликатор стоимости и задержки. Три правила из продакшен‑опыта.

1. Отправляйте кадры редко. Большинству сценариев хватает одного кадра раз в 2–5 с, а не каждую секунду. Привязывайте захват к изменениям (жест, переключение screen share, поднятый перед камерой документ), а не к таймеру.

2. Препроцессите до LLM. Дешёвая vision‑модель (CLIP, MoonDream, MiniCPM-V) фильтрует, какие кадры доедут до дорогой мультимодальной LLM. Срезает 80–90 % расхода vision‑токенов.

3. Выносите vision в отдельную очередь воркеров. Vision не должен блокировать аудиоцикл рассуждения. Запускайте его асинхронно, а результат подкладывайте в контекст следующего хода LLM, а не текущего.

Комплаенс, запись и согласие

Видео‑AI‑агент задевает все законы о чувствительных данных, какие только бывают. Четыре пункта, без которых нельзя стартовать:

Согласие. Явное, зафиксированное, в формулировке на родном языке пользователя — до того, как AI слушает, записывает или говорит. У GDPR в ЕС и у US two‑party‑consent‑штатов разные правила; UX согласия нужно встраивать в сам флоу подключения.

Локализация данных. Если вы продаёте в регулируемых отраслях, эндпоинты LLM и ASR должны крутиться в регионе, который покупатель готов принять. Это самый сильный аргумент за self‑hosted Llama и Whisper, и он часто перевешивает экономику.

Запись и хранение. Решите, что именно записывается (аудио, видео, расшифровки, рассуждения агента), где хранится, сколько и кто к нему имеет доступ. По умолчанию — консервативно, расширяться только под конкретные сценарии.

HIPAA / SOC 2 / GDPR. Закрытые API дают BAA и DPA, но покрытие у всех разное. Self‑hosted даёт полный контроль, но всю сертификацию вы тащите на себе. Комплаенс надо планировать раньше архитектуры.

Пять ловушек, которые срывают проекты с видео‑AI‑агентами

1. Оптимизация не той задержки. Большинство команд зациклены на времени до первого токена LLM, а в реальности самый большой разброс даёт определение конца реплики плюс jitter‑буфер. Сначала профилируйте сквозной цикл, потом оптимизируйте отдельные стадии.

2. Нет настоящего eval‑набора. «Кажется, нормально» — это не метрика. Соберите 50–200 размеченных диалогов до запуска и пропускайте через них каждую смену модели.

3. Забыли про передачу человеку. Любому агенту рано или поздно нужно передать разговор оператору. UX этой передачи (кому, когда, с каким контекстом) важнее качества самого агента.

4. Видеокадры заваливают LLM. Кадры в секунду, умноженные на vision‑токены на кадр, — это число должно быть на каждом дашборде. Относитесь к нему как к egress CDN.

5. Галлюцинации в вызовах инструментов. Модель выдумывает функцию, ID заказа, слот в календаре. Используйте строгие JSON‑схемы, парсите вызов и отказывайте всему, что не подходит.

Фреймворк принятия решения — стек за пять вопросов

Вопрос 1. Меньше 50 тыс. минут в месяц? Закрытые API на всех слоях. Скорость выхода важнее поминутной экономики.

Вопрос 2. HIPAA или суверенное облако? Self‑hosted Llama на vLLM в вашем VPC; Whisper Large v3 в том же кластере.

Вопрос 3. Больше 100 тыс. минут в месяц и качество терпит open‑source модель? Гибрид: LiveKit Cloud, Whisper, Llama 3.3 70B на vLLM, ElevenLabs или Cartesia.

Вопрос 4. Нужен vision (жесты, документы, разбор screen share)? Добавляйте шаг отбора кадров (CLIP / MiniCPM-V) перед мультимодальной LLM.

Вопрос 5. Жёсткий бюджет задержки меньше 800 мс? Cartesia Sonic или локальный XTTS для TTS; GPT-4o-mini, Llama 3.3 70B на H100 с prompt cache для LLM; транспорт, ASR и LLM — в одном регионе.

Какие KPI отслеживать после запуска

Качественные KPI. Доля успешно пройденных диалогов в eval‑наборе, частота галлюцинаций (по выборочной ручной проверке), доля успешных вызовов инструментов, точность эскалаций, WER (word error rate) расшифровок и субтитров.

Бизнес‑KPI. Стоимость минуты разговора, стоимость закрытого тикета или сгенерированного резюме, прирост конверсии относительно базовой линии без AI, удержание пользователей, которые контактировали с агентом.

KPI надёжности. P50 / P95 / P99 задержки цикла, успешность подключения агента, успешность переподключения в середине звонка, частота срабатывания фолбэка между вендорами, глубина очереди видеокадров.

Мини‑кейс — помощник для звонков отдела продаж на Meetric

Ситуация. Meetric нужен был помощник для звонков отдела продаж в реальном времени: пишет резюме после звонка, прямо во время разговора показывает action‑item на экране менеджера, обновляет CRM — и при этом не выдаёт данные клиента в закрытое API.

План. LiveKit Cloud для транспорта, Whisper Large v3 (HF) для расшифровки, Llama 3.3 70B Instruct на vLLM в EU‑аккаунте AWS клиента для LLM, BGE‑эмбеддинги и Qdrant для ретривала по базе знаний клиента. Eval‑набор из 200 размеченных резюме собрали за три дня вместе с руководителем продаж клиента.

Результат. 92 % резюме оценили как «готово к публикации без правок», ~4 ₽ за резюме против ~30 ₽ на закрытом API при том же качестве, ноль клиентских данных не покидает VPC заказчика. Хочется такой же запуск? Позвоните или напишите нам — обсудим.

Когда видео‑AI‑агента строить не стоит

Откажитесь от проекта, если: (а) объём звонков ниже 5 000 минут в месяц, а маржинальная ценность одного звонка ниже 75 ₽; (б) регуляторное и согласительное трение выше выигрыша по продуктивности (часть юридических и судебных процессов); (в) вы не можете определить eval‑набор, который агент должен пройти — если нечем оценивать, то нечего и запускать.

Зато если у вас есть измеримая стоимость звонка (менеджеры по продажам, врачи, агенты поддержки), а согласие пользователей берётся легко, то математика окупаемости в 2026 году — одна из самых чистых, что вообще встречаются в софте.

Часто задаваемые вопросы

Что такое видео‑AI‑агент?

Это софт, который подключается к видеосессии в реальном времени, воспринимает аудио и (опционально) видео, рассуждает с помощью LLM и действует: говорит, делает резюме, вызывает инструменты или эскалирует разговор человеку. Реальное время значит, что цикл замыкается быстрее одной секунды.

Какую задержку должен показывать видео‑AI‑агент?

Меньше 800 мс на цикл — это порог, на котором агент кажется человеком. Настроенные продакшен‑стеки показывают 600–1 200 мс; всё, что выше 1,5 с, ощущается пользователем как неловкость.

Сколько в 2026 году стоит минута работы видео‑AI‑агента?

22–112 ₽ в минуту на наивных стеках с закрытыми API, 7–18 ₽ на гибриде (LiveKit Cloud + GPT-4o-mini + Cartesia), 3–7 ₽ на настроенном self‑hosted (Llama на vLLM, Whisper, XTTS).

Какой фреймворк оркестрации выбрать?

LiveKit Agents — самый сильный open‑source‑фреймворк в 2026 году и фундамент таких продуктов, как ChatGPT Voice. Daily Bots и Pipecat — достойные альтернативы. Vapi и Retell хороши для исходящего голоса; для видео — LiveKit или Daily.

Vision в агенте обязателен или хватит голоса?

Голоса хватает для резюме звонков, поддержки и большинства сценариев в контакт‑центре. Vision важен, когда пользователь показывает документ, делает жест, демонстрирует проблему в окружающей среде (телемедицина, удалённая полевая поддержка) или шарит экран с софтом. Подключайте его осознанно — и сразу с отбором кадров.

Можно ли сделать видео‑AI‑агента, совместимого с HIPAA?

Да — на self‑hosted Llama или Qwen на vLLM в вашем VPC, Whisper Large v3 в том же кластере и HIPAA‑совместимом транспорте (self‑hosted LiveKit, Daily, Vonage с BAA). Закрытые API тоже подходят там, где BAA прописан явно.

Сколько занимает разработка продакшен‑версии?

Полезный прототип — 2–4 недели. Продакшен‑сборка с eval‑набором, наблюдаемостью, фолбэк‑путями и комплаенс‑ревью — 8–14 недель. Фора Софт типично укладывается на 30–50 % быстрее за счёт Agent Engineering на тех частях, где много шаблонного кода.

Делает ли Фора Софт видео‑AI‑агенты?

Да. Мы поставили видео‑AI‑функции в Meetric, TransLinguist, VOLO и в другие живые продукты. Типично скоупим видео‑AI‑агента за 30 минут и поставляем прототип с фиксированным скоупом за 4–6 недель. Позвоните или напишите — обсудим.

Экосистема инструментов 2026 года — коротко

В этой области имена меняются быстро. Шорт‑лист, за которым стоит следить:

Фреймворки агентов. LiveKit Agents (Python, Node, Go), Pipecat (Python), Daily Bots, Vapi, Retell, smolagents, OpenAI Realtime API.

Серверы инференса. vLLM (продакшен‑дефолт), SGLang (для нагрузок с большим RAG), TensorRT-LLM (максимальная пропускная способность на NVIDIA), llama.cpp (CPU и edge).

ASR. Whisper Large v3, Deepgram Nova-3, AssemblyAI Streaming, Speechmatics, NVIDIA Parakeet.

TTS. ElevenLabs, Cartesia Sonic, OpenAI TTS, Deepgram Aura, Azure Neural, Coqui XTTS v2.

Наблюдаемость. LangSmith, Langfuse, Helicone, трассы OpenTelemetry, Grafana Loki для логов.

Что почитать дальше

Готовы запускать видео‑AI‑агента?

Видео‑AI‑агент в 2026 году — это уже не исследовательский проект. Архитектура устоялась (транспорт + ASR + LLM + TTS + оркестрация + наблюдаемость), бюджет задержки достижим в продакшене (600–1 200 мс), а поминутная экономика на гибридном стеке из open‑source и закрытых API остаётся рабочей (7–18 ₽ за минуту).

Правильный выбор зависит от объёма звонков, требований комплаенса и планки качества. Закрытый стек — чтобы быстро проверить идею, гибрид — чтобы масштабироваться, self‑hosted — когда диктуют объёмы или регуляторика. Наша AI‑интеграционная практика поставляет именно этот цикл от и до.