Как улучшить качество видео с помощью ИИ: 6 функций для идеального стриминга

Почему Фора Софт написала этот плейбук

Фора Софт делает видеосервисы с 2005 года — OTT-каталоги, телемедицина, edtech, спортивное вещание, live-коммерция, конференц-связь. За последние 18 месяцев улучшение качества видео с помощью ИИ перешло из категории «красивая демонстрация» в категорию «отдельная строка в P&L»: наши клиенты переписывают энкодинг-фермы, стриминговые пайплайны и клиентские приложения для веб-камер вокруг Maxine, Topaz и диффузионного суперразрешения.

Эта статья — та самая беседа, которую мы ведём с новыми клиентами: шесть функций, которые действительно важны, сколько каждая из них стоит по времени разработки и расходам на API, какой SDK отвечает за какой слой, и три самые частые ошибки команд, пытающихся запустить всё сразу. Примеры взяты из реальных проектов — платформы для видеопродаж Meetric AI, стека live-видеошопинга Sprii и платформы вещания WorldCast Live.

Agent Engineering — это способ уложить полный шестипунктный роадмап в один квартал вместо двух. Senior-инженеры работают в паре с кодинг-агентами над правками в коде, написанием тестов и созданием интеграционных скелетов. В результате пропускная способность команды растёт в 2–3 раза при неизменном составе. Именно поэтому цифры по стоимости выглядят скромно по сравнению со средними по рынку.

Шесть функций AI-улучшения качества видео, которые важны в 2026 году

Порядок — честный, по реальному влиянию в продакшене: время до запуска, измеримый прирост KPI и рост выручки. Всё, что маркетинг называет «функцией» и чего нет ниже, либо входит в одну из этих шести, либо не стоит ни одного спринта.

1. AI-суперразрешение (пространственный апскейл)

Берём исходник 480p, 720p или 1080p и получаем на выходе 1080p, 4K или 8K, выглядящие как нативные. Две категории: детерминированные CNN/transformer-модели (NVIDIA RTX Video Super Resolution, Maxine Video SR, SimaUpscale) и диффузионные модели (Topaz Starlight, SeedVR2, Upscale-Video). Детерминированные работают быстрее и подходят для реального времени; диффузионные обеспечивают лучшую детализацию на глаз, но пока только в пакетном режиме. Топовые команды NTIRE 2025 показывают 33 дБ PSNR при четырёхкратном апскейле; VMAF 95+ в стиле Netflix вполне достижимо.

2. AI-шумоподавление (зернистость, шум сенсора, артефакты сжатия)

Темпоральные шумоподавители анализируют несколько кадров подряд, чтобы отделить шум от полезных деталей; однокадровые модели работают быстрее, но теряют мелкие детали. Продакшен-стек: Maxine Webcam Denoising на стороне захвата (сохраняет текстуру кожи), Topaz Gaia/Topaz Iris для постобработки, NVENC-префильтр для кодирования каталога. Применение шумоподавления перед AV1-кодированием даёт дополнительную экономию битрейта — 10–20% при неизменном VMAF.

3. AI-стабилизация (сглаживание движения без отслеживания точек)

Современные модели оценивают плотный оптический поток и сразу обучаются на траекториях стабилизации, поэтому справляются с дрожащей съёмкой на телефоне там, где классический трекинг ключевых точек терпит неудачу — при пересветах, размытии движения и недостатке текстуры. Эталонные реализации — Apple iPhone Cinematic Stabilization, Google Pixel Motion Mode и NVIDIA Optical Flow SDK; из open source — DUT (Deep Unsupervised Trajectory) и пайплайны на базе RAFT.

4. AI-устранение размытия (восстановление движения и фокусировки)

Отдельные модели для устранения размытия от движения (резкий объект, длинная выдержка) и расфокусировки (промах автофокуса). Открытый стандарт — модели на базе Restormer и Uformer; «video sharpening» в NVIDIA Broadcast — это потребительская версия того же. Не путайте устранение размытия с суперразрешением: запуск суперразрешения на размытом видео только усилит размытость.

5. AI-конверсия HDR/SDR (обратный тон-маппинг)

Обратный тон-маппинг восстанавливает яркость в формате HDR10, Dolby Vision или Rec.2020 из SDR-источников по стандарту Rec.709. Используется для ремастеринга контента, реставрации архивных передач и апскейлинга до UHD. В этой области работают VESAI, UniFab и Topaz SDR-to-HDR; AJA FS-HDR — аппаратное решение для вещательных компаний. Обработка в реальном времени возможна на RTX 5090, а для больших объёмов данных выгоднее использовать пакетную обработку.

6. AI-интерполяция кадров (FRUC)

Генерация промежуточных кадров для перехода с 24/30 fps на 60/120/240 fps. Продакшен-эталоны — NVIDIA FRUC в Video Codec SDK для Ada/Blackwell, RIFE и FILM. Используйте для спортивного слоу-мо, ремастеринга архивного кино и поддержки дисплеев с высокой частотой обновления. Не интерполируйте кинематографический 24p, идущий в прокат — зрители ненавидят «эффект мыльной оперы».

Цифры рынка, которые стоит знать

Качество стриминга напрямую влияет на удержание. По данным OTT-клиентов Фора Софт, прирост VMAF на 10% при разрешении 1080p связан со снижением отказов до первого воспроизведения на 3–5%. Для каталога с миллионом просмотров в неделю это 30–50 тысяч дополнительных завершённых сессий в неделю.

Бенчмарки AI-суперразрешения. RepNet-VSR показывает 27,79 dB PSNR при увеличении разрешения с 180p до 720p за 103 мс на 10 кадров на периферийном оборудовании. Лучшие команды NTIRE 2025 достигают более 33 dB PSNR при четырёхкратном увеличении. Профессиональный апскейл стремится к VMAF 95+.

Лимиты реального времени. Даже самые быстрые AI-модели 2026 года не способны работать в реальном времени на любом разрешении на обычном потребительском оборудовании. Простая комбинация «шумоподавление + суперразрешение до 1080p» с веб-камеры даёт 15–30 кадров в секунду на RTX 5070, Apple M4 или Snapdragon X2; апскейл 4K с помощью диффузионных моделей по-прежнему остаётся задачей пакетной обработки.

Экономия битрейта на шумоподавлении до энкодинга. Темпоральный шумоподавитель перед NVENC-AI AV1 дополнительно экономит 10–20% битрейта при неизменном VMAF — поверх базовой экономии в 40–60% у AV1 по сравнению с H.264. Эффекты накапливаются.

Матрица сравнения SDK — кто отвечает за какой слой

Продакшен-вендоры делятся на три слоя. Выбирайте по одному вендору на слой, а не стремитесь к единому SDK, который якобы умеет всё.

Как реально измерять качество — и чего метрики не показывают

Дашборды с одной метрикой вводят в заблуждение. Боевой стенд, который мы выкатываем, выглядит так:

VMAF (Netflix). Основной показатель качества. Цель — 95+ для профессионального апскейла, 90+ для обычного стриминга, 80+ для мобильных версий с низким битрейтом. Слабость: VMAF иногда слишком высоко оценивает качество при AI-сжатии.

PSNR + SSIM. Проверка на адекватность. PSNR ловит регрессии на уровне пикселей; SSIM — структурные искажения. Полезны, когда VMAF вырос, а глазу видно, что что-то не так.

LPIPS (перцептуальная). Работает в обученном фичевом пространстве и лучше отражает восприятие человека на генеративных выходах. Используйте как вторичную метрику для диффузионного суперразрешения.

Парные A/Б-тесты с людьми. Последняя инстанция. Перед запуском проведите парное сравнение 100 клипов на 20 зрителях. Современные сервисы (Subjectify, MSU VQMT) делают это недорого.

Разбивка по типу контента. Всегда разбивайте метрики по классам: анимация, спорт с быстрым движением, тёмные сцены, лица, текстовые оверлеи. Модель, у которой средний VMAF — 94, но на лицах падает до 85, не пройдёт в продакшен.

Публичные бенчмарки — кто реально выигрывает в суперразрешении и реставрации

Маркетинг вендоров шумит. Это списки, в которые мы реально заглядываем перед тем, как порекомендовать SDK клиенту.

NTIRE (воркшоп CVPR). Ежегодные соревнования по суперразрешению и восстановлению видео. Релиз 2025 года включал треки blind super-res, real-world VSR и efficient SR — смотрите победителей по каждому треку, а не общие результаты: они тестируют совершенно разные задачи.

MSU Video Super-Resolution Benchmark. Долгоживущий независимый рейтинг, в котором объективные метрики сочетаются с субъективными исследованиями. Единственное место, где открытые модели (Real-ESRGAN, BasicVSR++, VRT) сравниваются с закрытыми SDK на едином наборе данных.

Репозиторий VMAF от Netflix и открытые модели. Поддерживаемые модели с описанием известных смещений. Перед обновлением версии VMAF в пайплайне читайте релиз-ноуты — даже незначительное обновление модели может изменить ваш базовый уровень VMAF на 2–3 пункта.

Huggingface Spaces для качественной проверки. Перед тем как тратить неделю на настройку инфраструктуры под модель, пройдите тест: прогоните 20 своих клипов через публичный Space и посмотрите на результат своими глазами. За 15 минут вы избежите 70% неприятных сюрпризов вроде «цифры из статьи не работают на нашем контенте».

Эталонная архитектура AI-улучшенного видеостека

Стек, который мы используем по умолчанию, когда клиент просит современный пайплайн с поддержкой качества на уровне ИИ.

Сторона захвата. Maxine Broadcast SDK на клиентах Windows/macOS обеспечивает в реальном времени шумоподавление с веб-камеры, суперразрешение, коррекцию взгляда и замену фона. Резервный вариант: MediaPipe + RNNoise в браузере для пользователей без подходящих GPU. Доступность: клавиатурные элементы управления для каждого переключателя фильтра.

Транспорт. LiveKit или mediasoup SFU для передачи в реальном времени; HLS/ДASH для вещания и VoD. Simulcast + SVC — под возможности устройства получателя.

Серверная live-полоса. NVENC-AI AV1 на хостах Blackwell для реального времени транскодирования. Микросервисы Maxine NIM для серверного суперразрешения и шумоподавления на премиум-тарифах. Лестница per-title рассчитывается лениво для первых тысячи показов, после чего фиксируется.

Полоса пост-обработки. Topaz Video AI или VESAI на выделенных GPU-нодах для диффузионного суперразрешения, конверсии HDR и ремастеринга каталога. Результат сохраняется в WORM-хранилище и передаётся энкодинг-ферме для формирования лестниц доставки.

Наблюдаемость. VMAF/PSNR/SSIM фиксируются раз в 30 минут и сохраняются вместе с версией модели, её параметрами и задержкой. Дашборды Grafana показывают регрессии раньше, чем об этом сообщит пользователь.

Мини-кейс — +4,2 VMAF и -22% битрейта за 8 недель

Ситуация. Нишевая OTT-платформа для спорта: около 6 000 часов архива в формате 1080p H.264 и прямая трансляция со скоростью 6 Мбит/с в разрешении 1080p60 для хоккея. Выходной трафик через CDN — вторая по значимости статья ежемесячных расходов; количество отказов на мобильных устройствах за квартал выросло на 8%.

План на 8 недель. Недели 1–2: измерение базового качества по VMAF и разделение выборки из 200 клипов по типам контента. Недели 3–4: применение Maxine NIM denoise перед кодированием NVENC-AI AV1 в прямом эфире; настройка per-title-лестницы для топ-2000 архивных материалов. Недели 5–6: диффузионное суперразрешение (SeedVR2) для 720p-видео, которое заслуживает 4K-реставрации. Недели 7–8: определение возможностей устройств на стороне клиента, двойная доставка в форматах AV1 и H.264, запуск в продакшн.

Результат. Средний VMAF на live-уровне вырос с 89,9 до 94,1, на восстановленном архивном уровне — до 96,7. Битрейт по всей лестнице снизился на 22% при сохранении качества. Мобильные отказы сократились наполовину. Хотите такой же разбор по своему стеку? Позвоните или напишите нам — контакты в конце статьи.

Дорожная карта выкатки — последовательность из 12 недель

Не запускайте шесть функций одновременно. Это последовательность, которая успешно отработала на полудюжине клиентов за последний год.

Ограничения по комплаенсу и доступности

C2PA / Content Credentials. Крупные платформы (YouTube, Meta, TikTok) и большинство вещателей переходят к обязательному отслеживанию происхождения контента. Помечайте AI-улучшенный контент C2PA-манифестом на этапе создания, а не задним числом.

European Accessibility Act (вступил в силу в июне 2025). Функции ИИ должны поддерживать управление с помощью вспомогательных технологий: клавиатурные переключатели, подписи для скринридеров, сохранение пользовательских настроек.

FERPA / HIPAA. Если AI-улучшение затрагивает медицинские данные или данные школьников и студентов (например, в телемедицине или edtech), требуется либо BAA-покрытие, либо обработка на локальных серверах (on-prem). Maxine NIM поддерживает on-prem-обработку; Topaz работает локально. При использовании облачных API необходимо внимательно изучать условия контракта.

EU AI Act. Функции качества обычно попадают в категорию низкого риска, но если они используются вместе с распознаванием эмоций или биометрической категоризацией, вся система переходит в запрещённую или высокорисковую зону. Держите такие блоки раздельно.

Фреймворк принятия решений — выбираем функцию за пять вопросов

1. Где сегодня сильнее всего болит качество? Смотрите на данные по отказам: если на мобильных просадка резкая — начинайте с шумоподавления и суперразрешения на уровнях 720p/1080p. Если жалуются пользователи больших экранов — стартуйте с конверсии HDR и реставрации архива.

2. Какой путь доставки? Конференц-связь в реальном времени — это Maxine; стриминговый каталог — NVENC-AI + Topaz; вещание — AJA FS-HDR или аналогичное аппаратное решение. Не смешивайте.

3. Сколько GPU вы можете развернуть? Качество ИИ в реальном времени зависит от GPU. Без хостов уровня RTX 4090/5090 переходите на облачные API или пакетную постобработку и пересматривайте ожидания.

4. Какие комплаенс-рамки? HIPAA, FERPA, EU AI Act, C2PA — заранее составьте карту ограничений перед выбором SDK. Пытаться подвести комплаенс под уже готовый облачный пайплайн — это полная переархитектура.

5. Что делать, если вендор уйдёт с рынка? Topaz — это компания; Maxine зависит от GPU NVIDIA; облачные API могут резко поднять цену. Держите в приоритете Real-ESRGAN, SVT-AV1, RIFE и DUT, чтобы иметь портируемый резерв.

Пять ловушек, которые мы видим в проектах AI-улучшения качества видео

1. Гоняться за одним числом VMAF. Модель со средним VMAF 94, но которая на лицах падает до 85, в продакшене провалится. Всегда разбивайте метрики по типам контента и проводите парное A/B-тестирование с людьми перед переключением.

2. Запускать суперразрешение по размытому исходнику. Суперразрешение усиливает всё, что уже есть в кадре — включая размытие и артефакты сжатия. Правильный порядок: шумоподавление → устранение размытия → суперразрешение. Пропуск одного из шагов снижает оценку VMAF.

3. Включать интерполяцию кадров на кинематографичном контенте. Пользователи не любят «эффект мыльной оперы» на кино в формате 24p. Используйте FRUC только для спорта, игр, экшен-камер UGC и пользовательских сценариев с высокой частотой кадров — но ни в коем случае не применяйте к художественным фильмам.

4. Игнорировать C2PA/Content Credentials. Загрузка AI-изменённого видео на платформы, проверяющие происхождение контента, без манифеста всё чаще вызывает проблемы с распространением. Добавляйте метаданные на этапе создания, а не при постобработке.

5. Смешивать слои SDK. Параллельный запуск Maxine на клиенте, Maxine на сервере, Topaz в посте и облачного API для одной и той же функции означает, что регрессию придётся искать в четырёх местах. Используйте один SDK на слой — и придерживайтесь этого правила.

Agent Engineering — как мы выпускаем AI-качество вдвое быстрее календарного времени

Раньше для достижения AI-качества за 12 недель требовалось 4–5 инженеров. С нашей практикой Agent Engineering тот же объём работы выполняет команда из 2–3 человек и заканчивает на 30–50% быстрее: большую часть рутины — настройку кодеков, сборку VMAF-стенда, подготовку эталонного датасета и создание дашбордов в Grafana — мы поручаем AI-агентам под контролем инженеров.

Где работают агенты. Связующий код SDK (клиенты Maxine NIM, оркестрация Topaz CLI, сборка цепочек ffmpeg-фильтров), каркас стенда VMAF/PSNR/SSIM, скрипты выборки эталонного датасета, инфраструктура как код для автоскейлинга GPU, JSON-конфиги дашбордов, ночные расписания регрессов и 80% тестовых фикстур. Инженеры проверяют, дорабатывают и отвечают за решения по моделям и архитектуре.

Что это даёт в коммерции. Типичная разработка AI-решения из шести функций, которая раньше занимала 18–24 недели у senior-инженеров, теперь укладывается в 10–14 недель — экономия идёт и по времени (выручка с премиум-уровней появляется быстрее), и по бюджету (снижается фиксированная стоимость).

Что остаётся как было. Архитектура, выбор моделей, условия контрактов с вендорами, ревью комплаенса, проектирование доступности и валидация качества с участием человека — всё это по-прежнему в зоне ответственности senior-инженеров. Агенты — это инструмент, а не замена.

KPI, которые стоит отслеживать

KPI качества. VMAF выше 93 на 95% сегментов по классам контента. PSNR выше 32 дБ при четырёхкратном суперразрешении. Люди выбирают наш вариант чаще — более чем в 70% случаев по сравнению с базовым решением. Регрессий в качестве изображения лиц не обнаружено.

Бизнес-метрики. Отказы до первого воспроизведения, доля досмотров, сравнение «мобильные устройства и большие экраны». Стоимость доставленного часа (транскодинг + трафик + AI). Доля активированных фильтров качества со стороны клиента. Конверсия в апгрейд до премиум-уровня с использованием AI.

KPI надёжности. Успешный энкодинг — более 99,5%. Задержка AI-обработки на 95-м перцентиле соответствует SLA (для live-стрима). За квартал не должно быть P1-регрессий качества (проверяется ночными VMAF-замерами по фиксированному эталонному датасету).

Доступность как полноценная функция

AI-качество делает доступность дешевле, чем когда-либо: функции, которые помогают пользователям со слабым зрением, проблемами со слухом и повышенной чувствительностью к когнитивной нагрузке, — те же самые, что впечатляют закупщиков из госсектора.

Высококонтрастные субтитры. Позвольте пользователю настраивать стиль — размер, фон, положение. Соответствие WCAG 2.2 AA на каждом элементе управления.

Ре-освещение для тёмного видео. Maxine Video Relighting исправляет плохое освещение с веб-камеры. Доступно как в потребительских, так и в корпоративных тарифах — большой плюс для доступности в образовании.

Сохраняемые пользовательские настройки. Храните состояние переключателей фильтров в профиле, привязанном к тенанту, чтобы постоянные пользователи не включали функции доступности каждый раз заново. Это самая частая просьба от тестеров со слабым зрением.

Когда не стоит делать AI-улучшение качества видео

Меньше 50 тысяч активных зрителей в месяц. Прирост VMAF не повысит удержание настолько, чтобы оправдать затраты на разработку. Сначала настройте адаптивную лестницу кодирования per-title; вернитесь к использованию ИИ через полгода.

Аудио-ориентированные продукты. Если пользователи в основном слушают, а не смотрят (подкасты, музыка, радио), начните с внедрения шумоподавления и выделения голоса — видеофункции в этом случае не окупятся.

Чистые E2EE-продукты. Облачное улучшение качества с помощью ИИ требует расшифрованного потока. Если вы обещали сквозное шифрование, либо соглашайтесь на более низкое качество, либо инвестируйте в модели, работающие на устройстве, и учитывайте их требования к «железу».

Архитектура данных — логирование качества без раздувания хранилища

Сэмплы качества. VMAF/PSNR/SSIM — каждые 30 секунд для каждого варианта рендеринга. Объём одного сэмпла — около 200 байт; легко хранится в колонных базах данных, таких как Clickhouse или DuckDB, даже на протяжении нескольких лет.

Эталонный датасет. 200–500 зафиксированных эталонных клипов по всем классам контента, в WORM-бакете. Ночной прогон VMAF против продакшен-пайплайна по эталонному датасету; алерт при регрессии более чем на 1 VMAF.

Версионирование моделей. Каждый вызов улучшения фиксируется с указанием версии SDK, хеша модели, параметров и хешей входных и выходных данных. Это необходимо для соответствия требованиям EU AI Act и для выявления незаметных ухудшений качества после обновлений от вендора.

Хранение исходного видео. Исходники храним только там, где это требует лицензия или комплаенс; улучшенные рендеры легко пересобираются из исходника по запросу. Не дублируйте хранение.

FAQ

Что почитать дальше

Готовы поднять VMAF на полный пункт и сократить CDN-байты в этом квартале?

В 2026 году ключевыми функциями AI-улучшения видео будут шесть: суперразрешение, шумоподавление, стабилизация, устранение размытия, HDR/SDR и интерполяция кадров. Три из них напрямую влияют на KPI стриминга в квартальном разрезе: шумоподавление до кодирования, суперразрешение для прямых трансляций и архивов, а также конверсия HDR для увеличения продаж контента. Остальные — это узкоспециализированные инструменты, применяемые под конкретные задачи продукта.

Быстрее всех работают команды, у которых есть полноценный тестовый стенд, последовательный запуск функций по одной и обязательный open-source-резерв в оценке — чтобы ни один вендор не мог блокировать развитие. Agent Engineering — это подход, который позволяет уложиться в двенадцать недель, то есть в один квартал, не теряя качества.