Топ-5 техник машинного обучения для анализа эмоций по видео — обложка

Главное

Пять техник, которые реально работают в 2026 году. 2D CNN — базовая модель по кадрам, 3D CNN — для пространственно-временного контекста, CNN+LSTM — для динамики последовательностей, трансформеры и MAE-DFER — для устойчивости в неконтролируемых условиях, мультимодальное слияние — когда доступен звук.

Self-supervised-подходы выигрывают на сложных датасетах. MAE-DFER лидирует на DFEW, FERV39k и MAFW при минимуме размеченных данных. Это та архитектура, с которой стоит начинать для новых доменов.

EU AI Act запрещает распознавание эмоций на рабочих местах и в учебных заведениях. Закон действует с февраля 2025 года. Детекция вовлечённости (направление взгляда, поза головы) по-прежнему разрешена — это более безопасная архитектура для B2B SaaS.

Потолок точности «в дикой природе» — 70–75% WAR на семиклассовом видеоанализе эмоций. Всё, что выше 90%, — это артефакт лидерборда. На кросс-культурных данных точность падает ещё на 15–30 пунктов.

Выбор «строить или покупать» определяется объёмом. Меньше 100 тыс. кадров в месяц — берите коммерческий API. Больше 1 млн кадров в месяц — поднимайте MAE-DFER на Jetson или GPU, окупаемость железа за 6–9 месяцев.

Почему Фора Софт написала этот плейбук

Мы создаём продукты для видео, AI и мультимедиа в реальном времени с 2005 года. За последние три года анализ эмоций по видео переместился из исследовательских лабораторий в реальный объём работ для наших клиентов в телемедицине, e-learning, маркетинговых исследованиях и видеоконференциях.

Наша команда внедрила пайплайн распознавания лиц на базе V.A.L.T. для медицинских тренировочных классов, встроила детекцию вовлечённости в e-learning-платформы вроде BrainCert и объединила аудио- и видеосигналы в AI-функциях, описанных в нашем гайде по детекции эмоций в аудио и видео. Также мы отказывались от нескольких проектов, где EU AI Act делал задачу несовместимой с законом, — такое умение говорить «нет» тоже часть работы.

Этот плейбук — сжатая версия нашего скоупинг-разговора с клиентом: пять техник, которые заслуживают своего места, когда каждая из них подходит, какие бенчмарки стоит читать, какое регулирование игнорировать нельзя и как принять решение «строить или покупать». Посмотрите наше портфолио, чтобы увидеть, в какие продукты всё это встраивается.

Планируете запуск анализа эмоций по видео?

30 минут с senior-инженером, который встраивал эмоциональный AI в продукты для телемедицины, e-learning и видеоконференций — включая разбор требований EU AI Act.

Позвоните нам → Напишите нам →

Что такое анализ эмоций по видео в 2026 году

Анализ эмоций по видео — это зонтичный термин, под которым скрывается несколько разных задач. Заказчики часто их путают, а EU AI Act относится к ним совершенно по-разному.

Распознавание дискретных мимических выражений (FER). Классификация каждого кадра или клипа по 6–7 базовым эмоциям (радость, грусть, гнев, страх, отвращение, удивление, нейтральная). Опирается на таксономию FACS Экмана. Самая частая продуктовая постановка.

Непрерывная оценка валентности и возбуждения. Прогноз двух вещественных значений на кадр — положительный/отрицательный (валентность) и спокойный/возбуждённый (возбуждение). Для данных «в дикой природе» это честнее, чем дискретные классы. Такой подход оценивают бенчмарки вроде AffWild2.

Детекция action unit (AU). Выявление 32 анатомических лицевых движений (например, AU 4 — опускание брови, AU 12 — подъём уголков губ) без утверждений о том, какую эмоцию они отражают. Удобный для аудиторов формат: наблюдение отделено от интерпретации.

Детекция вовлечённости и внимания. Оценка направления взгляда, позы головы, частоты моргания и положения тела — поведенческие сигналы, а не выводы об эмоциях. Принципиально важное различие: детекция вовлечённости разрешена EU AI Act на рабочих местах и в образовании, а вывод об эмоциях — нет.

Мультимодальный анализ аффекта. Сочетание видео лица с голосом (просодия, высота тона), позой тела, текстом или физиологическими сигналами. Самый точный подход в шумных реальных условиях.

Пять техник машинного обучения, которые реально доходят до продакшена

Из десятков архитектур, описанных в литературе, до боевой эксплуатации стабильно доходят именно эти пять. Выбирайте ту, что соответствует вашему бюджету по задержкам, целевому железу и реальной доступности размеченных данных, — не отталкивайтесь от лидерборда.

1. 2D CNN на кадрах с лицами (ResNet, EfficientNet, MobileNet)

Детектор лица обрезает каждый кадр, 2D CNN классифицирует его, выход сглаживается временным фильтром. ResNet-50 даёт около 60–70% на FER2013, EfficientNet V2 выходит в нижние 70 на более чистых тестовых сплитах, а MobileNet V2 укладывается в 50 МБ для деплоя прямо в браузере.

Почему стоит выбрать: самый дешёвый базовый вариант, проще всего деплоить на edge-устройства и в браузер, и ваша команда уже знает, как его отлаживать. Ограничения: отсутствие временного контекста, чувствительность к позе головы и перекрытиям, потолок около 70–75% WAR в неконтролируемых условиях.

Используйте 2D CNN, когда: вам нужна базовая модель реального времени по кадрам на edge или в браузере, и 70% WAR достаточно, чтобы проверить продуктовую гипотезу.

2. 3D CNN и пространственно-временные модели (I3D, SlowFast)

Замените 2D-свёртки на 3D, охватывающие пространство и время одновременно, или используйте две ветки с разным временным разрешением, как в SlowFast. Такие модели улавливают эмоциональную динамику — нарастание улыбки, угасание удивления — которую покадровые модели не видят в принципе.

Почему стоит выбрать: пространственно-временной контекст важен для коротких клипов (3–10 с), где информацию несёт сама динамика. Ограничения: инференс только на GPU, 200–400 мс на 8-кадровый клип, стоимость обучения более чем втрое выше базовых 2D CNN.

Используйте 3D CNN, когда: входы — короткие клипы с выраженной динамикой (смех, гнев, удивление), а GPU доступны и при обучении, и при инференсе.

3. CNN + RNN/LSTM/GRU для динамики последовательностей

2D CNN извлекает признаки по кадрам, LSTM или GRU поверх них учит временную последовательность. Классическая схема конца 2010-х, до сих пор конкурентная, когда нужно явное моделирование времени, но полноценный 3D вы себе позволить не можете.

Почему стоит выбрать: прирост 15–25 абсолютных пунктов точности по сравнению с базовой 2D CNN на AFEW-VA (непрерывные валентность и возбуждение), нагрузка ниже, чем у 3D CNN, удобно деплоить на Jetson Orin NX. Ограничения: устойчивость к данным «в дикой природе» хуже, чем у трансформеров, и сложно масштабировать на длинные контексты (больше ~30 кадров).

Используйте CNN+LSTM, когда: у вас клипы по 5–30 секунд, нужны непрерывные значения валентности и возбуждения, а уложиться нужно в один edge-GPU.

4. Трансформеры и self-supervised-модели (Former-DFER, MAE-DFER, ViT)

Self-attention по пространству и времени, часто с предобучением через маскированный автоэнкодер: модель учится на неразмеченном видео ещё до того, как появляется хоть одна метка эмоции. MAE-DFER сегодня лидирует на DFEW, FERV39k и MAFW — это самые сложные бенчмарки на данных «в дикой природе».

Почему стоит выбрать: самая высокая заявленная точность в неконтролируемых условиях, устойчивость к перекрытиям и позе головы, заметно меньшая потребность в размеченных данных благодаря self-supervised-предобучению. Ограничения: инференс 300–800 мс, GPU обязателен, сложнее интерпретировать, чем CNN+LSTM.

Используйте MAE-DFER и трансформеры, когда: точность «в дикой природе» — это ваш ключевой KPI, при инференсе доступен GPU, а размеченных эмоциональных данных мало.

5. Мультимодальное слияние (аудио + видео, иногда текст)

Параллельно работают видео- и аудиоэнкодеры, их выходы объединяются кросс-модальным attention, поверх — декодер эмоций. Свежие архитектуры вроде AVT-CA и TACFN добавляют 5–15 абсолютных пунктов к базовым одномодальным моделям на RAVDESS, IEMOCAP и MAFW.

Почему стоит выбрать: единственная архитектура, которая хорошо справляется с неоднозначной мимикой — просодия голоса помогает отличить натянутую улыбку от искренней радости. Лучший вариант для телемедицины, разговорных AI и аналитики колл-центров. Ограничения: максимальная инженерная сложность; нужен синхронизированный звук; регулирование голосовой биометрии добавляет нагрузку по комплаенсу.

Используйте мультимодальное слияние, когда: аудио доступно, точность эмоционального канала — это и есть продукт, и вы готовы взять на себя комплаенс по голосовой биометрии.

Сравнение пяти техник

Техника DFEW WAR Задержка Железо Где сильнее всего
2D CNN (ResNet, MobileNet) ~55–62% 30–150 мс CPU / мобайл / браузер Дешёвый бейзлайн, on-device
3D CNN (I3D, SlowFast) ~60–65% 200–400 мс Только GPU Короткие динамичные клипы
CNN + LSTM/GRU ~62–68% 100–300 мс Edge GPU (Jetson) Непрерывные валентность и возбуждение
Трансформер / MAE-DFER ~70–75% 300–800 мс Серверный GPU SOTA в неконтролируемых условиях
Мультимодальное слияние (A+V) ~75–82% (RAVDESS) 200–600 мс Серверный GPU Телемедицина, колл-центры

Цифры DFEW WAR — консервативные опубликованные результаты из ключевых статей; в продакшене на собственных данных вы обычно увидите на 5–15 пунктов меньше. Воспринимайте таблицу как относительный рейтинг, а не как гарантию.

Бенчмарки, которым стоит доверять в 2026 году

Результаты на FER2013 выше 90% почти всегда — это утечка тестовой выборки в обучение. Бенчмарки, которые выдерживают аккуратную оценку, — следующие.

DFEW (Dynamic Facial Expression in the Wild). Клипы из фильмов, 7 эмоций, 5-фолдная кросс-валидация. SOTA WAR около 70–75%, UAR около 65–70% у MAE-DFER. Самый чистый сигнал производительности «в дикой природе».

FERV39k. Около 39 000 клипов по четырём сценариям. Крупнее и разнообразнее DFEW; полезен для проверки кросс-доменной обобщающей способности. SOTA в диапазоне от верхних 50% до средних 60% WAR.

AffWild2. Непрерывная валентность и возбуждение на 558 видео «в дикой природе», 2,78 миллиона кадров. SOTA CCC около 0,50–0,55 по валентности и 0,35–0,45 по возбуждению. Честный бенчмарк для непрерывных моделей.

RAVDESS / IEMOCAP. Мультимодальные бенчмарки с синхронизированным звуком. RAVDESS — сценарный (чистый сигнал); IEMOCAP — разговорный (шумный, ближе к реальности). Подходы с мультимодальным слиянием выходят на 80%+ на RAVDESS и 75–81% на IEMOCAP.

MAFW. Кинофрагменты с дискретными и непрерывными метками. Свежий бенчмарк; удобен в роли «арбитра».

Коммерческие API и SDK — честный обзор рынка

Вендор Модальность Модель оплаты Где сильнее всего На что обратить внимание
Affectiva / iMotions Видео Корпоративные контракты Маркетинговые исследования, тестирование рекламы Непрозрачные цены
Hume AI Голос + видео Поминутно, тарифные планы Мультимодальный, фокус на голосе Молодой продукт
AWS Rekognition Изображения / записанное видео ~7,5 ₽ за минуту видео Пакетная обработка на больших объёмах Грубые метки эмоций
MorphCast Видео в браузере €5–29 в месяц Приватность, on-device Точность не валидирована
Noldus FaceReader Видео, несколько лиц Лицензия (для исследований) Академия и клиника Высокая годовая стоимость
Open source (DeepFace, MAE-DFER, py-feat) Видео Только GPU-часы Кастомные сборки на масштабе Без поддержки от вендора

Microsoft Azure ещё в 2022 году убрала классификацию эмоций из Face API из-за вопросов к научной обоснованности; Google Cloud Vision до сих пор возвращает четыре эмоциональных бакета, но работает только по изображениям и очень грубо. Для современных проектов практический шорт-лист выглядит так: Hume (с упором на голос), MorphCast (приватность), Noldus (исследовательский уровень), AWS (пакетная обработка на масштабе) и self-hosted MAE-DFER (кастом).

Open-source-инструменты, за которыми стоит следить в 2026 году

Если вы строите, а не покупаете, ниже — инструменты, которые мы действительно тащим в свои пайплайны. Не самые «звёздные» репозитории на GitHub, а те, что выживают при контакте с продакшен-дедлайном.

MAE-DFER. Self-supervised маскированный автоэнкодер для динамического распознавания выражений лица. Текущий SOTA на DFEW, FERV39k и MAFW. Эталонная реализация на PyTorch, дружит с TensorRT. Стартовая точка по умолчанию для новых проектов «в дикой природе».

DeepFace. Python-библиотека, в одном API объединяющая VGG-Face, FaceNet, ArcFace и извлечение эмоциональных атрибутов. Готова к продакшену, хорошо документирована — самый быстрый путь от нуля до работающего бейзлайна.

OpenFace 3.0. Релиз 2025 года; покрывает лицевые ключевые точки, action unit, направление взгляда и позу головы в единой мультизадачной системе. Биндинги C++ и Python; быстрее версии 2.x. Правильный выбор, когда нужны сигналы вовлечённости (а не метки эмоций) в рамках ограничений EU AI Act.

py-feat. Исследовательский инструмент с детекцией action unit, классификацией эмоций и визуализацией. Инференс медленнее, чем у коммерческих API, зато это самый прозрачный инструмент для аудиторских отчётов.

AffectGPT. Мультимодальный LLM для понимания эмоций, релиз 2025 года. Перспективный, но ещё «зреет»; мы используем его для слоя объяснимости поверх MAE-DFER, а не как основной классификатор.

Реальность задержек — порог 15 fps

Для мониторинга в реальном времени внутри видеопродукта операционный пол — это 15 fps end-to-end. Ниже него плавный визуальный отклик ломается. Это даёт бюджет около 67 мс на кадр с учётом детекции лица, инференса эмоций, сглаживания и доставки в UI.

Практические рамки: облачный GPU — 20–100 мс на кадр при батчинге; Jetson Orin NX — 5–20 мс с оптимизацией под TensorRT; мобайл или браузер на CPU — 50–200 мс с квантизованным MobileNet. Трансформеры добавляют примерно 2–3-кратный множитель на том же железе.

Если сценарий — постфактумный разбор сессии (заметки в телемедицине, тестирование рекламы в маркетинговых исследованиях) или пакетная загрузка, задержки роли не играют: можно гонять самый тяжёлый ансамбль трансформеров, который вам по карману. Если речь о реальном времени, MobileNet или квантизованный MAE-DFER — это реалистичный потолок на edge.

EU AI Act — закон, который меняет границы скоупа

Статья 5(1)(f) EU AI Act, действующая со 2 февраля 2025 года, запрещает распознавание эмоций на рабочих местах и в образовании, за исключением медицинских целей и соображений безопасности. Это не отложенное обязательство — закон уже работает применительно к любому продукту, у которого есть пользователи в ЕС.

Что под запретом: дашборды с выводом об эмоциях для HR, инструменты QA в колл-центрах, которые оценивают аффект агента, школьные системы, маркирующие учеников как «грустный», «злой» или «отстранённый». Что разрешено в рамках узких исключений: детекция сонливости водителя (безопасность), оценка депрессии под медицинским контролем (медицина), мониторинг спортивных результатов (безопасность, узкий случай).

Что по-прежнему разрешено на рабочих местах и в образовании: детекция вовлечённости, если она не делает выводов об эмоциях. Направление взгляда, поза головы, длительность внимания, частота моргания, поза тела — это поведенческие метрики, а не эмоциональные ярлыки, и они остаются вне запрета. Большинство наших последних проектов в e-learning и конференциях мы целенаправленно переделываем под это различие.

Штрафы доходят до €35 млн или 7% глобальной выручки. Лучше с первого дня строить архитектуру, которая остаётся на правильной стороне линии, чем переделывать её после комплаенс-аудита.

Застряли между «классной фичей с эмоциями» и EU AI Act?

Мы переделали с полдюжины проектов с распознавания эмоций на детекцию вовлечённости, не теряя продуктовой истории. 30 минут обычно хватает, чтобы понять, куда двигаться.

Позвоните нам → Напишите нам →

Эталонная архитектура для встраивания в видеопродукт

Три паттерна покрывают почти все наши проекты.

Edge-first (браузер или мобильный)

Квантизованный MobileNet или модель DeepFace работают полностью на устройстве через ONNX Runtime, TFLite или браузерный WebGPU. Сырое видео не покидает машину пользователя, наверх отправляются только временные ряды эмоций или вовлечённости. Это самая чистая история по GDPR и AI Act, которую вы можете рассказать заказчику; задержки упираются в характеристики устройства.

Cloud-batch (после сессии)

Записанное видео заливается в S3 или GCS, Lambda или Cloud Run запускают MAE-DFER + мультимодальное слияние, временные ряды складываются в Postgres и попадают в дашборд. Ограничений реального времени нет — можно использовать самую тяжёлую модель. Используется в маркетинговых исследованиях, тестировании рекламы и постфактумном разборе телемедицинских сессий.

Гибрид (edge-триаж + облачное обогащение)

Лёгкая edge-модель в реальном времени обрабатывает «простые» 80% кадров. Когда уверенность падает ниже порога, кадр и окно звука в 2–3 секунды улетают в облачный трансформер для повторной классификации. Лучшее из двух миров — но инженерная сложность удваивается.

Сценарии, которые реально монетизируются

Вовлечённость в e-learning. Браузерная детекция вовлечённости (взгляд, поза головы, длительность внимания) питает адаптивный контент и персональные траектории обучения. Питч заказчика — снижение оттока и рост доли завершивших курс. Не попадает под запрет EU AI Act, если вы не присваиваете студентам эмоциональные метки.

Телемедицина. Мультимодальный мониторинг настроения и боли — как сигнал поддержки клинического решения, а не диагноз. Подпадает под медицинское исключение AI Act; HIPAA и ст. 9 GDPR при этом по-прежнему применяются. Высокая готовность платить; длинный комплаенс-цикл.

Маркетинговые исследования и тестирование рекламы. Самый зрелый коммерческий кейс. Affectiva, iMotions и Realeyes живут на нём уже десятилетие. Cloud-batch-архитектура, явное GDPR-согласие, ROI идёт за счёт скорости итераций по креативу.

Системы мониторинга водителя (DMS). Детекция сонливости и внимания, требуемая UN R151 и Общим регламентом безопасности ЕС. Действует исключение AI Act по безопасности. Архитектура — только edge, целевые SoC автомобильного класса.

Дашборды видеоконференций. После февраля 2025 года реальный скоуп — только вовлечённость. Тепловые карты «настроения» с выводом об эмоциях больше не подходят для корпоративных заказчиков из ЕС.

Модерация контента. Детекция высокой возбуждённости на загруженных видео — как триаж-сигнал, который дальше обрабатывают модераторы-люди. Cloud-batch, попадает в категорию высокого риска по AI Act, действуют требования к прозрачности.

Модель стоимости — «строить или покупать» в честных цифрах

Приблизительные диапазоны на основе наших недавних проектов и актуальных цен вендоров. Подход Agent Engineering ускоряет ряд позиций ниже; в собственные оценки мы это закладываем, но сравнения «buy» показываем консервативно.

Объём Buy (облачный API) Build (self-host) Вердикт
<100 тыс. кадров/мес. 3 750–37 500 ₽ ~225–450 тыс. ₽ на старт + 15 000 ₽/мес. Buy
100 тыс.–1 млн кадров/мес. 37 500–375 000 ₽ 750 тыс.–1,8 млн ₽ на старт + 37 500 ₽/мес. Гибрид; зависит от комплаенса
1–10 млн кадров/мес. 375 тыс.–3,7 млн ₽ 2,2–6 млн ₽ на старт + 112 500 ₽/мес. Build
>10 млн кадров/мес. от 3,7 млн ₽ в месяц ~6–11 млн ₽ на старт + 300 000 ₽/мес. Build, окупаемость <6 месяцев

Цифры покрывают инженерные работы, GPU-инфраструктуру и сопровождение модели, но не включают стоимость разметки доменного датасета — а она может перевесить всё остальное, если ваши сцены не имеют ничего общего с DFEW.

Фреймворк решения — выберите стек за пять вопросов

1. Ваш продукт работает на рабочих местах или в образовании в ЕС? Если да — переделайте архитектуру под детекцию вовлечённости (взгляд, поза головы, внимание), прежде чем двигаться дальше. Вывод об эмоциях запрещён.

2. Сценарий — реальное время или постфактумный разбор? Реальное время загоняет вас в MobileNet на edge или Jetson; постфактумный разбор разрешает использовать MAE-DFER или мультимодальное слияние в облаке.

3. Доступен ли синхронизированный звук? Если да, мультимодальное слияние добавляет 5–15 пунктов и стоит инженерной работы. Если нет, потолок реалистично определяется только видео.

4. Какой объём инференса вы планируете через 12 месяцев? Меньше 100 тыс. кадров/мес. — лицензируйте. Между 100 тыс. и 1 млн — гибрид. Больше 1 млн — поднимайте MAE-DFER на Jetson или GPU.

5. Насколько важна кросс-культурная валидность? Если ваша аудитория глобальна, закладывайте этапы доменной адаптации для каждого крупного региона и QA-петлю по этничности. Вендоры редко публикуют кросс-культурные сплиты — требуйте их или бюджетируйте собственную валидацию.

Мини-кейс — детекция вовлечённости в живой e-learning-платформе

Недавний проект: живая когортная e-learning-платформа для слушателей из ЕС и Латинской Америки. В исходном брифе значилось: «определять, когда студенты эмоционально отключаются». Первое, что мы сделали, — пересобрали скоуп.

12-недельный план: недели 1–3 — переделка вокруг вовлечённости (длительность взгляда, стабильность позы головы, доля «окон внимания») вместо эмоциональных меток; недели 4–7 — браузерная MobileNet-модель вовлечённости, работающая прямо на устройстве студента, без выгрузки сырого видео; недели 8–10 — интеграция временных рядов вовлечённости в дашборд преподавателя с проработанным UX согласия; недели 11–12 — кросс-региональная валидация на европейских и латиноамериканских выборках.

Результат: преподаватели получили рабочий сигнал вовлечённости в реальном времени на 18–22 fps прямо в браузере, архитектура прошла GDPR-аудит у заказчика без замечаний (биометрия не покидает устройство), а вопрос про EU AI Act перестал всплывать в процедурах закупок. В пользовательских интервью никто не вспомнил про изначальную «детекцию эмоций».

Нужна похожая оценка? Забронируйте 30 минут — пройдёмся по тому, что нужно вашему роадмапу на самом деле, в отличие от формулировок в брифе.

Пять подводных камней, на которых ломаются проекты по анализу эмоций

1. Провал на кросс-культурных данных. Модели, обученные на западных датасетах, теряют 15–30 пунктов на африканских, ближневосточных и коренных популяциях. Требуйте у вендоров разбивку точности по этничности — если её нет, проводите собственную валидацию до того, как доверитесь модели.

2. Подмена эмоции движением лица. Гримаса — не всегда гнев. Парез Белла, болезнь Паркинсона и натренированный «покерфейс» легко ломают наивные классификаторы эмоций. Прозрачность через action unit («сработали AU 4 и AU 7») честнее, чем одна-единственная метка эмоции.

3. Игнорирование освещения, позы головы и перекрытий. Солнцезащитные очки, маски, лица в профиль и контровой свет ухудшают большинство моделей на 20–40%. Задайте на этапе детектора минимальный порог качества лица и отбраковывайте кадры с низкой уверенностью, а не угадывайте.

4. Concept drift. Модели, обученные на данных 2023 года, деградируют на пользовательской аудитории 2025-го. Заведите ежеквартальную оценочную петлю, мониторьте precision/recall по классам и закладывайте 10–20% от начального бюджета на дообучение.

5. Отсутствие человеческого фолбэка. Особенно в телемедицине и образовании: задавайте порог уверенности, при котором модель отказывается отвечать, а не угадывает, и отправляйте спорные случаи на ревью человеку. Это спасает продукт, когда модель ошибается на том самом пользователе, который важнее всего.

KPI, которые стоит измерять, и пороги, которые имеют значение

Качество. Точность по кадрам выше 70% на вашей собственной валидационной выборке. CCC выше 0,50 для непрерывной валентности и выше 0,40 для возбуждения. Разрыв точности между этническими группами не более 10 пунктов. Согласованность с разметкой людей-аннотаторов выше 0,65 (каппа Коэна).

Бизнес. Стоимость инференса меньше 0,07 ₽ на целевом объёме. Задержка p95 меньше 100 мс для сценариев реального времени. Доля отбракованных по уверенности — стабильно 5–10% (заметно выше — вы взяли слишком сложную задачу; заметно ниже — стоит поднять порог).

Надёжность. Доля успешных квартальных аудитов на дрифт. Покрытие аудит-логов — 100% выходов инференса. Аптайм модели выше 99,5%. Среднее время дообучения после триггера дрифта — меньше 14 дней.

Когда НЕ стоит встраивать анализ эмоций по видео в продукт

Откажитесь, если ваш продукт работает в ЕС в области рабочих процессов или образования, а сценарий действительно требует вывода об эмоциях, а не вовлечённости, — риск по AI Act не стоит этой фичи. Откажитесь, если у вас сильно кросс-культурная аудитория, а бюджета на региональную валидацию нет: вы поставите модель, которая будет тихо проседать именно на тех пользователях, которых вы хотите получить. Откажитесь в высокорискованных сценариях (детекция лжи, отбор кандидатов, диагностика психических расстройств), где вы не сможете обосновать научную валидность регулятору.

Стройте, когда эмоция или вовлечённость — чёткий продуктовый дифференциатор (телемедицина, тестирование рекламы, e-learning, DMS), когда работает регуляторное исключение и когда вы можете развернуть постоянную петлю оценки. Сделанная аккуратно, такая фича заметно двигает удержание и выручку; сделанная небрежно — это просто ещё одна функция, которой пользователи не верят.

Часто задаваемые вопросы

Какая техника машинного обучения самая точная для анализа эмоций по видео в 2026 году?

На бенчмарках «в дикой природе» вроде DFEW и FERV39k наверху сейчас сидят self-supervised-трансформеры — MAE-DFER и аналоги, около 70–75% WAR. С синхронизированным звуком мультимодальное слияние выходит за 80% на RAVDESS. Всё, что заявляют выше 90% на видеобенчмарке, почти всегда означает утечку тестовой выборки или синтетический датасет.

Можно ли запускать анализ эмоций по видео прямо в браузере?

Да, с оговорками. Квантизованная MobileNet-модель в WASM или WebGPU выдаёт 10–15 fps на современном ноутбуке и 5–10 fps на телефоне с потерей точности 10–15% относительно серверной версии. Главный плюс — приватность: сырое видео не покидает устройство, что радикально упрощает разговор по GDPR и EU AI Act.

Законно ли распознавание эмоций под EU AI Act?

Распознавание эмоций запрещено на рабочих местах и в образовании в ЕС, с узкими исключениями для медицинских целей и безопасности (сонливость водителя, спортивная безопасность, клиническая оценка под медицинским контролем). Детекция вовлечённости — взгляд, поза головы, длительность внимания — остаётся разрешённой, потому что не делает выводов об эмоциях. Большинство B2B-SaaS-продуктов переделывают логику под вовлечённость, чтобы оставаться по правую сторону запрета.

Сколько обучающих данных нужно для кастомной модели эмоций?

Для обычного supervised-дообучения 2D CNN рассчитывайте на 5 000–20 000 размеченных клипов на каждый класс эмоций. Self-supervised-подходы вроде MAE-DFER уменьшают эту потребность на порядок: предобучение на 100 000+ неразмеченных клипов из вашего домена, затем дообучение на 1 000–5 000 размеченных. Доменная адаптация под регион или популяцию требует ещё по 500–1 000 размеченных клипов.

Что выбрать — Affectiva, AWS Rekognition или self-hosted open-source-модель?

При объёме до 100 тыс. кадров в месяц лицензируйте вендора — AWS Rekognition для пакетной обработки, Hume AI или MorphCast для реального времени. Свыше 1 млн кадров в месяц — поднимайте у себя MAE-DFER или DeepFace на Jetson или GPU; железо окупается за 6–9 месяцев. Affectiva через iMotions остаётся правильным выбором, когда нужна валидация уровня маркетинговых исследований; цены отражают именно это.

Могут ли эти модели определять ложь или микровыражения?

Научно валидированной продакшен-готовой модели детекции лжи по видео не существует; к вендорам, которые такое заявляют, стоит относиться с осторожностью и избегать их в регулируемых контекстах. Детекция микровыражений (эмоциональные «утечки» короче 500 мс) требует камер 240+ fps и специализированных AU-моделей, и даже тогда в 2026 году это исследовательский, а не продуктовый уровень.

Как бороться с кросс-культурным смещением (cross-cultural bias) в распознавании эмоций?

Три вещи. Валидируйте на данных из каждого крупного региона, в котором вы работаете, минимум 1 000 размеченных примеров на этничность. Прогоняйте доменную адаптацию — дообучайте модель на данных каждой популяции. Публикуйте точность по этничности, чтобы разрыв был виден и управляем. Если разрыв стабильно держится выше ~10 пунктов, переключайтесь на детекцию вовлечённости или менее чувствительный к культуре прокси.

Нужно ли явное согласие по GDPR для анализа эмоций?

В большинстве случаев да. Анализ эмоций по видео, как правило, попадает под обработку специальных категорий по статье 9 (биометрические данные), а значит требует явного, информированного и свободно данного согласия или работы под узким исключением (медицина, жизненно важные интересы). Предотмеченные галочки недопустимы; согласие должно быть утвердительным, конкретным и отзывным. Edge-обработка помогает — сырое видео не покидает устройство, — но временные ряды эмоций, уходящие наверх, всё равно могут считаться персональными данными.

Глубокое погружение

Полный гайд по детекции эмоций в аудио и видео

Эталонная статья про мультимодальную детекцию эмоций от начала и до конца.

Тренды

Будущее AI в видеостриминге

Как AI меняет стриминг, конференции и записанное видео.

E-learning

Полный гайд по созданию учебного контента с помощью AI

Куда вписываются вовлечённость и AI в современные e-learning-роадмапы.

Инструменты

Топ-3 AI-инструмента для тестов и оценок

Смежные AI-функции, которые часто запускают вместе с детекцией вовлечённости.

Готовы запустить анализ эмоций по видео правильно?

Анализ эмоций по видео в 2026 году — это короткий список из пяти техник, честный потолок точности, разговор про EU AI Act и решение «строить или покупать», которое определяется объёмом. Команды, которые выигрывают, относятся к этому как к продуктовой функции с явными KPI, проектируют под комплаенс с первого дня и выбирают архитектуру под бюджет задержек, а не по верхней строчке лидерборда.

Если вы планируете запуск, перепроектируете архитектуру под AI Act или решаете, что лучше под ваш объём — MAE-DFER или коммерческий API, — мы делали это достаточно раз, чтобы пропустить этап опросов. Принесите архитектурную диаграмму или коммерческое предложение, и мы скажем, что построили бы вместо этого.

Давайте проверим ваш план по эмоциональному AI на прочность

30 минут, один senior-инженер, никакой воды. Принесите целевую точность, шорт-лист вендоров или просто набросок.

Позвоните нам → Напишите нам →

  • Технологии