Распознавание эмоций в видео: стоит ли внедрять

Распознавание эмоций по голосу и видео часто попадает в план продукта просто потому, что технология выглядит эффектно, хотя решать она должна конкретную бизнес-задачу. Судьбу такого проекта на практике определяют три вопроса: законен ли выбранный сценарий, готова ли компания смириться с точностью заметно ниже рекламной и есть ли понятный ответ на вопрос "зачем", который выдержит проверку с точки зрения согласия пользователя.

Это руководство разбирает, где распознавание эмоций реально приносит пользу бизнесу, почему точность в реальных условиях всегда ниже лабораторной, почему групповой сигнал безопаснее индивидуального, сколько это стоит на практике и какие ошибки чаще всего допускают компании.

Где это реально приносит пользу бизнесу

Онлайн-обучение. Агрегированный сигнал вовлечённости по группе студентов помогает преподавателю на ходу скорректировать темп занятия. Индивидуальная оценка эмоций конкретного студента: совсем другая, гораздо более рискованная задача с точки зрения закона.

Контакт-центры. Коучинг оператора в реальном времени на основе тона голоса собеседника: зрелая и востребованная практика, которая помогает операторам вовремя менять манеру разговора в сложных звонках.

Продажи и переговоры. Сигналы вовлечённости на видеозвонках подсказывают менеджеру, когда стоит сменить тему или темп разговора, и помогают точнее заполнять данные о звонке в CRM. В таком виде видеоаналитика на ИИ работает подсказкой менеджеру прямо во время разговора.

Маркетинговые исследования. Анализ реакции аудитории на рекламу или контент на панелях респондентов, давших явное согласие на участие.

Мониторинг состояния водителя. Отдельная категория систем безопасности, где отслеживаются сонливость и отвлечение внимания, а не эмоции как таковые. Во всех пяти сценариях эмоции остаются одной из функций ИИ поверх видео в реальном времени и работают рядом с транскрипцией, поиском по записи и модерацией.

Точность заметно ниже, чем в рекламе

Показатели точности, которые демонстрируют поставщики технологии, почти всегда получены на аккуратно подобранных лабораторных записях с хорошим освещением и чёткой речью. На реальных пользователях, в обычных условиях съёмки, с разными акцентами и типами лиц точность заметно падает, а на редких или неоднозначных эмоциях: тем более. Разрыв между лабораторными и полевыми цифрами хорошо виден, когда разбираешь модели эмоционального анализа и их точность на открытых наборах данных.

Практический вывод для бизнеса: никогда не обещайте пользователям или руководству точную метку эмоции как факт. Правильная подача: вероятностный сигнал с уровнем уверенности, который дополняет другие данные, а не заменяет решение человека.

Групповой сигнал безопаснее индивидуального

Агрегированная и анонимизированная аналитика на уровне группы, например общий уровень вовлечённости аудитории вебинара, гораздо проще с точки зрения права и этики, чем индивидуальная эмоциональная оценка конкретного, узнаваемого человека. Индивидуальный скоринг сотрудника или учащегося без согласия и без необходимой правовой основы: территория повышенного юридического риска.

Практическое правило: начинайте с агрегированного сигнала там, где это возможно, и переходите к индивидуальной оценке только при явной необходимости, с отдельным согласием и понятной причиной, которую можно объяснить пользователю. Чаще всего групповой сигнал нужен именно на встречах, и по этому сценарию собраны короткие ответы про эмоции в видеоконференциях.

Готовое решение или разработка под задачу

Готовое решение подходит, если распознавание эмоций: вспомогательная функция, а не ключевое конкурентное преимущество продукта, и стандартного качества, которое даёт готовый инструмент, достаточно для задачи.

Собственная разработка окупается, если нужна точность на нестандартной аудитории компании, требуется полный контроль над тем, где хранятся и обрабатываются биометрические данные, или анализ эмоций должен стать частью основного продукта, а не дополнением к нему.

Сколько это стоит на практике

Интеграция готового решения для одной модальности, например только по голосу или только по тексту: наименее затратный и самый быстрый вариант. Полноценная система с несколькими источниками сигнала на собственном видеостеке: заметно больший объём работы. Регулируемый сценарий в медицине или другой чувствительной сфере: наиболее затратный и долгий вариант, требующий отдельного согласования.

Разработка ИИ-анализа эмоций под ключ у Фора Софт начинается от 310 000 ₽: итоговая стоимость зависит от числа источников сигнала, требований к обработке на устройстве и требований к соответствию. Такие проекты почти всегда начинают с пилота, и планирование MVP пилота показывает, какие источники сигнала реально нужны на первом этапе.

Что регулирует закон

Лицо, голос и физиологические сигналы для распознавания эмоций: биометрические персональные данные особой категории по 152-ФЗ, и их обработка требует отдельного, конкретного согласия человека, а не общего согласия из пользовательского соглашения.

Для несовершеннолетних учащихся согласие на обработку биометрии даёт законный представитель, и дополнительно действуют требования 273-ФЗ об образовании. Для медицинских сценариев, включая скрининг эмоционального состояния, применяются требования 323-ФЗ и профильных приказов Минздрава.

Решение, которое существенно затрагивает права человека, например при приёме на работу или допуске к обучению, и принимается полностью автоматически без участия человека, требует отдельного обоснования и повышенного внимания юристов компании.

Пять ошибок, которые чаще всего допускают компании

Показ пользователю категоричной метки эмоции вместо вероятностного сигнала. Формулировка "пользователь раздражён" выглядит как факт и вводит в заблуждение сильнее, чем аккуратное "тон голоса становится более резким".

Пропуск отдельного согласия на обработку биометрических данных. Общее согласие из пользовательского соглашения не заменяет отдельное, понятное согласие именно на анализ эмоций.

Восприятие разницы в точности между демографическими группами как незначительной погрешности. Заметный разрыв в точности для разных групп пользователей: повод для пересмотра модели и источник репутационного и юридического риска, а вовсе не случайный шум.

Индивидуальная оценка сотрудников или учащихся без необходимых оснований. Это одна из самых рискованных областей применения технологии и требует отдельной юридической проверки перед запуском.

Отсутствие плана на случай, когда канал недоступен. Часть пользователей блокирует камеру или отключает микрофон, и система, которая работает только при доступе ко всем каналам сразу, откажет заметной доле пользователей.

Наш опыт

Фора Софт работает над продуктами для видеосвязи, распознавания и обработки речи с 2005 года: 250+ проектов, 2 миллиона часов разработки, заказчики из 17+ стран, 50 специалистов в штате без субподряда.

На Школарли, нашей платформе для онлайн-обучения, которая держит более 2 000 студентов в одной сессии, любой сигнал вовлечённости строится и обновляется на уровне группы: индивидуальная оценка каждого участника на таком масштабе не дала бы преподавателю ничего полезного и создала бы лишние юридические риски. Тот же опыт с потоковым видео лежит в основе Таннел, нашего сервиса p2p видеозвонков на WebRTC с входом по номеру комнаты.

Продукт в реестре отечественного ПО Минцифры, программа «Мундиаль», реестровая запись № 21522. План MVP, аудит архитектуры и первая оценка стоимости: бесплатно, в течение 3 рабочих дней.

Когда не стоит внедрять распознавание эмоций

Продукт затрагивает сотрудников или учащихся, а правовое основание для индивидуальной оценки не проработано. В этом случае стоит остановиться и пересмотреть объём функции.

Сигнал должен принимать значимое решение о человеке без участия человека в процессе. Приём на работу, допуск к обучению или медицинское решение не должны опираться только на автоматическую оценку эмоций.

Нет возможности собрать сбалансированные по демографии данные для проверки. Без такой проверки компания рискует получить смещённый результат и не заметить этого до жалоб пользователей.

Функция добавляется просто потому, что это модно, а не потому, что решает конкретную задачу продукта. В таких случаях чаще выгоднее выбрать более простую поведенческую метрику вместо анализа эмоций.

FAQ