7 лучших алгоритмов обнаружения аномалий в видеонаблюдении 2026: от RTFM до VadCLIP

Зачем Фора Софт написала этот плейбук

Фора Софт разрабатывает решения для видео в реальном времени и ИИ с 2005 года: за это время выпущено более 625 программных продуктов, а рейтинг выполнения задач на Upwork — 100%. Видеонаблюдение и обнаружение аномалий — это область, где мы работаем уже два десятилетия, сочетая две наши ключевые компетенции: стабильную передачу десятков живых RTSP/WebRTC-потоков и интеграцию моделей компьютерного зрения в эти потоки без превышения допустимой задержки.

Наш собственный SaaS V. A. L. T. работает в полицейских комнатах допроса, судах, больницах и центрах медицинского обучения, обрабатывая до девяти одновременных потоков с IP-камер на сессию в режиме реального времени. Уроки из этого руководства получены на основе реальных внедрений — включая запуск в судах Казахстана и масштабное внедрение для заказчика из сферы медицинского образования, — а не на основе результатов тестов в таблицах лидеров. Мы также разрабатываем продукты помимо V. A. L. T.: системы видеонаблюдения на дронах совместно с DSI Drones и мобильные приложения для IP-камер, такие как NETCAM.

В этой статье мы ранжируем алгоритмы, которые реально используем в работе, с учётом компромиссов, с которыми сталкивались на настоящих камерах — а не на тех, что лучше всего выглядят на UCF-Crime. Если вы оцениваете проект, переходите сразу к фреймворку принятия решения или свяжитесь с нами напрямую.

Вердикт в одном абзаце

Если у вас много обычных записей, но мало размеченных инцидентов, начните со слабоконтролируемой MIL-модели (RTFM или BN-ВАД) поверх предобученного бэкбона I3D/ViViT — это текущий SOTA на UCF-Crime (AUC ~97,5%) и XD-Violence (AP 84,93%). Если меток почти нет и нужно работать сразу с множеством объектов, используйте визуально-языковую модель (VadCLIP, AA-CLIP) для zero-shot-детекции (AUC 80–87%). Если работаете на Jetson Nano и нужно выявлять только явные аномалии, базовый Isolation Forest или автоэнкодер по-прежнему остаются актуальными. Дальше в статье разбираем, в каких случаях каждая из них даёт сбой, какие реальные результаты получаются и как их комбинировать, чтобы доля ложных срабатываний оставалась ниже 1,5%.

Как читать этот список

Каждый алгоритм ниже отвечает на свой вопрос при внедрении. Мы ранжируем их по количеству реальных проектов видеонаблюдения, где они действительно сработали, — а не по результатам бенчмарков из научных статей. У каждой позиции одинаковая структура: как работает, зачем использовать, где может подвести и однострочное правило для выбора.

Список разделён на два уровня. Уровень 1 (алгоритмы 1–3) — это решения, которые мы уже используем в продакшене на размеченных или слабо размеченных данных. Уровень 2 (алгоритмы 4–7) — это простые и быстрые базовые подходы: их часто применяют в составе гибридного стека вместе с нейросетевой моделью.

Алгоритм 1 — Слабоконтролируемое MIL (RTFM, BN-ВАД, ПЭ-МИЛ)

Это современная рабочая лошадка. Multiple-Instance Learning (MIL) рассматривает каждое видео как набор клипов и обучается присваивать высокие оценки наиболее аномальным клипам в «аномальных» мешках. RTFM (Robust Temporal Feature Magnitude) добавил функцию потерь на основе топ-k значений признаков; BN-ВWAD (CVPR 2024) заменил её критерием, основанным на BatchNorm; PE-MIL (CVPR 2024) включил текстовые промпты в качестве дополнительной информации.

Зачем выбирать

Нужны только метки на уровне видео («в этом клипе есть событие») — без покадровой разметки. С 500–1500 клипами инцидентов и нормальной записью BN- WVAD достигает AUC 87,24% на UCF- Crime и AP 84,93% на XD- Violence — текущий публичный state of the art. Инференс — 30–50 мс на RTX 4090 или Jetson Orin AGX.

Где ломается

Короткие аномалии (удар, выхватывание, падение) часто не достигают AUC выше 60%, потому что мешок MIL «размазывает» сигнал. Кросс-сценная генерализация работает слабо: перенос модели, обученной на одной камере, на другую без дообучения может снизить AUC на 10–15 пунктов. Меры по улучшению: обучайтесь на данных с нескольких камер, сглаживайте предсказания по окну из 5–10 кадров и объединяйте модель в ансамбль со вторым бэкбоном.

Алгоритм 2 — Визуально-языковые модели (VadCLIP, AA-CLIP, AnomalyCLIP)

Детекторы на основе VLM замораживают энкодер в стиле CLIP и оценивают кадры по текстовым промптам («дерётся человек», «пожар», «упавшее тело»). VadCLIP (AAAI 2024), AA-CLIP (CVPR 2025) и AnomalyCLIP сделали этот подход применимым для видео без обучающих данных по каждому классу. Некоторые варианты комбинируют промпты со слабоконтролируемыми головами.

Зачем выбирать

Zero-shot-точность AUC 80–87% на UCF-Crime без дообучения беспрецедентна — она позволяет запустить пилот за одну неделю. Добавление новых классов аномалий сводится к замене промпта, а не требует цикла переобучения. Именно это нужно мультисайтовым ритейл- и промышленным заказчикам.

Где ломается

Подвох в задержке: полный ViT-Л/14 CLIP обрабатывает кадр за 80–150 мс даже на GPU уровня RTX, а для работы на краевых устройствах обычно требуется дистилляция. Тонкие аномалии, связанные с движением (например, длительное пребывание в зоне или медленные манипуляции), распознаются хуже — ведь CLIP обучается на уровне отдельных изображений, а не временных последовательностей.

Алгоритм 3 — Пространственно-временные ансамбли (Conv-ЛSTM + Transformer + вероятностная голова)

Когда нельзя пропустить событие — комбинируйте модели. Типичный ансамбль объединяет 3D-ConvNet/Conv-ЛSTM (для анализа движения), Transformer (для учёта долгосрочных временных зависимостей) и вероятностную головку (голосование с учётом неопределённости). На датасете ShanghaiTech такой подход даёт AUC 97,89% при очень низкой фрагментации.

Зачем выбирать

Расхождение голов — полезный сигнал сам по себе: кадры с высоким расхождением мы отправляем человеку-оператору, а не сразу вызываем алерт. Благодаря этому мы снизили количество ложных срабатываний в наших внедрениях примерно на 40%.

Где ломается

Стоимость. Три модели утраивают время обучения, объём железа и расходы на эксплуатацию. Мы рекомендуем ансамбль только для высокорисковых сценариев (банки, суды, реанимации), где пропущенное событие — недопустимый сбой.

Алгоритм 4 — Isolation Forest (дешёвая базовая модель для работы в реальном времени)

Isolation Forest строит случайные бинарные деревья, которые изолируют выбросы за меньшее число разбиений, чем нормальные точки. Алгоритм работает без учителя, хорошо распараллеливается и выполняется за 10–25 мс на кадр на встроенном CPU.

Зачем выбирать

Это самая дешёвая разумная базовая модель, которую можно использовать в продакшене. Мы применяем её внутри V. A. L. T. как предварительный фильтр по признакам энкодера (векторы движения, магнитуда optical flow, нормы эмбеддингов), чтобы глубокая модель запускалась только на кандидатных кадрах — это сокращает нагрузку на GPU на 60–70% в «тихих» сценах.

Где ломается

Без глубокого энкодера Isolation Forest достигает AUC 75–85% на сырых пиксельных данных — этого недостаточно для алертов в высокорисковых сценариях. Используйте его для первичного отбора, а не как единственный способ защиты.

Алгоритм 5 — Автоэнкодеры и VAE/Conv-ЛSTM-AE

Обучайте автоэнкодер на нормальной записи: высокая ошибка реконструкции при инференсе указывает на аномалию. Автоэнкодеры на основе Conv-ЛSTM позволяют применять этот подход к коротким временным окнам. Они остаются основным выбором, когда меток нет вообще, а сцена в кадре в основном статична.

Зачем выбирать

Нет меток, нет таксономии, простой деплой. Это также самая лёгкая в дообучении модель при дрейфе сцен — достаточно подать последние 24 ч нормальной записи. Полезно для нишевого промышленного мониторинга (конвейеры, клапаны, серверные).

Где ломается

Доля ложных срабатываний 8–12% на оживлённых сценах — дождь, листва, толпа, резкие изменения освещения. Используйте только на камерах с контролируемым окружением и в паре со слоем временного сглаживания.

Алгоритм 6 — Кластеризация K-means на эмбеддингах

Современное применение K-Means для VAD работает не с сырыми пикселями, а с эмбеддингами от замороженного видеоэнкодера (I3D, X3D, ViViT). Каждый кластер описывает определённый поведенческий режим; небольшие или удалённые кластеры считаются аномальными.

Зачем выбирать

Лёгкий, интерпретируемый и отлично подходит для профилирования поведения, а не для обнаружения инцидентов — например, для группировки паттернов смен, аномалий потоков в ритейле или сравнения регулярных и нерегулярных пешеходных потоков.

Где ломается

Нужно выбирать K, и алгоритм чувствителен к дрейфу сцен. Перекластеризуйте раз в неделю — либо используйте только как дополнительный признак рядом с глубоким детектором.

Алгоритм 7 — DBSCAN для поиска аномалий в толпе

DBSCAN группирует точки по локальной плотности без необходимости заранее задавать число кластеров. В видеонаблюдении он особенно полезен для анализа треклетов и траекторий (после пайплайна YOLO + SORT/ByteTrack) — изолированные треклеты в плотной толпе часто указывают на аномалии (например, человек движется против потока или автомобиль стоит на месте).

Зачем выбирать

Устойчив к шуму, не требует настройки параметра K, линейно масштабируется в оптимизированных вариантах, применяемых в современных стеках.

Где ломается

Подбор порога плотности хрупок при переменной заполненности толпы (часы пик и затишье). Используйте адаптивные оценщики плотности или переключайтесь на K-Means, когда плотность падает.

Матрица сравнения — кто выигрывает по какому компромиссу

Эталонная архитектура: как алгоритмы работают вместе

В продакшене ни один из этих алгоритмов не работает в одиночку. Самый дешёвый надёжный стек, который мы развёртываем, состоит из четырёх последовательных этапов: 1) приём RTSP/WebRTC в on-prem или облачный медиасервер (для V. A. L. T. мы используем кастомизированную связку SRS / mediasoup); 2) предварительная фильтрация с помощью Isolation Forest по магнитуде движения или эмбеддингов на edge-устройстве; 3) классификация кандидатных кадров с помощью слабоконтролируемой MIL- или VLM-головы; 4) постобработка через DBSCAN на треклетах и голосование ансамбля перед отправкой алерта.

Преимущество такого многослойного дизайна в том, что вы сокращаете время работы GPU на самой сложной модели на 60–70%, сохраняя точность глубокой нейросети там, где она действительно нужна. В сочетании с edge-выводом (Jetson Orin Nano/AGX) вы остаётесь в пределах 50 мс end-to-end на один поток — это порог, выше которого уведомления воспринимаются как запаздывающие. Подробнее об этом компромиссе мы писали в статье *Edge AI vs Cloud AI for video surveillance*.

Слой железа: edge или облако с реальными цифрами

Математика жёсткая: на 30 FPS у каждого кадра бюджет 33 мс. Edge-обработка в него укладывается, а чистое облако — нет. Любое внедрение видеонаблюдения от Фора Софт по умолчанию идёт через гибридную топологию: edge отвечает за алерты, а облако — за хранение, дообучение и дашборды.

Мини-кейс: V. A. L. T. в судах и медицинском обучении

Ситуация. Региональной судебной системе нужно было записывать допросы и показания свидетелей с девяти одновременных потоков IP-камер в каждой комнате, а также фиксировать аномалии — например, попытки вмешательства в работу камеры, резкие звуки или поведение, не соответствующее протоколу. Существующее решение, работавшее только в облаке, давало задержку оповещений 1–2 секунды и не подходило для оперативного анализа офицером в реальном времени.

12-недельный план. Мы заменили центральный пайплайн на многослойный стек, описанный выше: edge-шлюз в каждой комнате с предварительной фильтрацией Isolation Forest по признакам движения и эмбеддингам, MIL-голова класса RTFM на кандидатных кадрах и DBSCAN-проверка треклетов на детекциях людей. MIL-голову обучили примерно на 800 внутренних клипах инцидентов и проверили кросс-комнатную генерализацию на отложенном объекте.

Результат. Задержка алерта сократилась с ~1,4 с до ~70 мс end- to-end; доля ложных срабатываний упала с ~6% до ~1,2% после применения временного сглаживания; доля пропущенных инцидентов осталась ниже 4% на тестовом объекте. Та же архитектура теперь используется в полицейских комнатах допроса и центрах медицинского образования в рамках внедрения V. A. L. T. Хотите такую же оценку? Позвоните или напишите нам.

Модель стоимости: как выглядит честная кастомная разработка

Грубые оценки Фора Софт на кастомный пайплайн детекции аномалий — с учётом того, что наш Agent Engineering ускоряет этапы работы глубокой модели и интеграции:

Если вендор предлагает полностью кастомное AI-внедрение на 50 камер дешевле 6 млн ₽, спросите, что он урезает — соответствие требованиям, дообучение или edge-шлюзы? Если цена превышает 75 млн ₽ за тот же объём — тоже уточните, почему. Наши цены ниже, чем у традиционных системных интеграторов, потому что мы используем Agent Engineering для сокращения циклов разработки, а не за счёт упрощения валидации.

Фреймворк принятия решения — выбираем алгоритм за пять вопросов

1. Сколько клипов инцидентов вы реально разметили? 0 примеров → VLM (VadCLIP). 100–500 → VLM с лёгким дообучением. 500–1500 → слабоконтролируемое MIL (BN-WVAD). 2 000+ покадровых меток → полностью контролируемый Transformer/ансамбль.

2. Какая задержка нужна для алертов? < 50 мс — нужен edge (Jetson Orin). От 1 до 3 секунд — можно использовать гибридный пайплайн с постобработкой в облаке. Более 5 секунд — подходит для чисто криминалистических задач.

3. Сколько объектов и насколько разные сцены? Одна стационарная камера → достаточно слабоконтролируемого MIL. 10+ объектов с разной геометрией → используйте визуально-языковую модель и планируйте дообучение раз в квартал.

4. Делаете ли биометрическую идентификацию? Если да — по умолчанию относите проект к запрещённым или высокорисковым по EU AI Act; с первой недели проектируйте журналы аудита, возможность ручного вмешательства и DPIA. Если нет — поведение, проникновение, падения, драки всё равно попадают в категорию высокого риска по Акту, но реализация возможна при правильной документации.

5. Какую долю ложных срабатываний выдержит ваша операционная команда? > 5% убивает доверие за неделю. Мы ставим цель — < 1,5%, используя ансамбли, временное сглаживание и передачу неоднозначных случаев аналитикам в контуре. Цифры ниже 0,5% на оживлённых уличных сценах вызывают подозрения — спросите у поставщика, что он скрывает.

Пять подводных камней, которые тихо убивают продакшен-системы VAD

1. Доверять одному бенчмарку. Модель с 97% AUC на UCF-Crime может упасть до 75% на вашем торговом зале в 19:00. Всегда проверяйте на мультисценном бенчмарке вроде MSAD или SmartHome- Bench перед приёмкой.

2. Игнорировать временную фрагментацию. Покадровый AUC может скрыть модель, которая ловит начало драки, но пропускает середину. Используйте временной IoU (tIoU) и требуйте 5–10 подряд идущих аномальных кадров перед срабатыванием алерта.

3. Не детектировать дрейф. Смена освещения, сезонная листва, новая униформа — всё это незаметно выводит вашу модель из распределения. Запустите Isolation Forest на потоке эмбеддингов: когда расстояние до обучающего распределения растёт, планируйте дообучение.

4. Пропускать человека в контуре. Классификация «высокий риск» по EU AI Act фактически требует вмешательства человека. Заложите очередь проверки аналитиком в интерфейсе — не как фичу второй версии, а с самого начала.

5. Оптимизировать только точность. Операционные команды перестают обращать внимание на системы, которые срабатывают чаще раза в неделю из-за ложных тревог. Делайте долю ложных срабатываний главным KPI, а не второстепенным показателем.

KPI для замеров: качество, бизнес, надёжность

KPI качества. Покадровый AUC > 90% на мультисценном отложенном наборе (а не на одном датасете); временной IoU > 0,5; падение кросс-сценного AUC < 10% между обучающей и развёрнутой камерой.

Бизнес-метрики. Время реакции оператора на истинный положительный алерт — менее 60 с; доля ложных срабатываний — менее 1,5% в пиковые часы; время добавления нового класса аномалии — менее 2 недель для стеков на базе VLM.

KPI надёжности. Энд-ту-энд задержка алерта P95 < 100 мс на edge; аптайм пайплайна > 99,9% на поток; ритм дообучения ≤ 90 дней; срок от срабатывания детектора дрейфа до дообучения — не более 14 дней.

Соответствие требованиям: EU AI Act, GDPR, BIPA

EU AI Act. Биометрическая идентификация в реальном времени в общественных местах в основном запрещена (вступает в силу с февраля 2025 года). Другие виды анализа видео, используемые для обеспечения безопасности, охраны или контроля на рабочем месте, относятся к категории «высокий риск» и должны пройти оценку соответствия и быть зарегистрированы в базе данных EU AI до августа 2026 года. Подготовьте файл управления рисками, план работы с данными и журнал контроля со стороны человека.

GDPR. Записи — это персональные данные; классификации аномалий могут попадать под статью 22 об автоматизированных решениях. Проведите DPIA, определите сроки хранения (обычно 7–30 дней) и убедитесь, что процессы доступа субъекта к данным работают для видео.

Законы штатов США. BIPA в Иллинойсе, биометрические законы Техаса и Вашингтона требуют явного согласия на сбор биометрических данных. CCPA даёт жителям Калифорнии право знать, какие биометрические данные собираются, и удалять их. Спроектируйте процесс получения согласия до того, как подключать камеры.

Когда НЕ стоит делать кастомный VAD

Если нужна только базовая детекция — длительное нахождение в зоне, проникновение или движение в запрещённых зонах — готовые VMS-решения (Avigilon, Eagle Eye Networks, Verkada, BriefCam, Sighthound) уже включают необходимые алгоритмы и инфраструктуру для соответствия требованиям по цене от 15 000 до 75 000 ₽ в год на камеру. Кастомная разработка оправдана только в трёх случаях: (а) ваше определение аномалии сильно отличается от стандартных и специфично для отрасли, (б) требуется обработка данных локально или в приватном облаке из-за требований к безопасности или (в) вы создаёте интегрированный продукт на основе VAD-модели, а не просто систему видеонаблюдения.

Всем остальным мы обычно рекомендуем сначала запустить готовую платформу, а затем поверх неё организовать обработку событий с помощью собственной системы обнаружения аномалий — это дешевле, быстрее и снижает риски.

FAQ

Что почитать дальше

Готовы запустить детекцию аномалий, которая срабатывает там, где нужно?

Выбирайте алгоритм исходя из ваших данных и допустимой задержки, а не по рейтингам. Начните с простой и дешёвой базовой модели — например, Isolation Forest или автоэнкодер — и используйте её в связке с глубоким детектором, таким как BN-WVAD или VadCLIP. Проверяйте систему на мультисценном бенчмарке, запускайте на edge-устройствах и оценивайте долю ложных срабатываний — это и будет ключевым показателем, который действительно важен для ваших операторов.

Если разбираться со всем этим в одиночку не хочется — мы уже прошли этот путь для полицейских комнат допроса, судов и центров медицинского обучения и с радостью пройдём его и для вас. Самый быстрый способ начать — короткий разговор с командой, которая создала V. A. L. T.