7 лучших моделей для обнаружения аномалий в видеонаблюдении в 2026 году

Зачем Фора Софт написала этот плейбук

Мы разрабатываем решения для видеонаблюдения и ИИ в мультимедиа с 2005 года. Обнаружение аномалий — ключевой элемент почти каждого современного проекта, который мы реализуем: запись судебных заседаний, медицинские тренинги, защита от краж в ритейле, охрана периметра. И вопрос какую модель выбрать наши инженеры чаще всего обсуждают с клиентами ещё на этапе определения задач.

Наша платформа V. A. L. T. обрабатывает неограниченное количество одновременных HD-потоков в комнатах полицейских допросов и медицинских учебных центрах, а детекция аномалий работает параллельно со слоем записи. Инженерные решения — что детектировать, как, где запускать и как избежать ложных срабатываний в судебных материалах — напрямую зависят от семи семейств моделей ниже.

Этот плейбук — концентрат разговора о выборе модели: какие семь моделей детекции аномалий действительно заслуживают места в стеке, когда каждая из них уместна, на какие бенчмарки можно опираться и как собрать стек, который работает в продакшене, а не только на лидерборде.

Как выбрать модель в 2026 году — четыре главных фактора

Прежде чем выбирать конкретную модель, ответьте на четыре вопроса. Всё, что идёт ниже в статье, — это следствие этих ответов.

Есть ли у вас разметка? Если разметки нет совсем — ваш путь к свёрточным автоэнкодерам или VLM. Разметка на уровне видео («в этом ролике есть драка») открывает путь к слабо контролируемым MIL-методам вроде RTFM. Покадровая разметка позволяет использовать полностью управляемые подходы, но в реальных проектах встречается редко.

Какой бюджет по задержке? До 200 мс (полицейская диспетчеризация, автоматический отклик) требует вычислений на edge и лёгких архитектур. Выше 500 мс (оповещение оператора, анализ после события) можно использовать трансформеры и VLM.

Аномалии — событийные или сценовые? Событийные аномалии (драка, бег, падение) хорошо распознают 3D CNN и двухпотоковые сети с оптическим потоком. Сценовые (праздношатание, посторонние предметы, оставленные сумки) лучше выявляет комбинация детектора объектов и реконструкции.

Сколько локаций придётся покрыть? Одна фиксированная камера выигрывает от автоэнкодера, обученного под конкретную сцену. SaaS для разных локаций требует обобщения — VLM, трансформеры или ансамбль с доменной адаптацией.

Модель 1 — свёрточные автоэнкодеры (базовый подход без учителя)

Свёрточный энкодер сжимает каждый кадр до компактного латентного кода, а декодер восстанавливает кадр по этому коду. Обучайте модель только на «нормальных» видео — всё, что плохо восстанавливается, считается аномалией. Разметка не требуется, модель небольшая, а время работы — 15–30 мс на Jetson Nano.

Сильные стороны: самый быстрый способ настроить детектор для конкретной сцены с одной фиксированной камерой. Ограничения: предел точности — около 70–80% AUC на бенчмарках с реальными данными; чувствителен к изменениям освещения и погодных условий; пропускает тонкие аномалии, на которые не реагирует потеря реконструкции.

Модель 2 — двухпоточные сети с оптическим потоком

Параллельно работают две CNN: одна анализирует сырые RGB-кадры (внешний вид), вторая — оптический поток между кадрами (движение). Потоки объединяются на этапе финального предсказания. Классический подход позволяет выявлять аномалии, связанные с движением — например, бег, драки, скопление людей, движение против потока, — которые покадровые методы не замечают.

Сильные стороны: отлично справляется с движенческими аномалиями, даёт независимый сигнал, который повышает точность ансамбля на 5–8 пунктов. Ограничения: расчёт оптического потока занимает 20–40 мс на кадр; не работает на PTZ-камерах и при очень быстром движении.

Модель 3 — 3D CNN и SlowFast (пространственно-временные)

Здесь 2D-свёртки заменяются на 3D, которые охватывают и пространство, и время. Модели C3D, I3D и SlowFast улавливают, как развивается действие — например, нарастание драки или затухание падающего объекта — то, что покадровые подходы не замечают. I3D, предобученный на датасете Kinetics, до сих пор остаётся основным инструментом для извлечения признаков в современных слабо контролируемых методах.

Сильные стороны: хорошо справляется с аномалиями в событиях, надёжная основа для последующих MIL-методов. Ограничения: инференс возможен только на GPU, обработка клипа из 8 кадров занимает 200–400 мс, обучение требует значительных затрат.

Модель 4 — ConvLSTM (рекуррентная реконструкция видео)

Свёрточный энкодер передаёт данные в LSTM, который учится предсказывать следующий кадр; ошибка реконструкции или предсказания указывает на аномалию. Такой подход занимает промежуточное положение между простыми автоэнкодерами и полноценными 3D CNN — он дешевле, чем 3D-сети, но лучше учитывает временные зависимости, чем покадровые методы.

Сильные стороны: хорошо подходит для постоянного мониторинга видео на edge-устройствах с GPU (например, Jetson Orin NX); справляется с клипами продолжительностью от 5 до 30 секунд. Ограничения: хуже работает на реальных, «диких» данных, чем трансформеры; плохо масштабируется при увеличении контекста — эффективно обрабатывает лишь несколько десятков кадров.

Модель 5 — слабо контролируемый MIL (RTFM, MIST, S3R)

Multiple Instance Learning рассматривает каждое видео как «мешок» с общей меткой — аномалия или норма; отдельные кадры получают эту метку с определённой вероятностью. RTFM (ICCV 2021) внедрил устойчивое обучение по величине временных признаков с использованием self-attention и до сих пор остаётся эталоном SOTA: около 84,3% AUC на UCF-Crime и 97,2% на ShanghaiTech с признаками I3D. Вариант с BERT повышает результат на ShanghaiTech до ~98,5%.

Сильные стороны: высокая точность без покадровой разметки — достаточно аннотаций на уровне видео. Ограничения: 6–8 ГБ видеопамяти при обучении, зависимость от предметной области (модель, обученная на ShanghaiTech, плохо работает в ритейле или на парковках).

Модель 6 — самообучающиеся трансформеры (MAE-DFER, ViViT, TimeSformer)

Сначала трансформер обучают на десятках тысяч неразмеченных клипов с помощью маскированного автокодирования, а затем дообучают на меньшем размеченном наборе данных. Переломный момент 2024–2026 годов: резко снизились требования к размеченным данным, выросла точность в реальных условиях и появилась возможность интерпретировать работу модели с помощью карт внимания. ViViT и TimeSformer используют раздельное пространственно-временное внимание, чтобы эффективно обрабатывать длинный контекст.

Сильные стороны: высокая точность на сложных бенчмарках реального мира; предобучение снижает зависимость от разметки. Ограничения: время вывода — 300–800 мс, требуется GPU, интерпретация сложнее, чем у CNN+LSTM.

Модель 7 — vision-language модели (AnomalyCLIP, LAVAD, VadCLIP)

Методы на базе CLIP обучаются создавать совместный визуально-языковой эмбеддинг, а аномалии можно описывать на естественном языке. AnomalyCLIP сейчас лидирует на UCF-Crime с ~90,32% AUC и на ShanghaiTech с ~93,5% — при этом используется разметка только на уровне клипа. LAVAD работает полностью в zero-shot режиме. VadCLIP++ входит в топ на XD-Violence с ~90,5% AP. Самые свежие модели (Holmes-ВАД, VERA) генерируют текстовые объяснения для каждого алерта — это важный плюс при проведении комплаенс-аудитов.

Сильные стороны: работает в разных локациях, распознаёт новые типы аномалий без переобучения, выдаёт понятные предупреждения. Ограничения: самый высокий расход ресурсов на обработку (80–300 мс на кадр на современной GPU), часто требует локального размещения, чтобы кадры не передавались через сторонние API из соображений конфиденциальности.

Семь моделей в одной сравнительной таблице

Цифры в таблице — это консервативные опубликованные результаты с лидербордов; в продакшене на вашей локации обычно получается на 5–15 пунктов ниже. Используйте таблицу как относительный порядок, а не гарантию.

Бенчмарки, которым стоит доверять в 2026 году

UCF-Crime. 13 типов преступлений, 128 часов видео, разметка на уровне видео. AnomalyCLIP с ~90,3% AUC — текущий SOTA; реальные рабочие развертывания показывают 75–85%.

ShanghaiTech Campus. 13 сценариев на территории кампуса с покадровой разметкой. BERT+RTFM показывает результат около 98,5% — это верхний предел; AnomalyCLIP достигает примерно 93,5%, при этом требуя значительно меньше контроля.

XD-Violence. Только сцены насилия с синхронизированным звуком; VadCLIP++ занимает первое место с AP около 90,5%. Подходит для тестирования мультимодальных детекторов.

Avenue. Пешеходы праздно шатаются и движутся против потока; SOTA в районе 88–90%. Подходит для бенчмарков с толпами низкой плотности.

MSAD (2024). 14 разнородных сцен, специально отобранных для проверки способности моделей обобщать на новых локациях. Честный стресс-тест: методы, показывающие 95% точность на ShanghaiTech, часто падают до середины 80-х на MSAD.

Почему в продакшене собирают ансамбль из трёх-четырёх моделей

Ни одна модель не работает одинаково хорошо на всех типах сцен, при любом освещении и для всех видов аномалий. В продакшен-стеке, который мы внедряем, обычно комбинируют YOLO-подобный детектор объектов — для понятных алертов по зонам, свёрточный автоэнкодер — чтобы находить новые аномалии, которых раньше не было в размеченных данных, и либо MIL-модель в стиле RTFM, либо VLM — чтобы лучше обобщать между разными локациями.

Смысл не в том, чтобы выбрать модель с самым высоким AUC и остановиться на ней — важно собрать правильный набор моделей и держать число ложных срабатываний ниже двух на камеру в день. Консенсус «2 из 3» по трём семействам моделей обычно снижает ложные срабатывания вдвое по сравнению с лучшей одиночной моделью — за счёт задержки 30–80 мс. Для диспетчерских сценариев это компромисс, который мы почти всегда рекомендуем.

Edge или облако — где эти модели действительно работают

В 2026 году архитектура по умолчанию — edge-first. Задержка от камеры до алерта на Jetson Orin NX с правильно скомпилированной моделью составляет 40–80 мс; та же нагрузка на чисто облачной архитектуре (RTSP → кодировщик → облачный инференс) даёт 500–2000 мс, если честно измерять сетевой round-trip. Полицейская диспетчеризация и автоматические триггеры замков и дверей требуют задержки менее 200 мс — чисто облачная схема не укладывается в SLA.

Edge-инференс также сжимает полосу с 4–8 Мбит/с на 1080p-поток до 50–200 Кбит/с метаданных — и именно это определяет, хватит ли канала для развёртывания на 200 камер. И это меняет разговор по GDPR и EU AI Act: вместо «объясните, как обрабатываются данные» — «сырые кадры не покидают устройство». Это самое чистое с точки зрения комплаенса положение из возможных.

На каком железе эти модели работают в продакшене

Реалистичные пары «семейство моделей — железо»:

Jetson Orin Nano Super (18 600 ₽, 67 TOPS). Обрабатывает свёрточные автоэнкодеры, детекторы объектов типа YOLO и квантованные ConvLSTM для 1–3 камер. Подходит как базовая платформа для бюджетного SaaS-видеонаблюдения.

Jetson Orin NX (44 900 ₽, 100 TOPS). Удобная платформа для RTFM с поддержкой I3D, двухпоточных сетей с оптическим потоком и квантованных трансформеров, способных к самообучению. Поддерживает 3–5 камер.

Jetson AGX Orin (149 900 ₽, 275 TOPS). Подходит для VLM-нагрузок (AnomalyCLIP, LAVAD) на edge-устройствах или в кластерах из 10+ камер с полными ансамблями моделей.

Hailo-8 (M.2, ~11 100–14 900 ₽, 26 TOPS, <3 Вт). Подходит для безвентиляторных смарт-камер при массовом производстве; уверенно справляется с YOLO и квантованными автоэнкодерами.

Тактики снижения ложных срабатываний, которые работают

Какую модель ни возьми, лабораторный AUC в продакшене будет ниже на 10–15 пунктов. Пять тактик, которые надёжно закрывают этот разрыв:

1. Temporal smoothing. Применяйте экспоненциальное скользящее среднее за 3–5 секунд к значению аномалии до срабатывания триггера. Это устраняет 30–50% покадровых выбросов, но добавляет задержку в 50–100 мс.

2. Маскирование зон интереса (ROI). Скрывайте отражения, движение деревьев, вывески и тени от оборудования HVAC. Это снижает количество ложных срабатываний на открытых участках на 40–60% при настройке одной камеры за пять минут.

3. Консенсус нескольких моделей. Требуйте согласия двух из трёх моделей перед срабатыванием. Примерно вдвое снижает ложные срабатывания при трёхкратном вычислении на инференсе.

4. Пороги, настраиваемые оператором. Слайдеры чувствительности для смены обычно переопределяют глобальные настройки по умолчанию. Ночная смена может использовать другие значения, чем дневная — и это нормально.

5. Маршрутизация по классу сцены. Отдельная модель для каждого класса сцены (парковка, коридор, ритейл, периметр) даёт прирост AUC на 5–10% по сравнению с единой универсальной моделью.

Комплаенс — EU AI Act, BIPA, GDPR

Детекция аномалий, использующая биометрию (распознавание лиц, анализ походки, оценка позы), по EU AI Act относится к категории высокого риска, и требования к ней вступают в силу с августа 2026 года. Небиометрическая детекция аномалий (например, праздношатание, плотность толпы, выход за границы зоны, нестандартное движение) не попадает в эту категорию — именно поэтому большинство наших продакшен-решений намеренно остаются в ней.

Иллинойсский закон BIPA предусматривает гражданские штрафы за каждое нарушение при обработке биометрических данных без явного письменного согласия; правильным решением является ML-маршрутизация с учётом юрисдикции, отключающая функции распознавания лица, позы и походки в штатах, где действует BIPA. Статья 9 GDPR относит биометрию к специальной категории персональных данных — в этом случае оптимальным подходом станет edge-обработка плюс проведённый и задокументированный Data Protection Impact Assessment.

Мини-кейс — стек детекции аномалий V. A. L. T.

V. A. L. T. работает в залах судебных заседаний, медицинских учебных центрах и комнатах допросов правоохранительных органов. Ограничения здесь серьёзные: поддержка неограниченного числа одновременных HD-потоков, идеальная синхронизация аудио и видео (даже полусекундный рассинхрон может подорвать вещественное доказательство в суде), шифрование по протоколам SSL и RTMPS, ролевой доступ и выгрузка данных с соблюдением цепочки хранения (chain-of-custody).

Наш стек детекции аномалий на V. A. L. T. объединяет три семейства из семи: детектор объектов на базе YOLO для правил по зонам и поведению (интерпретируемый для прокуроров), свёрточный автоэнкодер под конкретную сцену для выявления новых аномалий, обученный на двух неделях нормальной записи с каждой камеры, и квантованный MIL-детектор на базе RTFM для событийных аномалий, по которым есть разметка на уровне видео. Голосование «два из трёх» и временной сглаживатель на 2 секунды формируют входные данные для интерфейса оператора.

Результат, который важен клиентам на практике: количество ложных срабатываний снизилось с десятков в день на одну камеру до менее чем двух, при этом точность распознавания действительно значимых событий — таких как потеря сознания, посторонний вход или физическая агрессия — осталась выше 90%. Система прошла аудит для использования в суде, поскольку в метаданных каждого алерта указано, какая модель сработала и какие признаки она учла.

Хотите такой же аудит на своём стеке? Позвоните нам по номеру +7 (911) 236-51-91 или напишите на info@fora-soft.ru — разберём, куда уходит ваш бюджет на ложные срабатывания.

KPI — и пороги, которые действительно важны

KPI качества. Доля обнаружения аномалий — выше 85% на репрезентативных для локации примерах. Ложных срабатываний — не более двух на камеру в день. Покадровый F1 — выше 0,85 на собственной валидационной выборке. Доля подтверждённых оператором оповещений — выше 80%.

Бизнес-метрики. Стоимость одного корректного срабатывания — менее 37 ₽. Время до уведомления — менее 200 мс для оперативного реагирования. Снижение трафика на 90% и более по сравнению с прямым стримингом. Стоимость одной камеры в месяц — от 975 до 2 250 ₽ при разумной edge-ориентированной архитектуре.

KPI надёжности. Аппаратный MTBF превышает 2 000 часов. Дрейф AUROC модели не превышает 5 процентных пунктов за 30 дней. Аптайм edge-устройства — выше 99,5%. Время восстановления отказавшего edge-узла — менее 15 минут.

Фреймворк выбора — модель за пять вопросов

1. Сколько у вас разметки? Нет совсем → автоэнкодер или VLM. Только на уровне видео → RTFM/МIL. Покадровая → управляемый CNN+LSTM или трансформер.

2. Бюджет по задержке? До 200 мс → лёгкие edge-модели (автоэнкодер, ConvLSTM, YOLO+правила). Выше 500 мс → в игру вступают трансформеры и VLM.

3. Событийные или сценовые аномалии? Событийные — 3D CNN, двухпоточные сети с оптическим потоком, RTFM. Сценовые — YOLO + автоэнкодер + VLM.

4. Одна локация или кросс-локационный SaaS? Одна → автоэнкодер под сцену сложно применить. Кросс-локационный → VLM или самообучающийся трансформер.

5. Какое положение по комплаенсу? Строго по стандартам ЕС и BIPA — используем только небиометрические технологии (автоэнкодер, RTFM, YOLO). Храните VLM локально, не передавайте сырые кадры через сторонние API.

Когда эти модели разворачивать НЕ стоит

Откажитесь от кастомной разработки, если у вас меньше 80 камер и аномалии типичны для отрасли — готовые решения вроде Verkada, Eagle Eye или Avigilon на таком масштабе будут эффективнее кастомной системы. Откажитесь, если допустимая задержка — 1–2 секунды, а оператору нужен лишь дашборд в формате сводки. Откажитесь, если ваши локации сильно различаются, и вы не можете собрать хотя бы две недели качественной записи для каждого типа камер.

Стройте кастом, когда детекция аномалий — ключевое отличие продукта, когда задержка не должна превышать 200 мс, когда обработка данных должна происходить локально, когда определения аномалий сильно зависят от вашей предметной области или когда требования к соответствию нормам запрещают обработку в облаке.

FAQ

Что почитать дальше

Готовы запустить детекцию аномалий, которой доверяют операторы?

Выбор среди семи моделей детекции аномалий для видеонаблюдения зависит от вашей разметки, допустимой задержки, особенностей сцен и требований к комплаенсу, а не от позиций в лидерборде. Лучшие решения 2026 года объединяют три–четыре семейства моделей на базе чистой edge-архитектуры, считают ложные срабатывания главной метрикой и проектируются с учётом EU AI Act с самого начала.

Если вы ограничили сборку, переносите систему с облачного VMS или застопорились из-за ложных срабатываний — мы столько раз проходили через это, что можем пропустить опрос и сразу обсудить архитектуру.