Своя AI-система видеонаблюдения с YOLO, ByteTrack, BoT-SORT и DeepSORT — гид 2026

Почему этот гид по сборке YOLO + трекера написала Фора Софт

Мы выпускаем видеопродукты с интеграцией AI с 2005 года и держим 100% Job Success на Upwork. Наша практика охватывает видеостриминг, видеонаблюдение, телемедицину, судебные системы и live-shopping — продакшен-среды, где небрежный трекер за считанные дни превращается в инцидент с клиентами или юристами.

Конкретика: AI-видеонаблюдение, работающее 24/7 в более чем 650 организациях, плюс продакшен-проекты для Sprii (ведущая в Европе платформа live-shopping, более 365 млн евро продаж), TransLinguist (контракт с NHS-UK) и BrainCert (LMS на WebRTC промышленного масштаба).

Этот гид — тот самый чек-лист сборки, который мы передаём продуктовым командам, когда сдаём кастомную AI-систему видеонаблюдения. Он покрывает детектор, трекер, edge-железо, мульти-камерную ре-идентификацию, операторскую панель и инструменты соответствия — примерно в том порядке, в котором всё это собирается.

Пайплайн в общих чертах

Современный пайплайн AI-видеонаблюдения состоит из шести этапов. Большинство сбоев в продакшене, которые мы видели, — это экономия на этапе 4 (re-ID) или этапе 6 (инструменты соответствия). Закладывайте все шесть с первого дня.

1. Захват. IP-камеры, отдающие H.264 или H.265 по RTSP. ONVIF — для независимости от вендора. Частоту кадров подгоняйте под темп детекции (10–30 fps для большинства сценариев видеонаблюдения).

2. Детекция. YOLOv9, v10 или v11 на edge-GPU. Один прогон детекции на кадр, на выходе — bounding box, метка класса и уверенность.

3. Трекинг. ByteTrack, BoT-SORT или DeepSORT связывают детекции между кадрами в стабильные ID треков. Именно трекер даёт вам «человек 47 вошёл в 14:32 и вышел в 14:47».

4. Ре-идентификация. Эмбеддинги внешнего вида (в стиле DeepSORT или на базе VLM), которые передают ID треков между камерами и переживают короткие перекрытия.

5. Детекция поведения и событий. На основе правил + базовая модель аномалий + (опционально) обогащение через VLM. Отсюда берутся алерты.

6. Инструменты соответствия. Размытие лиц и номеров на edge, аудит-логи append-only, телеметрия под DPIA, операторская панель с объяснимостью. Встроены в пайплайн, а не приклеены сбоку.

Какую версию YOLO выбрать в 2026 году

С 2024 года YOLO разделился на ветки. Несколько исследовательских групп ведут совместимые, но всё же различающиеся варианты. Для продакшен-видеонаблюдения реалистичный шорт-лист — три версии.

Наш выбор по умолчанию в 2026 году — YOLOv11 small или medium для новых edge-сборок. Более крупные варианты (l, x) применяем только тогда, когда точность критична и можно позволить себе более мощный GPU.

Совет. Всегда экспортируйте в ONNX и запускайте через TensorRT или ONNX Runtime на edge. Нативный PyTorch на инференсе медленнее в 2–3 раза и привязывает вас к стеку обучения.

ByteTrack — простой и быстрый трекер

Ключевая идея ByteTrack — использовать и высокоуверенные, и низкоуверенные детекции, чтобы сохранить треки сквозь перекрытия. Это простой трекер на фильтре Калмана и венгерском алгоритме назначения с хитрой двухэтапной ассоциацией: сначала высокоуверенные детекции, затем низкоуверенные — чтобы вернуть частично закрытые объекты. Никакой модели внешнего вида, никаких эмбеддингов.

Зачем брать

Скорость и простота. ByteTrack добавляет менее 5 мс на кадр поверх детектора и не имеет своих модельных зависимостей. Для прямолинейных одно-камерных сценариев со средней плотностью толпы конкурентов мало.

Ограничения

Без памяти внешнего вида он не способен снова подхватить объект после долгого перекрытия или между камерами. Количество переключений ID растёт в плотных толпах. Если у вас в кадре более 20 одновременных объектов в близком соседстве, ByteTrack в одиночку поплывёт.

BoT-SORT — трекер по умолчанию в 2026 году

BoT-SORT («Better-on-Top SORT») расширяет ByteTrack тремя идеями: компенсация движения камеры, более богатая фича внешнего вида и более умное состояние фильтра Калмана. Результат — стабильно более высокие показатели MOTA на бенчмарках MOT17/MOT20, чем у ByteTrack на плотных сценах, при контролируемой стоимости по задержке.

Зачем брать

Лучшая точность из коробки. Камерная компенсация движения (CMC) — киллер-фича для подвижных камер: PTZ, дроны, видеорегистраторы, нагрудные камеры; помогает и на статичных камерах с вибрацией. Лёгкие ReID-эмбеддинги возвращают объекты после коротких перекрытий.

Ограничения

CMC добавляет 8–15 мс на кадр на Jetson. Для сценариев с очень высокой частотой кадров это ощутимая статья бюджета. ReID-эмбеддинг добавляет ещё 5–10 мс, но он опционален: BoT-SORT можно запустить и без ReID, чтобы получить более лёгкий пайплайн.

DeepSORT — классика с упором на внешний вид

DeepSORT — классика жанра. Он сочетает фильтр Калмана с глубоким дескриптором внешнего вида (изначально — фича на WideResNet) и связывает детекции между кадрами прежде всего по визуальной похожести. Тяжелее, чем ByteTrack и BoT-SORT, зато даёт сильные результаты при долгих перекрытиях и работе между камерами.

Зачем брать

Сильное моделирование внешнего вида. Для мульти-камерных систем, где нужно опознавать одного и того же человека, переходящего между непересекающимися ракурсами (вход, проход, выход), голова с эмбеддингами в стиле DeepSORT обязательна. Современные варианты используют эмбеддинги OSNet или TransReID вместо исходной фичи и поднимают точность ещё выше.

Ограничения

Стоимость вычислений. Каждая детекция прогоняется через сеть эмбеддинга — это ещё 10–30 мс на кадр в зависимости от модели. Эталонный код DeepSORT к тому же исследовательский — на продакшен его придётся доводить руками.

Сравнение трекеров: какой подойдёт под вашу сцену

Совет: не миксуйте трекеры между камерами. Выберите один трекер на проект — так операторская панель, метрики и отчёты по инцидентам останутся согласованными.

Edge-железо: где на самом деле работают YOLO + трекер

Инференс на edge — архитектура по умолчанию для биометрического и приватность-чувствительного видеонаблюдения в 2026 году. Три платформы покрывают 95% проектов.

NVIDIA Jetson Orin Nano (40 TOPS, ~15 тыс. ₽, 25–50 Вт). Выбор по умолчанию для серьёзных проектов. Тянет YOLOv11 + BoT-SORT на 30 fps в 1080p через TensorRT. Зрелый стек CUDA, простая интеграция с DeepStream SDK.

Hailo-8 (13 TOPS, 3 Вт). Сценарии на батарее или с термоограничениями. Ниже пропускная способность, зато отличная энергоэффективность. Инструменты подтянулись в 2025–2026 годах, но всё ещё уступают по зрелости NVIDIA.

Аппаратные модули Ambarella, Hikvision и Dahua. Часто встречаются в апгрейдах унаследованных CCTV. Плюсы: всё уже интегрировано. Минусы: привязка к вендору, проприетарные форматы моделей. Закладывайте ONVIF и модели с экспортом в ONNX, чтобы потом можно было поменять железо.

Мульти-камерная ре-идентификация — самое сложное

Трекинг в одной камере — решённая задача. Системы ломаются на ре-идентификации между камерами. Задача такая: когда человек 47 пропадает из камеры А, а через 30 секунд на камере Б появляется кто-то визуально похожий, надо решить — присваивать ли тот же ID.

Архитектурный паттерн. Edge-трекер выдаёт трек и эмбеддинг внешнего вида. Центральный re-ID-сервис держит хранилище недавних эмбеддингов на короткое окно (по локации). На новом треке от любой камеры опрашиваем хранилище ближайшим соседом во временном окне; если косинусная схожесть выше порога — присваиваем существующий глобальный ID.

Выбор эмбеддинга. OSNet или TransReID — для продакшен-ре-идентификации людей. Обе модели — это ONNX-экспорт на 1–2 МБ, работающий по 5–15 мс на детекцию на edge-GPU.

Подвох с PII. Эмбеддинги — это биометрия. Хешируйте глобальные ID по площадке или региону; никогда не отдавайте сырые эмбеддинги в операторскую панель; никогда не делитесь эмбеддингами между организациями без явного законного основания по статье 9 GDPR.

Подбор порога. Типичная рабочая точка по косинусной схожести — около 0,65–0,75. Прогоните валидацию на отложенной выборке реальных записей с ваших камер: распределения одежды в торговом центре отличаются от аэропортных, а вместе с ними — и оптимальные пороги.

Детекция поведения и событий: правила + аномалии + VLM

Когда у вас есть стабильные треки, встаёт другой вопрос: что считать событием? В продакшене обычно используют три парадигмы вместе.

1. Правила. Пересечение виртуальной линии, превышение времени пребывания, пороги по числу людей, вход в запретную зону. Быстро, объяснимо, хорошо подходит для известных угроз. Просто объяснить командам по соответствию.

2. Базовая модель аномалий. Обучите автоэнкодер или одноклассовую модель на 30 днях нормального поведения по площадке. Помечайте отклонения. Ловит «неизвестные неизвестности» и снижает поток ложных срабатываний на 30–40% по сравнению с чистыми правилами.

3. Обогащение через VLM (опционально). Отправьте 5-секундный клип с высоко­уверенным аномальным событием в VLM (Qwen-VL, дообученная Florence-2 или облачная GPT-4o) ради описания на естественном языке. Полезно для операторской панели и отчётов по инцидентам. Никогда не давайте VLM запускать действия по реагированию — у моделей бывают галлюцинации.

Инструменты соответствия, встроенные в пайплайн

Обязательства EU AI Act для высокорисковых систем применяются с 2 августа 2026 года. GDPR — с 2018 года. ISO/IEC 42001 становится требованием в закупках. Закладывайте соответствие с первого дня — иначе позже доделки обойдутся в 5–10× дороже.

Размытие лиц и номеров на edge. Распознать, размыть необратимо, передать. На Jetson — 5–10 мс. Снижает риск повторной идентификации почти до нуля.

Аудит-логи append-only. Каждый доступ к данным, каждое решение модели и любое переопределение оператора получают подписанную запись. Срок хранения 3–7 лет.

Минимизация данных. Сырое видео — 7–14 дней; метаданные — 90 дней; дольше — только при задокументированной цели.

Дезагрегированный мониторинг искажений. Еженедельные автоматические отчёты о работе детектора и трекера по демографическим стратам. Триггер срабатывает, когда худшая когорта по уровню ошибок превышает лучшую более чем в 1,5×.

Телеметрия под DPIA. В один клик выгружаются карточка модели, демография обучающих данных, политика хранения и свежий аудит искажений. Аудиторы перестают пугать, когда у вас всё это под рукой.

Наша смежная статья по регуляторике — «AI Surveillance Trends 2026: доверие через качество данных и этику» — глубже разбирает охват EU AI Act и ISO 42001.

Модель затрат: edge против облака на 200 камерах

Разберём пример. 200 камер, YOLOv11 + BoT-SORT, правила поведения и базовая модель аномалий, размытие на edge, полное аудит-логирование.

Edge выигрывает по совокупной стоимости владения примерно от 50 камер и в части соответствия — почти всегда. Облако выигрывает по скорости запуска пилота и там, где соответствие реально не вопрос (что в 2026 году встречается редко).

Фреймворк решения: пять вопросов, чтобы выбрать стек

Вопрос 1. Какова ваша юрисдикционная поверхность? EU, UK, Иллинойс, Калифорния — гибрид с приоритетом edge единственный безопасный вариант по умолчанию. Только США без Калифорнии — облако допустимо, но мода на него уходит.

Вопрос 2. Сколько одновременных объектов на камеру в пике? Меньше 15 — справится ByteTrack. 15–40 — BoT-SORT. Больше 40 (стадионы, транспортные узлы) — BoT-SORT с ReID в стиле DeepSORT.

Вопрос 3. Нужен ли мульти-камерный re-ID? Нет — BoT-SORT или ByteTrack. Да — добавьте эмбеддинги OSNet/TransReID к BoT-SORT или запускайте современный DeepSORT.

Вопрос 4. Каков ваш бюджет по задержкам? Меньше 100 мс end-to-end — edge с ByteTrack. 100–300 мс — edge с BoT-SORT. Более 500 мс — гибрид допустим.

Вопрос 5. Собирать самим или покупать? Стандартный сценарий (периметр, защита от потерь в ритейле) — готового решения может хватить. Кастомный отраслевой контекст, этика-чувствительный сценарий, мульти-площадочный re-ID — собирайте с партнёром.

Мини-кейс: запуск 200 камер для ритейла, end-to-end меньше 100 мс

Ситуация. Сети розничных магазинов нужны были алерты по защите от потерь в реальном времени по 18 магазинам и 200 камерам. Конкуренты предлагали только облако и оценивали эксплуатацию в 36 млн ₽ в год — с потоковой передачей сырого видео в US-East-1, что европейские подразделения не могли принять под GDPR.

План на 12 недель. Развернули по Jetson Orin Nano на каждую камеру (200 устройств по 15 тыс. ₽ каждое) с YOLOv11-medium и BoT-SORT с эмбеддингами OSNet для меж-камерного re-ID. Размытие лиц и номеров на edge — до того, как любые данные покинут камеру. По каждому магазину обучили базовую модель аномалий на 30 днях нормального трафика. Центральное облако держит метаиндекс и обогащение клипов через дообученный Qwen-VL для описаний поведения. DPIA, согласование с ISO/IEC 42001 и дезагрегированный мониторинг искажений — встроены с первой недели.

Результат. Сквозная задержка алертов 70–90 мс (от камеры до операторской панели). Точность меж-камерного re-ID — 87% на отложенной выборке. Уровень ложных срабатываний — 12 алертов на камеру в день, в 8× лучше, чем у готовой системы, которой клиент пользовался раньше. Годовая эксплуатация — 13,5 млн ₽, около 38% от облачного предложения, и при этом вся биометрия осталась на площадке.

Пять провалов, которые мы видим в продакшене снова и снова

1. Зацикленность на детекторе. Команды перетюнивают YOLO под конкретный датасет и игнорируют трекер. В большинстве сценариев видеонаблюдения трекер важнее, чем дополнительные доли точности у детектора.

2. Пропуск экспорта в ONNX. Нативный PyTorch на edge медленнее в 2–3 раза и привязывает к стеку обучения. Всегда экспортируйте в ONNX и запускайте через TensorRT или ONNX Runtime.

3. Несогласованные частоты кадров. Детекция на 30 fps + трекер на 30 fps + детекция поведения на 1 fps — рецепт ошибок по таймингу. Выберите один темп инференса и держитесь его по всему пайплайну.

4. Утечка PII через эмбеддинги. Эмбеддинги внешнего вида — это биометрия. Не отдавайте их в операторскую панель; не делитесь между площадками без задокументированного законного основания.

5. Соответствие во «второй фазе». Аудит-логи, DPIA, мониторинг искажений, размытие на edge — если отложить, доделки потом обойдутся в 5–10× дороже, чем закладка с самого начала.

Какие KPI отслеживать после запуска

Качество. mAP детектора по когортам (целевой разрыв < 1,5×), MOTA трекера (> 65 на репрезентативных сценах), переключения ID в минуту (< 2 на камеру в пике), точность меж-камерного re-ID (> 80%).

Бизнес. Ложные срабатывания на камеру в день (цель < 25), доля реальных инцидентов в детекциях относительно прежней базы, среднее время реакции (цель < 5 мин), снижение потерь в ритейле (обычно 5–15%).

Надёжность. Аптайм edge на камеру (> 99%), задержка инференса P99 (в рамках бюджета), целостность аудит-лога (100%), время на подготовку отчёта под DPIA (< 1 час).

Когда НЕ нужно собирать кастомный пайплайн YOLO + трекер

Три сценария, где мы советуем клиентам подождать или взять готовое решение.

Меньше 30 камер. Стоимость инженерных работ съедает выгоду. Готовый аппаратный модуль от Hikvision/Dahua и тонкая кастомная панель почти всегда выигрывают.

Стандартный сценарий без отраслевой специфики. Базовая периметральная детекция, простая защита от потерь, обычный подсчёт трафика — рынок готовых решений зрелый.

Нет ML-инженерной команды. Кастомный пайплайн, который вы не можете сопровождать, превращается в полку. Сначала купите, а собирать начнёте, когда будет команда, готовая его вести.

Как протестировать пайплайн YOLO + трекер до запуска

Соберите отложенную тестовую выборку на реальных записях с ваших камер — с разной демографией, освещением, погодой и плотностью толпы. Не берите цифры по MOT17 из статьи как ориентир — они не обобщаются.

Детекция. mAP@0.5 в среднем И в разрезе по когортам. Целевой разрыв на худшей когорте — менее 1,5×.

Трекинг. MOTA, IDF1, переключения ID в минуту. MOTA выше 65 — здоровый показатель для большинства сцен видеонаблюдения.

End-to-end. Уровень ложных срабатываний на стороне оператора при продакшен-пороге; среднее время до детекции на наборе известных событий; задержка P50/P95/P99 по всему пайплайну.

FAQ

Какая версия YOLO лучше для видеонаблюдения в 2026 году?

YOLOv11 small или medium — наш выбор по умолчанию для новых edge-сборок: лучший баланс mAP и задержки на железе уровня Jetson. YOLOv10 (Tsinghua) хорош на плотных сценах за счёт архитектуры без NMS. YOLOv8 всё ещё часто встречается в унаследованных стеках. Для продакшена всегда экспортируйте в ONNX и запускайте через TensorRT.

ByteTrack, BoT-SORT или DeepSORT — что выбрать?

ByteTrack: простой, быстрый, для одной камеры, низкой и средней плотности. BoT-SORT: выбор по умолчанию в 2026 году для большинства проектов в ритейле и smart-city — справляется с компенсацией движения и лёгким ReID. DeepSORT (современный, с OSNet/TransReID): когда мульти-камерная ре-идентификация и есть продукт. Один трекер на проект — для согласованности.

Можно ли запустить YOLO с трекером на Jetson Orin Nano?

Да. YOLOv11 small/medium с BoT-SORT работает на 30 fps в 1080p через TensorRT. С добавленными эмбеддингами OSNet для меж-камерного re-ID ожидайте 20–25 fps. Закладывайте 25–50 Вт на камеру и продумайте теплоотвод на месте установки.

Как делать меж-камерную ре-идентификацию без утечек PII?

Относитесь к эмбеддингам внешнего вида как к биометрии. Хешируйте глобальные ID по локациям; никогда не отдавайте сырые эмбеддинги в операторскую панель; никогда не делитесь эмбеддингами между организациями без задокументированного законного основания по статье 9 GDPR или BIPA. Сопоставляйте в коротком временном окне (5–30 минут) и в re-ID-хранилище для конкретной площадки.

Как этот пайплайн соответствует EU AI Act?

Высокорисковые обязательства EU AI Act применяются с 2 августа 2026 года. Описанная архитектура — инференс в первую очередь на edge, необратимое размытие до передачи, аудит-логи append-only, дезагрегированный мониторинг искажений, телеметрия под DPIA — спроектирована, чтобы их выполнить. Согласование с ISO/IEC 42001 — самый чистый способ показать соответствие во время закупочного аудита.

Стоит ли использовать облачный VLM (GPT-4o, Claude, Gemini) для детекции поведения?

Для обогащения высоко­уверенных аномальных событий описаниями на естественном языке — да, с осторожностью. Для запуска действий по реагированию — нет: VLM галлюцинируют описания на сценах видеонаблюдения. Гибридный паттерн: правила и базовая модель аномалий на edge на первом проходе, опциональное обогащение через VLM на выборке для операторской панели, с порогами уверенности и контролем «человек в петле».

Сколько занимает сборка кастомной AI-системы на 200 камер?

Пилот (10–30 камер, одна площадка) — 3 месяца. Региональный запуск (50–100 камер, 5–10 площадок) — 6 месяцев. Полная продакшен-система на 200 камер с согласованием EU AI Act — 9–12 месяцев в формате Agent Engineering, 12–18 месяцев — на классических агентских сроках.

Сколько стоит кастомный AI-продукт для видеонаблюдения на 200 камер?

Капитальные на edge-сборку: 3–22,5 млн ₽ на железо и монтаж плюс инженерная стоимость самой сборки (как правило, существенная часть кастомной разработки на 37,5–112 млн ₽). Операционные в год — 5,4–27 млн ₽ в зависимости от облачного обогащения и политики хранения. С Agent Engineering мы уверенно работаем в нижней части этих диапазонов.

Что почитать дальше

Готовы запустить кастомный пайплайн YOLO + трекер?

YOLOv11 + BoT-SORT на edge-железе Jetson, с эмбеддингами внешнего вида для меж-камерного re-ID и полным набором инструментов соответствия — это продакшен-рецепт 2026 года. Детектор — самая простая часть. Выбор трекера, архитектура edge против облака, мульти-камерный re-ID и соответствие с первого дня — вот где живёт настоящий продукт.

Если хотите проверить ваш текущий пайплайн — или получить план на 9–12 месяцев под продакшен на 200 камер — мы возьмёмся за работу вместе с вами. Двадцать лет инжиниринга в мультимедиа и AI, 100% Job Success на Upwork, Agent Engineering для ускоренной поставки. Принесите количество камер и объём требований по соответствию — мы принесём архитектуру.