Разработка систем видеораспознавания: индивидуальные решения в 2026 году

Почему Фора Софт написала это руководство по видеораспознаванию

Видеораспознавание созрело быстрее, чем многие команды это успели заметить. Ещё десять лет назад собственный детектор объектов означал недели обучения модели и мучительную оптимизацию под устройство. В 2026 году фреймворки вроде YOLOv11 и MediaPipe поставляются с предобученными весами, готовыми к инференсу, а Фора Софт развернула их на пяти континентах: для образовательного стриминга BrainCert, модерации контента Vodeo и розничных сетей с 200+ живыми камерами. Мы выкатили в продакшен детекцию аномалий, распознавание лиц, чтение автомобильных номеров и классификацию действий. В этом руководстве собрано всё, что мы выучили: какие фреймворки реально работают, где запускать инференс (edge или облако), как оценить стоимость и как обойти пять подводных камней, которые топят реальные проекты.

Если вы выбираете ПО для видеораспознавания или строите кастомные пайплайны компьютерного зрения, этот плейбук сэкономит вам 3–6 месяцев исследований.

Чем на самом деле занимается ПО для видеораспознавания

Видеораспознавание — это извлечение семантического смысла из видеопотоков в реальном времени. От распознавания статичных изображений оно отличается одним важным моментом: обрабатывает несколько кадров в секунду и выстраивает контекст во времени. Считыватель автомобильных номеров не просто фиксирует номер один раз — он читает его на 5–10 кадрах подряд и затем по голосованию снижает количество ложных срабатываний. Детектор аномалий безопасности сигнализирует о последовательностях кадров (например, человек неподвижно стоит в запрещённой зоне в течение 8+ кадров подряд), а не об отдельных кадрах.

Пайплайн инференса для видеораспознавания состоит из пяти этапов. Первый — декодирование: преобразование сжатых байтов H.264/H.265 в сырые RGB-кадры (обычно 40–100 мс на кадр в 1080p). Второй — ресайз: масштабирование до входного размера модели (640×640 для YOLO) за <10 мс. Третий — инференс: прогон через нейросеть (15–50 мс в зависимости от модели и железа). Четвёртый — постобработка: применение NMS (подавление немаксимумов) для удаления дублирующихся детекций (<5 мс). Пятый — действие: бизнес-логика (отправить уведомление, записать событие, запустить смежное действие) за <20 мс. Общий бюджет задержки для живого мониторинга: 100–150 мс на кадр (что даёт 6–10 FPS обратной связи в реальном времени).

Пять сценариев с самой высокой отдачей в 2026 году

ПО для видеораспознавания быстрее всего окупается в пяти направлениях. У каждого есть конкретная математика ROI, проверенные инструменты и реальные кейсы.

1. Видеонаблюдение и детекция аномалий

Объект с 200 камерами в ритейле или на складе требует 8–12 операторов мониторинга при годовых затратах 3,7–6 млн ₽ на человека. Видеораспознавание сигнализирует о пустых полках, посторонних в запретных зонах, падениях и подозрительном задерживании за <2 секунды. Стоимость: один Jetson Orin AGX (37 тыс. ₽), модель YOLOv11 (бесплатно), один инженер на 3 месяца (3 млн ₽). Окупаемость: 18–24 месяца. Фора Софт развернула такую архитектуру для системы видеонаблюдения в зале суда в Казахстане, сократив время реакции на тревогу с 8 минут (оператор-человек) до 1,2 секунды (видеораспознавание + SMS-оповещение).

2. Ритейл-аналитика

Подсчёт трафика, тепловые карты времени пребывания и детекция потерь на уровне SKU по видеопотокам заменяют ручной труд. Сеть из 50 магазинов получает снижение out-of-stock на 15–25%, сопоставляя обнаруженные на видео пробелы на полках с системой учёта запасов. Стоимость: 375 тыс. ₽ на магазин на edge-железо и развёртывание модели. ROI: возвращённая стоимость запасов (150–375 млн ₽ в год по сети из 50 магазинов) превышает капитальные затраты в первый же год. MediaPipe и YOLOv11 справляются с детекцией поз и объектов на 30+ FPS на Jetson Nano (7 тыс. ₽).

3. Контроль качества на производстве

Детекция дефектов на производственных линиях. Один пропущенный к покупателю дефект может стоить 750 тыс. ₽–75 млн ₽ в гарантийных претензиях и репутационном ущербе. Видеораспознавание ловит 98–99% дефектов в реальном времени — быстрее и дешевле ручного контроля. Дообученные YOLO-модели на промышленных камерах (30 FPS @ 4K) запускаются на компактном Jetson Orin Nano (18 тыс. ₽, 5 Вт). Годовая экономия на дефектах многократно перекрывает стоимость железа.

4. Спортивная аналитика и трансляции

Трекинг игроков в реальном времени, позиция мяча и разметка действий (удар по воротам, игра рукой, офсайд) добавляют ценность для трансляторов и тренеров. Один трансляционный признак (например, автоматическая нарезка лучших моментов) монетизируется в 3,7–37 млн ₽ за матч. Кастомные пайплайны видеораспознавания работают с 4K @ 60 FPS с задержкой меньше кадра, что позволяет накладывать графику в прямом эфире.

5. Модерация контента и комплаенс

Автоматическая фильтрация жестокого, откровенного и нарушающего авторские права контента сокращает нагрузку на модераторов на 40–60%. Платформы прямых трансляций (например, Vodeo, который собрала Фора Софт) применяют покадровую классификацию и оптическое распознавание текста (OCR) для обнаружения нарушений водяных знаков и наложенного на экран текста. Стоимость: кастомная классификационная модель, дообученная под ваши типы контента. Окупаемость: модераторы-люди обходятся в 225–375 тыс. ₽ в месяц; один инженер строит пайплайн за 3 млн ₽ единоразово.

Семейства моделей: YOLO, Detectron, MediaPipe, кастомные

YOLOv11 (Ultralytics)

Лучше всего подходит для: детекция объектов в реальном времени, автомобильные номера, задачи с bounding box. Сильные стороны: 100+ FPS на Jetson Orin, предобученные веса на COCO (80 классов), варианты от tiny до extra-large (от 6 млн до 86 млн параметров). Ограничения: требует дообучения под доменные объекты; постобработка NMS может быть медленной при большом числе кадров. Стоимость: бесплатно (open-source). Инфраструктура для инференса: 3 750–37 500 ₽/мес. в зависимости от развёртывания (edge или облачный GPU).

Detectron2 (Meta)

Лучше всего подходит для: instance-сегментация, паноптическая сегментация, детекция ключевых точек. Сильные стороны: богатое извлечение признаков; продакшен-качественный код; хорошо подходит для кастомных архитектур. Ограничения: медленнее YOLO (30–50 FPS на RTX 3090); более крутая кривая входа. Сценарий использования: точная детекция границ для медицинского снимка, роботизированного захвата.

MediaPipe (Google)

Лучше всего подходит для: детекция лиц, поза рук, поза всего тела, holistic-трекинг. Сильные стороны: работает в браузере через WebGL; 30–120 FPS на современных устройствах; лёгкие модели (10–30 МБ). Ограничения: только предобученные модели; нет детекции объектов. Стоимость: бесплатно. Отличный выбор для веб-приложений видеораспознавания (поддержка клиентов, фитнес-тренировки).

OpenCV (с TensorFlow/PyTorch)

Лучше всего подходит для: склеивающий слой; препроцессинг (ресайз, цветовое пространство); вычитание фона; детекция движения. Сильные стороны: лёгкий; проверен в боях; интегрируется с любым фреймворком инференса. Ограничения: устаревшие архитектуры (SSD, MobileNet v1); неконкурентоспособен с YOLOv11.

Кастомные дообученные модели

Лучше всего подходит для: доменные задачи (ваш продукт, ваш сценарий). Берёте YOLOv11 или Detectron2, дообучаете на ваших размеченных кадрах (3,7–15 млн ₽ за 10–100 тыс. кадров) и разворачиваете. Фора Софт строила кастомные модели для распознавания товаров на полках, мониторинга игрового зала казино и трекинга медицинского оборудования.

Сравнение фреймворков

Облачные API для видеораспознавания

AWS Rekognition

Распознаёт: объекты, лица, текст (OCR), знаменитостей, небезопасный контент. Цены: 7,5 ₽ за изображение (пакетные задачи) или 75 ₽ в минуту анализа живого видеопотока. 200 камер на 2 FPS = 43 млн ₽/мес. Плюсы: managed, без обучения модели. Минусы: дорого на масштабе; нет варианта на устройстве; задержка API (1–3 секунды).

Google Cloud Vision

Распознаёт: объекты, текст, логотипы, свойства (цвета, ориентиры). Цены: 112 ₽ за 1000 изображений (пакет) или 450 ₽ в минуту видео. Плюсы: конкурентная цена на пакетной обработке изображений; сильный OCR. Минусы: дороже AWS в пересчёте на кадр при больших объёмах видео.

Microsoft Azure Computer Vision

Распознаёт: объекты, текст (OCR), лица, индексирование видео. Цены: 75 ₽ за 1000 изображений или 75 ₽/минуту видео. Плюсы: самая низкая цена за кадр; хорош для пакетного OCR. Минусы: всё равно дорого для непрерывного мониторинга 200+ камер.

Узкоспециализированные SaaS: Hive, Clarifai и другие

Специализированные провайдеры фокусируются на модерации (Hive детектирует контент 18+, насилие), детекции товаров или кастомных моделях. Цены: 37 500–375 000 ₽/мес. для типичных небольших развёртываний. Используйте, если: ваш сценарий очень узкий (например, бренд-безопасность в пользовательском видео), а собственные модели — не основа продукта.

Edge или облако: где запускать модель

Edge-инференс: запуск модели на локальном железе (Jetson Orin, Google Coral, GPU-сервер). Задержка: <200 мс. Стоимость на камеру: 3 750–15 000 ₽/мес. (амортизированное железо). Приватность: данные не покидают площадку. Масштабируемость: камеры добавляются дёшево, один Jetson Orin тянет 8–16 потоков.

Облачный инференс: отправка кадров в AWS/Google/Azure. Задержка: 1–3 секунды. Стоимость на камеру: 3 750–37 500 ₽/мес. в зависимости от частоты кадров и разрешения. Приватность: кадры покидают вашу сеть (проблемы комплаенса для здравоохранения, финансов). Масштабируемость: автомасштабирование, оплата по росту.

Гибрид (рекомендуем для продакшена): запускайте YOLOv11 локально на Jetson для тревог в реальном времени; отправляйте ключевые кадры в AWS Rekognition раз в месяц на дорогие задачи (сверка лица со списком наблюдения, юридическая фиксация). Срезает стоимость на 70–90% против чистого облака.

Пайплайн распознавания в реальном времени: захват, инференс, действие

Продакшен-пайплайн видеораспознавания состоит из пяти этапов, каждый со своим бюджетом задержки, который суммируется в ваш SLA (например, < 500 мс для тревоги безопасности).

1. Захват (< 40 мс). Принимаете H.264-кадр от IP-камеры (или перекодируете поток). Железо: FFmpeg на CPU или NVIDIA NVDEC на Jetson. На 30 FPS у вас ~33 мс на кадр; целевое декодирование 10–40 мс оставляет запас. Реальная стоимость: лицензия (FFmpeg) — бесплатно; аппаратное ускорение на Jetson — в комплекте.

2. Ресайз (< 10 мс). Масштабирование под вход модели (640×640 для YOLOv11). Используйте CUDA-ядро NVIDIA на Jetson или OpenCV на CPU. Letterbox-паддинг сохраняет соотношение сторон. Реальная стоимость: входит в OpenCV; пренебрежимо мало.

3. Инференс (< 30 мс). Прямой проход по YOLOv11. Железо: TensorRT-движок на Jetson (оптимизированный CUDA-код). Реальная пропускная способность на Jetson Orin: 100–150 FPS на входе 640. Реальная стоимость: бесплатно (open-source). Инфраструктура: Jetson Orin (амортизированно 3 000 ₽/мес. на одну камеру).

4. Постобработка (< 5 мс). Применить NMS, отфильтровать детекции с низкой уверенностью (< 0,5), смаппить координаты YOLO обратно на оригинальный размер кадра. Реальная стоимость: пренебрежимая нагрузка на CPU; Jetson тянет 200+ одновременных bbox на кадр.

5. Действие (< 20 мс). Бизнес-логика: подсчитать людей в зоне интереса (ROI), проверить аномалии, отправить SMS-тревогу при превышении порога, записать событие в БД. Реальная стоимость: ваш код. Здесь доминирует задержка записи в БД; используйте асинхронность (fire-and-forget), чтобы пайплайн не тормозил.

Итоговая реальная задержка на масштабе: 100–150 мс на декодирование + инференс + действие на Jetson. Этого хватает для ритейла, производства и охраны. Не хватает для спорта (нужно < 50 мс под графику в трансляции); спорт использует кастомные GPU-кластеры и оптимизированные CUDA-ядра.

Обучающие данные и аннотация: непарадная часть, занимающая 60% любого проекта

Устойчивая модель видеораспознавания требует 10–100 тыс. размеченных кадров. Получить эти кадры — это 60% таймлайна и бюджета. Инструменты: CVAT (open-source, бесплатно), Roboflow (облачная разметка, бесплатный тариф), Labelbox (enterprise, от 750 тыс. ₽/год), Scale AI (высокое качество, дорого). Раскладка по стоимости:

10 тыс. кадров (узкий домен, например, один SKU на складе): 375 тыс.–1,1 млн ₽ труда (внутри или подрядчик). Авторазметка Roboflow срезает это на 30–50%.

100 тыс. кадров (большой домен, например, розничная сеть с 200 камерами): 3,7–11 млн ₽ труда. Высококачественная разметка (плотные bounding box, IoU > 0,95) обходится на 10–20% дороже.

Active learning: обучите слабую модель на 5 тыс. кадров, используйте её, чтобы найти 5 тыс. самых сложных (наиболее неоднозначных), разметьте их и переобучите модель. Это срезает стоимость разметки на 30–40%, фокусируя усилия людей на крайних случаях.

Аугментация данных: поворот, отражение, добавление шума, корректировка яркости позволяют синтезировать 2–5 млн кадров из ваших 100 тыс. реальных. YOLOv11 обучается и на тех, и на других; аугментация снижает переобучение и улучшает обобщение на новые ракурсы камер, освещение, сезоны.

Метрики точности: precision, recall, mAP, IoU

Precision (точность): из всех детекций, которые делает модель, какая доля верна? Высокая precision = мало ложных срабатываний. Критично для ритейла (ложные тревоги съедают время оператора). Цель: > 90%.

Recall (полнота): из всех объектов, которые должны быть найдены, какую долю модель находит? Высокая recall = мало пропущенных объектов. Критично для охраны (пропустить нарушителя — это плохо). Цель: > 85%.

mAP (mean Average Precision): взвешенное среднее precision по всем порогам уверенности. Опубликованные бенчмарки (YOLOv11: 52,9 mAP на COCO) задают ожидания. Дообученные модели обычно достигают 60–85 mAP на доменных датасетах.

IoU (Intersection over Union): мера качества bounding box. mAP считается при IoU = 0,50 (свободно) и IoU = 0,95 (плотно). Для детекции товаров на полках цельтесь в IoU > 0,75; для трекинга в спорте — IoU > 0,90.

FPR (False-positive rate): особенно важна для охраны. Объект с 200 камерами и 1000 детекций в час при FPR 5% = 50 ложных тревог в час. Неприемлемо. Цель — FPR < 1% (10 ложных тревог в час).

Безопасность и приватность: BIPA, GDPR, EU AI Act, биометрия

1. BIPA-комплаенс (Illinois Biometric Information Privacy Act). Любая система, фиксирующая лица или отпечатки пальцев в Иллинойсе, требует явного письменного согласия каждого лица, публичной базы данных собранной информации и уведомлений об утечках. Реальный эффект: система распознавания лиц для ритейла в Чикаго требует журналов аудита, форм согласия и уведомления об утечке за 30 дней. Стоимость: 1,5–3,7 млн ₽ на юристов и инженеров для аудит-логов.

2. GDPR (Евросоюз). Обработка видеозаписей (где видны лица — это биометрия) требует юридического основания (согласие, законный интерес, договор), минимизации данных (удалять записи через 30 дней) и права на забвение. Реальный эффект: европейские ритейлеры обязаны анонимизировать лица в хранимых записях или ежемесячно удалять видеопотоки. Стоимость: внедрить размытие лиц на устройстве или применить методы дифференциальной приватности; спроектировать пайплайны данных с TTL (время жизни) на сырое видео.

3. EU AI Act (с 2024). Высокорисковые ИИ-системы (включая биометрическую классификацию для массового мониторинга) требуют оценки рисков, документации и человеческого надзора. Реальный эффект: развёртывание распознавания лиц для охраны в ЕС теперь требует предварительной оценки воздействия и журнала аудита при каждом обновлении модели. Стоимость: 2,2–7,5 млн ₽ на юридический обзор и инфраструктуру аудита.

4. Инференс на устройстве для минимизации экспозиции данных. Запускайте модели на Jetson на edge; никогда не отправляйте сырые кадры в облако. Извлекайте только метаданные, которые нужны (bounding box, уверенность, выполненное действие); удаляйте сырые кадры через 24 часа. Реальный эффект: соблюдение приватности дешевле, когда вы владеете слоем вычислений. Стоимость: 37 500–75 000 ₽ на камеру за edge-железо, но это убирает облачные расходы на инференс и снижает юридический риск.

5. Шифрование в транзите и в покое. TLS 1.3 для API-вызовов (AWS S3, запись в БД), AES-256 для хранения метаданных. Реальный эффект: минимальные затраты (< 5% накладных на CPU на Jetson), огромный плюс к комплаенсу. Любой крупный фреймворк (OpenCV, YOLOv11, TensorRT) поддерживает шифрование весов модели из коробки.

Ценовые уровни проектов по видеораспознаванию

POC (Proof of Concept, 4–6 недель): одна камера, одна модель YOLOv11 (только детекция объектов), без edge-железа (запуск на ноутбуке). Стоимость: 1,8–3,7 млн ₽ на инжиниринг и разметку. Результат: отчёт + примерный код.

MVP (Minimum Viable Product, 3–4 месяца): 10–50 камер, дообученный YOLOv11, один Jetson Orin для инференса, базовые тревоги (Slack-бот), без мобильного приложения. Стоимость: 6–15 млн ₽ (разметка 3,7 млн ₽, инжиниринг 3–6 млн ₽, железо 75 тыс. ₽). Результат: живой дашборд + API.

Продакшен (6–12 месяцев): 100–500 камер, несколько моделей (объекты + лица + аномалии), резервное edge-железо, облачный фейловер (бэкап в AWS), мобильное приложение, аудит-журнал по комплаенсу. Стоимость: 22–75 млн+ ₽ (разметка 7,5–22 млн ₽, инжиниринг 11–37 млн ₽, железо и инфраструктура 3,7–15 млн ₽, комплаенс 1,5–7,5 млн ₽).

Как Agent Engineering от Фора Софт ускоряет разработку видеораспознавания

Фреймворк Agent Engineering от Фора Софт использует ИИ-ассистированные процессы и сжимает проекты по видеораспознаванию на 6–12 недель. Подход: полу-надзорная разметка (слабые метки от предобученной модели + ручная проверка), active learning для приоритизации сложных случаев и непрерывная интеграция для валидации улучшений модели на живых видеопотоках. Пример: розничная сеть на 200 камер размечает 100 тыс. кадров за 8 недель (против 12–16 недель чисто ручным трудом). Agent Engineering равномерно сэмплирует кадры, прогоняет YOLO-инференс для авто-меток и затем направляет неоднозначные детекции людям. Люди проверяют < 30% кадров; модель учится не медленнее. Мы выкатили этот подход для трёх розничных сетей и снизили стоимость разметки на 40% без потери точности.

Второе ускорение: после обучения модели мы авто-разворачиваем её в Jetson-кластеры с blue-green-обновлениями (без даунтайма), канареечной валидацией (A/B-тест новых моделей сначала на 5% камер) и автоматическим откатом, если точность падает. Это снижает время развёртывания с недель до часов и позволяет быстрее итерировать улучшения модели.

Мини-кейс: детекция аномалий для розничной сети с 200 камерами

Ситуация. Сеть из 200 магазинов в США теряет 150 млн ₽ в год на shrink (воровство + потери). В магазинах работает 10–15 сотрудников торгового зала на смену; ни один человек не может одновременно следить за всеми выходами. Постфактумный просмотр видео (с привязкой по времени к POS-системе) находит факт кражи, но возврат редок — преступник уже за границей. Текущие потери: 150 млн ₽ ушедших товаров + 112 млн ₽ зарплат охраны + 37 млн ₽ на труд по постфактумным расследованиям.

План. Развернуть YOLOv11, обученный на видео розничного видеонаблюдения, чтобы детектировать людей, выходящих через аварийные выходы (последовательности кадров: человек подходит к выходу, дверь открывается, человек со свёртком выходит). Тревога в реальном времени уходит SMS-сообщением менеджеру магазина: Тревога: открыта аварийная дверь + человек с большой сумкой, западная сторона, ряд 3. Время: 14:32:05. Менеджер подходит за 20–30 секунд; персонал вежливо просит покупателя вернуть товар или пройти в офис магазина для разбора.

Результат. За 6 месяцев: предотвращены потери на 45 млн ₽ (снижение shrink на 25%). Система отметила 8400 событий (открытий дверей); 12% оказались настоящими аномалиями (несанкционированный выход). FPR: 88%, что давало 1–2 ручных проверки на магазин в день. Стоимость: 30 млн ₽ на железо Jetson по всем магазинам (150 тыс. ₽ на магазин) + 18 млн ₽ на разметку + 11 млн ₽ на инжиниринг + 3,7 млн ₽ на эксплуатацию. ROI: 45 млн ₽ предотвращённых потерь против 63 млн ₽ инвестиций = окупаемость за 17 месяцев, а далее экономия 45 млн ₽/год. Видеораспознавание сменило экономику розничного воровства с «расследовать постфактум» на «предотвращать в реальном времени». Хотите такую же оценку для своей сети магазинов? Позвоните или напишите — обсудим.

Фреймворк решений: выберите свой стек видеораспознавания за пять вопросов

В1. Сколько камер? < 10 = облачные API (AWS Rekognition) или ноутбук. 10–100 = один Jetson Orin. 100+ = несколько Jetson-кластеров или гибрид (edge + облако). Если у вас уже есть GPU-серверы, разворачивайте YOLOv11 туда через TensorRT.

В2. Каково ваше требование к задержке? > 1 секунды = облачные API. < 500 мс = edge (Jetson). < 100 мс = кастомный GPU-кластер + оптимизированные CUDA-ядра. Тревоги охраны и спорт укладываются в < 100 мс. Ритейл-аналитика терпит 500 мс–2 секунды.

В3. Задача типовая или кастомная? Типовая (общие люди, машины, объекты) = YOLOv11 или MediaPipe, обучается за 1–3 дня. Кастомная (ваш SKU, тип дефекта, формат автомобильных номеров) = дообучение на 10 000+ размеченных кадрах, 3–6 недель. Типовая в 3–5 раз дешевле.

В4. Какие ограничения по приватности? Нет ограничений (подсчёт трафика в ритейле) = облачные API или edge на ваш выбор. GDPR или BIPA (лица) = инференс на устройстве обязателен, используйте edge. Здравоохранение (HIPAA) = на устройстве, end-to-end шифрование, изолированные системы.

В5. Каков таймлайн разработки? Недели = облачные API (managed-сервис). Месяцы = кастомный YOLOv11 + edge на Jetson (всё внутри). Годы = строить собственный детектор с нуля (не рекомендуем, если только вы не Meta или Google). Agent Engineering от Фора Софт срезает путь «месяцев» до 6–8 недель.

Пять подводных камней, которые губят проекты по видеораспознаванию

1. Недооценка стоимости разметки. Команда думает: «разметим 50 тыс. кадров за 2 месяца». Реальность: наём подрядчиков, онбординг, циклы QA и споры по крайним случаям растягивают всё на 6 месяцев. Закладывайте 60% стоимости проекта только на разметку. Active learning срезает это на 30–40%.

2. Обучение на лабораторных данных, развёртывание в реальный мусор. Модели, обученные на студийном свете и статичных ракурсах камер, проваливают 50%+ в реальном ритейле или на складе (резкие тени, размытие движения, дрожание камеры). Всегда обучайте на 1000–2000 кадрах с реальной площадки развёртывания. Тестируйте на отложенных кадрах с той же площадки, а не на COCO или ImageNet.

3. Игнорирование дрейфа модели. В июне ваша модель работает отлично. В январе (другое освещение, праздничные толпы, новая раскладка SKU) точность падает на 10–15%. Переобучайте каждые 3–6 месяцев на свежих кадрах. Автоматизируйте: каждую пятницу сэмплируйте 100 кадров, прогоняйте ручной QA, переобучайте, если точность упала > 5%.

4. Чрезмерная оптимизация под бенчмарк. Команда зацикливается на mAP = 0,95 на валидационном наборе. В продакшене важнее FPR (пользователи не вытерпят 100 тревог в день). Определите реальный SLA (например, FPR < 1%) до обучения; следите за обеими метриками во время разработки.

5. Развёртывание без проверки приватности и комплаенса. Систему распознавания лиц запускают в продакшен, а потом юристы находят нарушения GDPR. Откатывайте: переархитектура, размытие лиц, журналы аудита, уведомление субъектов данных. Цена: 3,7–15 млн ₽ и 2–4 месяца задержки. Подключайте юристов (или комплаенс-консультанта) за 3 месяца до запуска, а не после.

KPI для отслеживания в продакшене видеораспознавания

KPI качества. mAP (mean Average Precision на валидации, цель > 0,70). FPR (ложные срабатывания на 1000 событий; цель < 1%). FNR (пропущенные объекты на 1000; цель < 2%). Precision и recall по классам объектов (люди, транспорт, автомобильные номера — отслеживайте отдельно).

KPI производительности. FPS (кадры в секунду; цель > 30 для тревог в реальном времени). P95 задержки (95-й перцентиль задержки инференса; цель < 200 мс на Jetson). Утилизация CPU/GPU (держите < 80%, чтобы не упереться в термотротлинг). Использование памяти (мониторьте VRAM на GPU и системную RAM).

Бизнес-KPI. Стоимость ложных тревог на магазин в месяц (число ложных срабатываний × 30 минут оператора × 1 875 ₽/час). Предотвращённый shrink (ритейл) или пойманные дефекты (производство) на каждый потраченный рубль. Балл аудита по комплаенсу (% обязательных аудит-журналов; цель — 100%). Стоимость переобучения как % от общей стоимости проекта (цель < 5% в год после выхода в продакшен).

Когда НЕ стоит строить кастомную систему видеораспознавания

Контр-аргумент: возьмите AWS Rekognition. Если задача типовая (детекция людей, машин, текста), у вас < 100 камер, а допустимая задержка > 1 секунды — Rekognition дешевле и менее рискован, чем сборка своего. Стоимость: 7,5 ₽ за изображение или 75–375 ₽ в месяц за непрерывное видео. Без разметки. Без обучения моделей. Без долга по комплаенсу. Реальный минус: 4,5–45 млн ₽/год на инференсе, если вы вырастете до тысяч камер. Но для пилота или низкообъёмного сценария это правильный выбор.

Когда строить кастомное: (1) задача доменно-специфичная (ваш продукт, ваши дефекты, ваш формат номеров), (2) у вас > 50 камер и можно амортизировать стоимость железа, (3) нужна задержка < 500 мс (облако не вытянет), (4) приватность/комплаенс требуют инференса на устройстве или (5) видеораспознавание — ключевая компетенция вашего продукта (вы охранная компания, а не розничная сеть).

FAQ

В чём разница между детекцией объектов и семантической сегментацией в видео?

Детекция объектов (YOLO) рисует bounding box и сообщает класс + уверенность. Семантическая сегментация (Detectron2) присваивает класс каждому пикселю. Сегментация точнее, но медленнее (30–50 FPS против 100+ FPS). Используйте детекцию для скорости; сегментацию — когда нужны точные границы (медицинский снимок, роботизированный захват).

Можно ли обучаться на синтетических данных и развёртывать на реальном видео?

Частично. Синтетические данные (из игровых движков, 3D-рендеров) сокращают стоимость разметки, но вносят доменный разрыв: модель работает на 20–40% хуже на реальном видео из-за разницы в освещении, текстурах, размытии движения. Используйте синтетические данные для редких крайних случаев (ночь, дождь, частичные перекрытия) и комбинируйте с 1000–2000 реальных кадров для развёртывания. Чисто синтетическое обучение — рискованно.

Как мне справляться с дрейфом ракурса камеры (движущаяся камера, меняющийся свет)?

Переобучайте каждые 3–6 месяцев на данных с вашей реальной площадки. Используйте active learning: прогоняйте инференс на свежих кадрах, собирайте 5 тыс. самых сложных (наиболее неуверенных) предсказаний, размечайте их и переобучайте модель. Это держит точность стабильной по мере изменения окружения. Автоматизируйте пайплайн переобучения, чтобы итерировать быстро без ручного инжиниринга.

Какова реальная стоимость электроэнергии при работе YOLOv11 24/7 на Jetson?

Jetson Orin: 50–70 ватт на полной нагрузке (100–150 FPS). Работа 24/7 = 50 Вт × 24 ч × 365 дней = 438 кВт·ч/год. По средней цене электроэнергии в США 9 ₽/кВт·ч это 3 900 ₽/год на одну камеру. Пренебрежимо мало по сравнению с железом (амортизированно 3 000–6 000 ₽/мес.) и трудом.

Нужен ли GPU для видеораспознавания, или хватит CPU?

GPU настоятельно рекомендуется. YOLOv11 на CPU = 5–15 FPS (бесполезно для реального времени). YOLOv11 на GPU = 100+ FPS (реальное время). Для минимального бюджета возьмите Google Coral (4,5 тыс. ₽, edge TPU) или NVIDIA Jetson Orin Nano (18 тыс. ₽); оба дают 30+ FPS. Инференс только на CPU оправдан только для медленных пакетных задач (обработка исторических записей оффлайн).

Как обеспечить, чтобы модель видеораспознавания была честной и без перекосов по демографии?

Считайте метрики по демографическим срезам: precision, recall и FPR с разбивкой по возрасту, полу, тону кожи (если применимо). Датасеты вроде Diversity in Faces помогают рано находить искажения отбора (selection bias). Дообогащайте обучающие данные недопредставленными группами; задавайте пороги демографического паритета (например, разница в recall между группами < 2%). EU AI Act требует такой документации для биометрических систем.

Что делать, если модель видеораспознавания ошибается в продакшене?

Ложные срабатывания: оператор вручную подтверждает перед действием. Запишите ошибку, переобучите на сложных негативах. Пропуски: их сложнее ловить; нужна оффлайн-валидация и переобучение. Стройте резервные системы: например, детекция аномалий помечает необычную активность, даже если детекция объектов промахнулась. Всегда держите human-in-the-loop для решений с высокими ставками (охрана, медицина).

В чём разница между TensorRT и ONNX Runtime для развёртывания?

TensorRT — это проприетарный движок оптимизации NVIDIA для CUDA-GPU; он конвертирует YOLOv11 в сверхбыстрые CUDA-ядра и расположение в памяти. ONNX Runtime — кросс-платформенный (CPU, GPU, TPU), но чуть медленнее. На Jetson используйте TensorRT; ONNX Runtime — если нужна переносимость между разным железом. Разница в производительности: 10–20% в пользу TensorRT на железе NVIDIA.

Что почитать дальше

Запустите видеораспознавание, которое реально окупается

ПО для видеораспознавания перешагнуло порог между исследованиями и продакшеном. YOLOv11, MediaPipe и облачные API — зрелые, хорошо документированные, дешёвые. Узкое место — не модель, а данные и архитектура. Розничная сеть может детектировать пробелы на полках в реальном времени за 30 млн ₽ единоразово и выйти в ноль за 18 месяцев. Производитель ловит дефекты за 7,5 млн ₽ и экономит 37 млн ₽ в год на гарантийных претензиях. Транслятор автоматически собирает хайлайты и монетизирует каждый кадр.

Пять решений, от которых зависит судьба проекта: (1) облачные API против edge-инференса (приватность, задержка, стоимость), (2) предобученные модели против кастомного дообучения (скорость выхода против точности), (3) железо: Jetson, Coral или GPU-сервер (пропускная способность, потребление, единоразовые затраты), (4) разметка: внутри, подрядчик или active learning (таймлайн, качество, стоимость), (5) комплаенс: GDPR, BIPA, EU AI Act (масштаб, юридический обзор, таймлайн развёртывания).

Фора Софт построила ПО для видеораспознавания на пяти континентах: от зала суда в Казахстане, где система отмечает посторонних за 1,2 секунды, до розничных сетей, где предотвращены потери на 45 млн ₽ от shrink. Мы знаем, что работает, что проваливается и что обходится гораздо дороже, чем казалось. Если вы выбираете проект по видеораспознаванию, наш фреймворк Agent Engineering сожмёт ваш таймлайн на 6–12 недель и снизит стоимость разметки на 30–40%. Стартуйте с целевого POC (4–6 недель, 1,8–3,7 млн ₽) и итерируйте по продакшен-метрикам. Правильный стек видеораспознавания окупает себя сам.