Генеративный ИИ и видеоинтеллект: от распознавания к пониманию намерений (руководство 2026)

Почему контекст и намерения важны в 2026

Классические системы видеоаналитики распознают объекты: человека, машину, рюкзак. Обводят их рамками, считают. Это и есть детекция — и в большинстве промышленных решений, выпущенных до 2024 года, на этом интеллектуальная часть и заканчивалась. Оператору оставалось смотреть на рамки и самому понимать, что происходит.

Изменилось три вещи. Во-первых, мультимодальные LLM научились работать с видео «из коробки»: Gemini 2.5 Pro принимает часовой ролик напрямую через File API, Qwen2.5-VL-72B обрабатывает длинные видео на массовых H100, а MiniCPM-V 2.6 умещает VLM на 8,1 млрд параметров в 5,5 ГБ памяти на edge-устройстве. Во-вторых, снизилась цена: обработка часа видео через Gemini в низком разрешении в 2026 году стоит около 22 ₽. В-третьих, подключились регуляторы: основные положения EU AI Act вступили в силу 2 августа 2026 года, и теперь правила по удалённой биометрической идентификации, маркировке ИИ-генерируемого контента и прозрачности напрямую касаются продуктов видеонаблюдения.

В итоге появилась новая продуктовая категория — контекстный видеоинтеллект, где система описывает происходящее словами, определяет намерения, позволяет оператору искать на естественном языке и эскалирует только те события, которые действительно требуют внимания человека. Эта статья — плейбук, по которому Фора Софт создаёт такие продукты, когда клиент сталкивается с подобной задачей.

Почему этот плейбук написала Фора Софт

Фора Софт разрабатывает видео- и AI-продукты с 2005 года, выпустила более 600 решений. В этот гайд вошли три направления: инфраструктура стриминга в реальном времени (WebRTC, MediaSoup, LiveKit, MoQ), пайплайны компьютерного зрения (YOLOv8/9, ByteTrack, BoT-SORT, DeepSORT) и поверх них — диалоговые и мультимодальные агенты. Наша модель поставки — спецификация-ориентированная инженерия, которая сокращает сроки разработки с шести месяцев до восьми–двенадцати недель, а стоимость рассчитывается соответственно.

Архитектурные решения ниже основаны на трёх проектах. V. A. L. T. — платформа для видеодоказательств, которую используют более 770 организаций США (полиция, центры защиты детей, медицинские учреждения): 2 500 IP-камер, 25 000 пользователей ежедневно, выручка — 727 млн ₽. Meetric — AI-платформа для записи и анализа звонков с продажами (привлечено 21 млн SEK), на которой детекция намерений и создание кратких выдержек из разговоров работает в продакшене на большом масштабе. DSI Drones — аэроразведка с обнаружением угроз прямо на устройстве. Каждый уровень стека ниже мы уже доводили до реального использования в продакшене.

От детекции к намерению: ответ за 60 секунд

Детекция отвечает на вопрос «что изображено в кадре?» Трекинг — «это тот же человек на соседних кадрах?» Подпись к сцене — «что происходит?» Рассуждение — «зачем это происходит и что с этим делать?» Контекстный видеоинтеллект — это все четыре уровня в стеке, а не одна модель, работающая на каждом кадре.

Дешёвые и быстрые слои (детекция, трекинг) работают на edge и обеспечивают 15–60 FPS, передавая эмбеддинги и короткие клипы. Более сложные операции — генерация подписей с помощью VLM и рассуждение с помощью LLM — выполняются в облаке со скоростью 0,5–8 FPS и дают связный текст, метки намерений и поиск по естественному языку. Между ними работает тонкий канал, передающий эмбеддинги, клипы по алертам и обратную связь от оператора, но не само видео. Вот вся архитектура в одном абзаце.

Эталонная архитектура: edge CV + облачный VLM + LLM-рассуждения

Промышленные системы приходят к одной и той же структуре — независимо от того, кто их создаёт: Ambient.ai, Coram AI, Twelve Labs или мы для клиентов. Три уровня и одна петля обратной связи.

Рисунок 1. Гибридная эталонная архитектура контекстного видеоинтеллекта в 2026 году.

Уровень 1 — edge CV (каждый кадр)

Детектор YOLOv8/9 и многообъектный трекер (ByteTrack, BoT-SORT или DeepSORT) — на Jetson Orin Nano, Hailo-8 или умной камере. Каждая обнаруженная цель генерирует компактный эмбеддинг и временной контекст: ID объекта, время пребывания в зоне, вектор движения. 99% кадров остаются на edge. Подробный разбор этого уровня — в нашем гайде по YOLO + ByteTrack + DeepSORT.

Уровень 2 — облачный VLM (отбор кадров)

Vision-language model (Gemini 2.5 Pro, Qwen2.5-VL-72B или MiniCPM-V 2.6) берёт клипы вокруг интересных событий, нарезанные с частотой 1 FPS, и выдаёт структурированную подпись: сцена, действующие лица, действия, атрибуты. Вывод — JSON, низкая температура, валидация по схеме. Бюджет задержки: 1–2 секунды на 30-секундный клип в Gemini, 5–10 секунд на минутный клип в self-hosted Qwen.

Уровень 3 — рассуждения с помощью LLM и агент (намерение)

LLM получает структурированную подпись и короткий контекст (последние N подписей по этой сущности, правила объекта, прошлые инциденты) и выдаёт метку намерения, уровень уверенности и рекомендованное действие. К системе подключён ретривал — по операторским плейбукам, прошлым инцидентам и графовой базе данных сущностей и связей (CA-РАГ). Всё, что ниже порога уверенности, передаётся человеку; всё, что выше — автоматически маршрутизируется.

Уровень 4 — обратная связь от оператора

Каждое действие оператора (подтвердить, отклонить, эскалировать) превращается в размеченные данные. Сложные случаи возвращаются в облако для повторного анализа более мощной моделью и попадают в датасет для дообучения edge-модели. Без этой обратной связи система теряет точность. С ней — точность растёт.

Модели, которые будут важны в 2026 году

Выбирайте по уровню, а не по хайпу. Уровень детекции требует скорости. Уровень VLM — длинного контекста и структурированного вывода. Уровень LLM — рассуждений и работы с инструментами. Ниже — краткий список, который мы рекомендуем клиентам сегодня.

Реальное, почти реальное время и форензик: бюджеты задержек

Три режима работы подходят почти для любого видеопродукта. Выбирайте режим под сценарий, а не под камеру, и проектируйте пайплайн соответственно.

Реальный пример из производства: 16-камерный CCTV-пайплайн на нефтегазовом объекте, описанный в ScienceDirect, показал суммарную пропускную способность 16,5 FPS и сквозную задержку алерта — 26,76 секунды при 21 часе непрерывной работы. По нашей классификации это «почти реальное время» — задержка заметно превышает порог, после которого оператор уже работает с устаревшей информацией на дашборде.

Экономика: облачные API против собственных GPU

Расходы делятся на три статьи. Самая предсказуемая — почасовая оплата видеотокенов в облачных API. Самая выгодная при масштабировании — аренда собственных GPU. Хранение эмбеддингов в 2026 году фактически бесплатно.

Два правила выбора. До 100 часов видео в месяц по совокупной стоимости выгоднее облачные API. Выше 500 часов — выигрывает self-hosted на GPU-провайдере вроде GMI или Lambda. В диапазоне 100–500 часов выбор зависит от характера нагрузки: если она пиковая — лучше API, если ровная — свой хостинг.

Сценарии, которые открывает GenAI

1. Описание сцены словами. Вместо шаблонных рамок — одна понятная строка, которую оператор легко запоминает: «Двое в касках управляют погрузчиком возле паллет, 03:42» вместо «человек, человек, транспортное средство».

2. Вывод намерения. Нужно различать ситуации: «человек с телефоном стоит у периметра» и «техник проводит обход». Фреймворк VERA повышает AUC на 30% по сравнению с базовой версией — за счёт замены общих промптов на детальные промпты с рассуждениями.

3. Различение оружия и телефона. Простая детекция объектов может по-разному классифицировать один и тот же удлинённый тёмный предмет на разных кадрах. VLM, который учитывает контекст — позу, жест и реакцию окружающих, — справляется с этим правильно, но только если в системе остаётся оператор.

4. Форензик-поиск на естественном языке. «Покажи клипы, где кто-то уходит с рюкзаком между 15:00 и 17:00 вчера». Визуальный RAG поверх 1024-мерных эмбеддингов заменяет покадровую перемотку — после внедрения мы стабильно фиксируем сокращение времени поиска оператором примерно на 90%.

5. Корреляция между камерами. Отслеживание интересующего человека на территории из 50 камер. Детекция уровня 1 и LLM-рассуждения уровня 3 на основе эмбеддингов реидентификации позволяют это делать, не отправляя каждый кадр в облако.

6. Саммари алертов. Собрать все алерты за смену в один краткий абзац для утренней планёрки. Именно так VLM делает информацию понятной для нетехнических стейкхолдеров.

7. Синтетика для редких случаев. Генерируйте через диффузионные модели примеры редких событий — например, нарушения средств защиты, падения или драки — чтобы сбалансировать обучающую выборку без необходимости собирать такие случаи в реальности. При правильной доле синтетических данных точность VLM на редких классах растёт на 10–20%.

Шаблон реализации: структурированный вывод и визуальный RAG

В продуктах, которые мы выпускаем, всю работу выполняют два шаблона. Оба проще, чем кажутся на первый взгляд.

Вызов VLM со структурированным выводом

Всегда заставляйте VLM возвращать JSON по схеме. Температура 0,1, валидация, один повтор при ошибке схемы. Схема становится контрактом между зрением и рассуждением.

{
  "scene": "warehouse loading dock, dusk",
  "actors": [
    {"id": "track-42", "role": "worker", "ppe": ["hard_hat", "vest"]},
    {"id": "track-43", "role": "visitor", "ppe": []}
  ],
  "actions": ["forklift_operation", "pedestrian_walking_in_zone"],
  "anomalies": ["unauthorized_pedestrian_in_forklift_zone"],
  "confidence": 0.82
}

Визуальный RAG

Эмбеддинг каждого обнаруженного фрагмента сохраняется в векторную базу данных (Qdrant, Pinecone, Weaviate). На запрос мы преобразуем естественно-языковой запрос пользователя в эмбеддинг, извлекаем топ-K фрагментов, отправляем их вместе с запросом в VLM для переранжирования, а затем в LLM для формирования связного ответа. Это решение работает по принципу «покажи все клипы, где у кого-то рюкзак», и уже сегодня оно функционирует на значимом масштабе.

Приватность и EU AI Act с августа 2026

С 2 августа 2026 года вступают в силу основные положения EU AI Act. Для контекстных видеопродуктов особенно важны три требования. Биометрическая идентификация в реальном времени по камерам видеонаблюдения отнесена к высокому риску (приложение III): вы обязаны провести оценку соответствия, оценку влияния на основные права, вести регистрируемые логи и обеспечить человеческий контроль. Видео, созданное или изменённое с помощью ИИ, должно быть помечено в соответствии со статьёй 50 — это касается дашбордов на синтетических данных, оверлеев с размытыми лицами и любых клипов, где система склеивает кадры с автогенерацией VLM-комментариев. Запрещено распознавать эмоции на рабочем месте или в школах, а также собирать изображения лиц с камер или из интернета без цели и помещать их в базы данных.

В нашем парном материале «Тренды и этика ИИ-видеонаблюдения в 2026» обязательства рассмотрены подробно. Короткая шпаргалка для инженеров: по возможности храните исходное видео локально, фиксируйте каждое решение модели вместе с контекстом оператора, внедряйте контроль человека с самого начала и относитесь к аудиторскому следу как к важнейшему элементу продукта.

Сценарии отказа: галлюцинации, атаки, дрейф

1. Временные галлюцинации. Бенчмарк VIDHALLUC показывает точность VLM ниже 55% на критически важных для безопасности объектах — пешеходах и дорожных знаках — при размытии движения или шуме сенсора. Проблему можно решить с помощью детального промптинга, метрики временной согласованности и ансамбля из детектора и VLM: алерт отправляется наверх только после их согласия.

2. Атаки с подменой ввода. Паттерн, напечатанный на футболке или табличке, стабильно сбивает работу VLM на нескольких кадрах подряд. Защита: проверка водяного знака или аномалий на стороне детекции, выделение любого текста, который VLM распознаёт как текст из кадра, и отказ от выполнения команд, появившихся в кадре в виде текста.

3. Несоответствие действия и сцены. Рабочий проходит мимо тлеющего поддона, а VLM описывает только его. Линия работ MASH-ВLM с CVPR 2025 показывает, что многозадачное обучение и калибровка уверенности помогают уменьшить такие пропуски; в продакшене мы добавляем жёсткие правила (обнаружение дыма, обнаружение огня), которые эскалируют событие независимо от того, что написал VLM.

4. Дрейф концепта. Меняются ракурсы камер, внешность сотрудников, сезонные декорации. Без дообучения частота ложных срабатываний заметно растёт уже через 12–18 месяцев. Собирайте сложные случаи до запуска, а не после.

5. Тихие регрессии при апдейтах модели. Новый релиз VLM может изменить формулировки, поведение в крайних случаях в JSON или работу с редкими классами. Поддерживайте небольшой отложенный валидационный набор для каждого сценария и прогоняйте его при каждом обновлении модели; выкатывайте изменения только если метрика не ниже порога.

Мини-кейс: V. A. L. T. — 770+ организаций и поиск улик с ИИ

Контекст. Американская платформа для видеодоказательств, которой пользуются более 770 организаций: полицейские департаменты, центры защиты детей и медицинские учреждения. Следователи тратили часы на покадровый просмотр записей из комнат для допросов, чтобы найти нужный момент.

Что мы построили. Слой детекции событий интереса прямо на камере и облачный слой анализа, который выдаёт структурированные подписи и эмбеддинги для каждого события. Следователь формулирует запрос на естественном языке («клипы, где человек говорит, что его не было на месте») и получает отсортированный список ссылок на видео. У каждого клипа — JSON с обоснованием и оценкой уверенности. Аудит-логи и подтверждения людей встроены в цепочку доказательств.

Результат. 2 500 IP-камер под управлением, 25 000 ежедневных пользователей, выручка 727 млн ₽. Время на просмотр улик резко сократилось после запуска поиска по естественному языку. Если вы разрабатываете похожий продукт для работы с уликами или комплаенсом — свяжитесь с нами.

Фреймворк решений — определите свой уровень за пять вопросов

1. Вопрос «что в кадре?» или «почему это происходит?» Чистая детекция объектов отвечает на первый. На второй — нужны VLM и LLM.

2. Какой бюджет задержки? До 250 мс — это edge VLM (MiniCPM-V, LFM2.5-VL). 1–5 с — можно использовать облачные Gemini или Qwen. Для форензик-поиска требования к реальному времени отсутствуют.

3. Сколько часов видео в месяц? До 100 часов — облачный API. Больше 500 часов — свой хостинг на H100. В промежутке выбор зависит от характера нагрузки.

4. Какие регуляторы применимы? Жители ЕС, школы, больницы, правоохранительные органы, объекты под NDAA — on-premise или суверенное облако с полным аудит-следом и маркировкой по статье 50. В остальных случаях коммерческое облако допустимо при наличии строгого DPA.

5. Действие автоматическое или с участием человека? Автоматические алерты (турникеты, остановки линии) требуют ансамблевой уверенности. Алерты с участием человека (триаж оператора, поиск следователем) допускают неуверенность VLM, если показывается обоснование.

Пять ловушек, в которые попадают команды

1. VLM как входная точка. Отправлять каждый кадр в VLM — это приведёт к перерасходу бюджета и увеличению задержек. Детекция на edge-устройствах отфильтровывает кадры, чтобы до VLM доходило не более 1%.

2. Свободный текст вместо структурированного вывода. Ответ в виде абзаца невозможно распарсить. Заставьте модель возвращать JSON по строгой схеме; при ошибках парсинга отбрасывайте ответ и повторяйте запрос; собирайте нарушения схемы как обучающий сигнал.

3. Нет отложенной валидационной выборки. Без собственной тестовой базы обновление модели может незаметно нарушить работу. Мы проводим оценку на 200–500 клипах по каждому сценарию перед запуском любой модели и проверяем её при каждом изменении.

4. Игнорирование операторской петли. Если клики «отклонить/эскалировать» не используются для дообучения, вы платите за ИИ, который не учится. Петля настраивается недорого и окупается уже в первом квартале.

5. Игнор статей 50 и FRIA. «Допилим комплаенс-UI потом» — фраза, которую часто слышат на второй неделе, а на восемнадцатой уже жалеют, когда пилот в ЕС застопорился. Заложите маркировку, водяной знак и шаблон оценки влияния на основные права в спецификацию продукта с самого первого спринта.

Какие KPI измерять

KPI качества. mAP по классам на вашей валидационной выборке (не на COCO). Доля нарушений JSON-схемы у VLM — ниже 1%. Частота галлюцинаций по аудиту оператора — ниже 3% на критичных для безопасности метках.

Бизнес-цели. Стоимость доставленного алерта (цель — ниже 7 ₽). Медианное время от алерта до решения оператором (ниже 30 секунд). Количество пропущенных событий по жалобам клиентов — снижается с каждым кварталом.

KPI надёжности. P99-задержка от кадра до оператора (в пределах бюджета режима). Доля ошибок API VLM (цель — менее 0,5%). Среднее время восстановления после отката модели — менее 10 минут на стабильной CI/CD.

Когда GenAI на видео не нужен

GenAI — неподходящий инструмент, когда задача чётко определена и часто повторяется. Считаете машины на перекрёстке? Используйте YOLO + трекер. Определяете, человек ли на дверном звонке? Опять YOLO + трекер. Распознаёте номера? Подойдёт OCR. Не нужен VLM; нужен точный детектор и минимальные затраты на инфраструктуру.

GenAI также неуместен там, где недопустимы ошибки и нет человека в процессе. Полностью автоматическая классификация оружия без участия человека — это не продукт 2026 года, а иск в суд, который ждёт своего часа. Используйте детекцию + оповещение + ручную проверку, и пусть VLM даёт обоснование, а не принимает окончательное решение.

Путь от пилота до прода за 90 дней

Это типовой график, по которому мы работаем с новыми клиентами на контекстных видеопродуктах. Сжатие по сравнению с классическими разработками даёт агентный каркас и тот факт, что слой моделей теперь — это API, а не исследовательский проект.

Частые вопросы

Что почитать дальше

Готовы запустить контекстный видеоинтеллект?

Ответ 2026 для серьёзных видеопродуктов — слоистый стек: YOLO и трекер на edge, vision-language model для подписи к сцене, LLM для анализа намерений и человек в контуре на принятии решений с высокими ставками. Детекция стала стандартом; преимущество теперь там, где рамки превращаются в текст, запросы и решения.

Если вы разрабатываете заказной контекстный видеопродукт — наблюдение, промышленный мониторинг, спорт, аналитика продаж, здравоохранение — технологические решения очевидны. Сложнее согласовать их с вашим бюджетом на задержки, месячным объёмом обработки и регуляторными требованиями. Именно об этом мы беседуем с потенциальными клиентами по телефону или в письме: расскажите о своих ограничениях — и мы подготовим подходящую архитектуру и оценку поставки.