Главное
• Обнаружение аномалий — это задача классификации, у которой не работают стандартные допущения. Аномалии редки, чаще всего без разметки и со временем смещаются. Выбирайте алгоритм, который выдержит эти три факта, а не тот, у кого самые красивые цифры в статьях.
• Шесть алгоритмов покрывают 90% реальных проектов. Isolation Forest, ECOD/COPOD, Local Outlier Factor, One-Class SVM, автоэнкодеры и LSTM/Anomaly Transformer для временных рядов. Всё остальное — вариации этих шести.
• Гибридные стеки выигрывают у одиночных моделей. Самые надёжные продакшен-системы запускают параллельно два детектора с разными индуктивными смещениями (например, Isolation Forest + автоэнкодер), а затем пропускают объединение или пересечение результатов через калибровочный слой. По свежим промышленным исследованиям, автоэнкодеры дают 87–89% точности, Isolation Forest — 84–86% на шумных высокоразмерных данных.
• Рынок реален и растёт. По прогнозам, мировой рынок ПО для обнаружения аномалий вырастет примерно с 375–600 млрд ₽ в 2026 году до ~2,1 трлн ₽ к 2034 году со среднегодовым темпом роста 16–19% — в основном за счёт антифрода, ИТ-операций и предиктивного обслуживания, при этом крупнейший заказчик — банковский и финансовый сектор.
• Большинство провалов — не из-за алгоритма. Чаще проекты убивают дисбаланс классов, слабые метки, дрейф понятий, усталость от алертов и отсутствие обратной связи. MLOps стоит спланировать раньше, чем сравнивать PyOD и Datadog.
Почему Фора Софт написала этот плейбук
Обнаружение аномалий стоит в центре трёх направлений, которые мы выпускаем каждый квартал: пайплайны обработки данных в реальном времени, компьютерное зрение и прикладное машинное обучение. Наша практика по интеграции AI разрабатывает функции мониторинга и распознавания поведения на основе ML для продуктов в здравоохранении, финтехе, безопасности и SaaS — для клиентов из США, ЕС и Азиатско-Тихоокеанского региона.
Конкретный пример — V.A.L.T, наша платформа для HD-видеодоказательств. Она работает с более чем 2 500 камерами и 50 000+ ежедневными пользователями в 770+ организациях США, включая правоохранительные органы и медицинские образовательные учреждения. Этот опыт даёт нам аргументированное представление о том, что действительно работает, когда нужно обнаружить «нечто необычное» в миллионах часов потокового видео и при этом не утопить операторов в потоке алертов.
Это руководство — тот самый плейбук, которого нам не хватало в начале пути: какие алгоритмы машинного обучения для обнаружения аномалий реально окупаются в продакшене, как выбирать между ними, как выглядит ландшафт инструментов в 2026 году и где на самом деле проходит граница между «разрабатывать самим» и «купить готовое». Руководство написано для тех, кто будет выпускать эту функцию и держать дежурство по инцидентам, а не для рейтинга на Kaggle.
Что такое обнаружение аномалий на самом деле
Аномалия — это любая точка данных, последовательность или паттерн, который заметно отклоняется от ожидаемого поведения системы. В терминах машинного обучения обнаружение аномалий — это задача выучить «нормальное» по наблюдаемым данным (как правило, без разметки или со слабой разметкой) и помечать отклонения.
Принято выделять три типа аномалий. Точечные аномалии — отдельные точки данных за пределами нормального распределения: например, транзакция на 3,7 млн ₽ по карте, которой обычно платят за кофе. Контекстные аномалии сами по себе выглядят нормально, но необычны в своём контексте: например, +25°C в Стокгольме в феврале. Коллективные аномалии — это последовательности, в которых отдельные значения нормальны, а вот паттерн в целом — нет: например, сервер тихо отвечает на 100 запросов в минуту, тогда как в этот час исторически в среднем 10 000.
Задача сложна по трём причинам. Аномалии редки (обычно <1% данных), у них нет разметки или разметка непоследовательная, а само определение «нормы» смещается со временем. Выберите алгоритм и операционную модель, которые выдержат эти три факта, — и большая часть инженерных решений выстроится сама собой.
Оцениваете обнаружение аномалий для своего продукта?
30 минут с нашим ML-лидером — и вы уйдёте с подходящим алгоритмом, чек-листом готовности данных и реалистичными сроками с учётом ускорения за счёт Agent Engineering.
Где ML-обнаружение аномалий реально окупается в 2026 году
1. Антифрод и финансовые преступления. Самый крупный заказчик обнаружения аномалий. Банковский и финансовый сектор лидирует на рынке, потому что каждый ложноотрицательный результат — это прямой убыток, а каждый ложноположительный — разъярённый клиент. Антифрод по картам в реальном времени, мониторинг транзакций для борьбы с отмыванием денег, выявление захвата аккаунтов. В продакшене работают: градиентные бустинги решающих деревьев с оценкой аномальности, автоэнкодеры на графах транзакций, ансамбли Isolation Forest плюс контролируемая «надстройка» на XGBoost.
2. ИТ-операции, observability и SRE. Datadog Watchdog, Dynatrace Davis, Grafana ML, Splunk ITSI, Elastic ML — именно здесь большинство инженерных команд впервые сталкиваются с обнаружением аномалий. Выбросы во временных рядах метрик, аномалии в логах, аномалии в распределённых трассах. Что выигрывает в продакшене: Prophet/STL для разложения по сезонности, Anomaly Transformer для многомерных метрик, классическое медианное абсолютное отклонение для дешёвых мониторов задержки.
3. Предиктивное обслуживание и промышленный IoT. Вибрация, температура, потребляемый ток, акустические сигнатуры турбин, насосов, станков с ЧПУ. По свежим промышленным исследованиям, автоэнкодеры дают 87–89% точности, а Isolation Forest — 84–86% на шумных высокоразмерных потоках с датчиков; гибридные стеки последовательно обгоняют каждую модель по отдельности.
4. Кибербезопасность и обнаружение вторжений. Аномалии сетевых потоков, латеральное перемещение, обнаружение beacon-трафика, EDR. Датасеты вроде CIC-IDS-2017 и NSL-KDD остаются академическим базисом; продакшен-стеки опираются на гибрид контролируемых классификаторов (известные TTP) и неконтролируемых моделей (паттерны zero-day).
5. Видеонаблюдение и анализ поведения. Направление, где Фора Софт выпустила больше всего проектов. Обнаружение необычных движений, длительного нахождения в зоне, падений, оружия, нарушений периметра на CCTV. Глубокие модели (3D CNN, видеотрансформеры) плюс пайплайны фонового моделирования; результат фильтруется через доменно-специфичный слой подавления, чтобы не утопить операторов в алертах. Подробнее об этом мы писали в материалах об обнаружении аномалий в видеонаблюдении в реальном времени и о системах видеонаблюдения на базе AI.
6. Мониторинг в здравоохранении. Обнаружение аритмий по ЭКГ, раннее предупреждение о сепсисе, отслеживание ухудшения витальных показателей в реанимации. Жёстко регулируемая область: путь SaMD в FDA в США, MDR в ЕС. Модели обычно представляют собой консервативные ансамбли с надстроенным слоем объяснимости.
7. Визуальный контроль качества на производстве. PatchCore, PaDiM и аналогичные самоконтролируемые модели изображений на данных типа MVTec AD. На чистых публичных бенчмарках достигают >99% AUROC; на реальных фабриках стоит закладывать снижение на 5–15 пунктов.
Ландшафт алгоритмов, разложенный по тому, что вам действительно нужно
В литературе описаны десятки именованных алгоритмов обнаружения аномалий. В продакшене мы используем примерно шесть семейств. На рис. 1 они разложены по типу данных и режиму обучения.
Рис. 1. Семейства ML-алгоритмов обнаружения аномалий — что выигрывает на каком типе данных.
Isolation Forest (iForest)
Ансамбль случайных деревьев, который изолирует точки рекурсивными разбиениями. Аномалии изолируются быстрее (короче путь по дереву), чем нормальные точки. Линейная сложность по времени, масштабируется до миллионов строк, почти не требует подбора параметров. Лучшее применение в продакшене: табличные данные, антифрод, структурированные логи, IoT-телеметрия.
ECOD и COPOD
Вероятностные детекторы, оценивающие эмпирическую функцию распределения по каждому признаку (ECOD) или копульную структуру (COPOD). Без параметров, детерминированные, объяснимые, быстрые. Среди сильнейших участников бенчмарка ADBench (30 алгоритмов на 57 датасетах). Используйте как калибровочный базис, прежде чем тянуться за глубоким обучением.
Local Outlier Factor (LOF) и DBSCAN/HDBSCAN
Подход на основе плотности: выбросом считается точка в разреженной локальной окрестности. LOF — каноническая версия с оценкой; DBSCAN/HDBSCAN кластеризуют по плотности и помечают остальное как шум. Хорошо работают на данных с явной локальной вариацией плотности; дорогие на высокоразмерных и больших наборах — в свежих бенчмарках на промышленных объёмах фиксировались сбои по нехватке памяти.
One-Class SVM и Deep SVDD
Учат границу, в которую укладывается нормальный класс. Полезны, когда у вас много чистых «нормальных» данных и почти нет аномалий. Deep SVDD — нейросетевое расширение, обучающее сеть отображать нормальные данные в гиперсферическую область. Применяются в регулируемых областях (медицина, контроль качества на производстве), где объяснимость менее важна, чем ограниченный уровень ложных срабатываний.
Автоэнкодеры и вариационные автоэнкодеры
Нейросеть учится восстанавливать нормальные данные; большая ошибка восстановления сигнализирует об аномалии. Варианты: обычный AE, VAE, состязательный AE, MemAE. Сильны на высокоразмерных входах (изображения, массивы датчиков, сетевые пакеты), но требуют больше данных, чем методы на деревьях.
Модели для временных рядов: LSTM, TCN, Anomaly Transformer, Matrix Profile
Для последовательных данных с временной зависимостью. Прогнозисты на LSTM/TCN оценивают остатки прогноза. Matrix Profile — детерминированный детектор мотивов и диссонансов, который почти не требует настройки. Anomaly Transformer (ICLR 2022) вводит association-discrepancy и сегодня держит SOTA для многомерных временных рядов — этот подход уже стоит у разных observability-вендоров.
Модели для изображений: PatchCore, PaDiM, EfficientAD
Самоконтролируемые методы на основе банка признаков поверх предобученных ImageNet/CLIP-бэкбоунов. Доминируют на MVTec AD; реальное применение — промышленный визуальный контроль, триаж медицинских изображений, видеонаблюдение.
Алгоритмы — сводное сравнение
| Алгоритм | Лучше всего для | Тип данных | Плюсы | Ограничения |
|---|---|---|---|---|
| Isolation Forest | Антифрод, структурированные логи, IoT | Табличные, средняя размерность | Линейное масштабирование, мало настроек, устойчив к шуму | Хуже работает на локально-плотностных аномалиях |
| ECOD / COPOD | Первый базис, объяснимость | Табличные, любая размерность | Без параметров, детерминированные, быстрые | Слабы на сложной нелинейной структуре |
| LOF / HDBSCAN | Локально-плотностные аномалии | Табличные, низкая/средняя размерность | Захватывают кластеры и структуру шума | Медленные на больших и высокоразмерных данных |
| One-Class SVM / Deep SVDD | Много нормальных, мало аномальных | Табличные, признаки изображений | Ограниченный FPR, объяснимая граница | Чувствительны к выбору ядра и масштабированию |
| Автоэнкодеры / VAE | Высокая размерность, изображения, сетевые пакеты | Изображения, датчики, эмбеддинги | Захватывают богатое нелинейное многообразие нормы | Требовательны к данным, чувствительны к дрейфу |
| Прогнозисты LSTM / TCN | Одномерные и многомерные метрики | Временные ряды | Нативное моделирование времени | Тяжёлое переобучение при дрейфе |
| Anomaly Transformer | Многомерный observability | Временные ряды | SOTA на бенчмарках SMD/SMAP/MSL | Прожорлив по вычислениям при инференсе |
| Matrix Profile (STUMPY) | Мотивы и диссонансы, одна метрика | Временные ряды | Детерминированный, без обучения модели | Лучше работает на низкоразмерных сигналах |
| PatchCore / PaDiM / EfficientAD | Промышленный визуальный контроль | Изображения | >99% AUROC на MVTec AD | Нужны эталонные нормальные изображения |
Начните с Isolation Forest. Если данные табличные и достаточно объёмные, запустите Isolation Forest как базис — раньше всего остального. Это самая надёжная стартовая модель для ML-обнаружения аномалий.
Берите Anomaly Transformer, когда: у вас многомерные временные ряды с нетривиальными зависимостями между каналами и реальный бюджет на GPU для инференса.
Берите гибрид (автоэнкодер + Isolation Forest), когда: точность одиночного детектора упирается в 80–85%, а у вас есть хотя бы несколько тысяч подтверждённых аномалий для оценки.
С учителем, с частичным учителем, без учителя — как выбрать
Без учителя — режим по умолчанию и самый реалистичный. У вас неразмеченные данные, в основном нормальные, и нужно отметить то, что в них не вписывается. Isolation Forest, ECOD, LOF, DBSCAN, автоэнкодеры — все они работают именно здесь.
С частичным учителем предполагает, что у вас есть чистый «нормальный» набор для обучения, но нет размеченных аномалий. Сюда подходят One-Class SVM, Deep SVDD, автоэнкодеры, обученные только на нормальных данных. Самый частый сценарий в регулируемых индустриях (медицина, производство), где норма формируется кураторски, а аномальные события слишком редки, чтобы разметить их исчерпывающе.
С учителем — редкая роскошь, когда размечены оба класса. Используйте, когда классы фрода или сбоев действительно известны и размечены (опровергнутые транзакции по картам, подтверждённые поломки оборудования). Доминируют бустинги (XGBoost, LightGBM, CatBoost) и контролируемые «надстройки» в многозадачных нейросетях. Внимательно следите за дисбалансом классов: ROC-AUC вводит в заблуждение — сообщайте PR-AUC, F1@k и recall при фиксированной точности.
Эталонная продакшен-архитектура
На рис. 2 показана архитектура, которую мы стандартно используем для ML-обнаружения аномалий в продуктах. Она сознательно построена вокруг ансамблей и обратной связи — именно этих двух вещей не хватает большинству систем обнаружения аномалий, чтобы пережить выход в продакшен.
Рис. 2. Эталонная продакшен-архитектура обнаружения аномалий, которую мы используем в наших проектах.
Три компонента здесь неочевидны. Слой калибровки приводит сырые скоры аномальности от разных моделей к сопоставимому процентильному рангу. Слой подавления добавляет временной гистерезис, дедупликацию и настраиваемые оператором пороги — именно он отделяет рабочую систему от потопа алертов. Канал обратной связи превращает решения оператора в размеченные примеры, запускает еженедельное переобучение и позволяет считать реальные precision и recall во времени.
Ландшафт инструментов: open-source, облако и SaaS
| Слой | Примеры | Когда выигрывает |
|---|---|---|
| Библиотека | PyOD, scikit-learn, PyCaret, TODS, Darts, STUMPY, ADTK | Кастомная разработка, полный контроль над моделью |
| Облачные ML-платформы | Vertex AI, SageMaker, Azure ML, Databricks | Вы уже живёте в этом облаке и нуждаетесь в MLOps |
| SaaS для observability | Datadog Watchdog, Dynatrace Davis, New Relic, Splunk ITSI, Elastic ML, Grafana ML | Метрики, логи, трассы и нет ML-команды |
| Антифрод / риск | Sift, Feedzai, NICE Actimize, SAS Fraud, Stripe Radar | Заказчики из банковского и финансового сектора, регулируемые риск-пайплайны |
| Промышленность / IoT | Seeq, AWS IoT SiteWise, Azure IoT Anomaly, Uptake | Производство, энергетика, нефть и газ |
| Изображения / видео | Anomalib, AnomalyMatch, кастомные CV-пайплайны | Визуальный контроль качества, видеонаблюдение, медицинские изображения |
Отдельно о PyOD: появился в 2017 году, >38 млн скачиваний, самая зрелая и широко используемая Python-библиотека для обнаружения аномалий в табличных данных, временных рядах, изображениях, графах и текстах. PyOD V3 поставляется с оркестратором ADEngine и агентным воркфлоу od-expert. Если вы разрабатываете, а не покупаете, — именно отсюда чаще всего стартуют наши прототипы.
Бенчмарк-датасеты, которые имеют значение
Табличные и ИТ-операции: ADBench (57 датасетов, 30 алгоритмов), KDDCup99 и NSL-KDD (классика по обнаружению сетевых вторжений), CIC-IDS-2017 (современные вторжения), Numenta Anomaly Benchmark (NAB) для потоковых временных рядов.
Временные ряды: SMD (Server Machine Dataset), SMAP/MSL (телеметрия марсоходов NASA), WADI/SWaT (промышленные системы управления). У каждого есть известные проблемы с утечкой меток — опубликованные цифры стоит воспринимать как верхнюю границу.
Изображения: MVTec AD для промышленных дефектов, BTAD, VisA, MPDD. PatchCore показывает >99% AUROC на уровне изображения на MVTec AD; на реальной фабрике закладывайте разрыв в 5–15 пунктов.
Видео: UCSD Pedestrian, ShanghaiTech, UCF-Crime, Avenue. Предобучены для сценариев видеонаблюдения, похожих на те, что мы рассматриваем в нашем гайде по моделям для видеонаблюдения.
Метрики, которые переживают дисбаланс классов
Не полагайтесь на accuracy. Если аномалий 0,5%, то модель, предсказывающая «нормально» для всего подряд, получит 99,5% точности — и будет совершенно бесполезной.
Используйте PR-AUC вместо ROC-AUC для сильно несбалансированных классов — ROC-AUC остаётся завышенно оптимистичной, когда отрицательный класс доминирует. Recall при фиксированной точности (например, recall при precision 95%) — именно та метрика, которая важна большинству продуктовых команд: сколько настоящих аномалий мы поймаем, не утопив операторов в ложных срабатываниях. F1@k оценивает топ-k помеченных точек и зеркалит ежедневную очередь оператора на триаж. VUS-ROC и оценка по Numenta Anomaly Benchmark подходят для потоковых временных рядов, где точное начало события размыто.
Тонете в ложных срабатываниях в своём мониторинге?
Мы вытаскивали проекты по обнаружению аномалий в финтехе, здравоохранении и видеонаблюдении за счёт калибровки, подавления и активного обучения. Поможем и вам.
Build vs. buy — матрица решения
| Критерий | Купить SaaS | Разработать (open-source) |
|---|---|---|
| Время до первого сигнала | Дни | 8–14 недель с Agent Engineering |
| Кастомные функции и доменная логика | Ограничены шаблонами вендора | Всё, что можно выразить в коде |
| Размещение данных и комплаенс | Регионы вендора, SOC 2 вендора | Где угодно, где можно запустить контейнер |
| Регулярные расходы | За место/за объём, растёт вместе с бизнесом | CPU/GPU + MLOps + переобучение |
| Объяснимость | Чёрный ящик с дашбордом | SHAP, суррогатные модели, готово для аудита |
| Когда выигрывает | Стандартный observability, быстрый эффект, нет своей ML-команды | Уникальный домен, собственные данные, регуляторные требования или жёсткие требования по задержкам |
Берите гибрид, когда: начинаете с SaaS для дешёвых базовых алертов, а кастомные детекторы строите только под те 1–2 направления, где точности вендора существенно не хватает. Это самый удачный вариант для большинства B2B SaaS- и финтех-заказчиков.
Модель стоимости: реалистичные диапазоны без хайпа
Цифры ниже учитывают наш ускоренный подход с Agent Engineering. Рассматривайте их как ориентир для оценки, а не как коммерческое предложение: реальные суммы зависят от данных, интеграций и требований комплаенса.
| Скоуп | Типичная длительность | Ориентировочная стоимость разработки | Регулярные расходы |
|---|---|---|---|
| Настройка SaaS и дашбордов | 2–4 недели | 1,1–3 млн ₽ | Лицензия вендора, растёт с объёмом |
| Табличный MVP (Isolation Forest + ECOD) | 6–10 недель | 3,3–8,2 млн ₽ | Скромный CPU + поддержка алертов |
| Многомерные временные ряды + автоэнкодер | 10–16 недель | 6,7–16 млн ₽ | Инференс на GPU + MLOps |
| Регулируемые / критичные для безопасности (SaMD, антифрод) | 5–9 месяцев | 15–45 млн ₽ | Аудит, ревалидация, выделенная команда поддержки |
Фреймворк решения: выберите алгоритм за пять вопросов
1. Какой тип данных? Табличные → Isolation Forest, ECOD. Временные ряды → LSTM, Anomaly Transformer, Matrix Profile. Изображения → PatchCore/PaDiM. Графы → DOMINANT и GraphSAGE-подобные. Сетевые пакеты → автоэнкодер, гибрид контролируемого и неконтролируемого подходов.
2. Сколько есть размеченных данных? Нет → обучение без учителя. Только нормальные в достатке → обучение с частичным учителем (One-Class SVM, AE на нормальных данных). Размечены оба класса → обучение с учителем, XGBoost / LightGBM с cost-sensitive loss.
3. Какой бюджет по задержкам? Меньше секунды на событие → Isolation Forest, ECOD, лёгкие статистические модели. Секунды-минуты в пакетном режиме → более глубокие нейросетевые детекторы. Часы в пакетном режиме → допустимо полное переобучение ансамбля.
4. Кто реагирует на алерт? Автоматическое действие без человека → нужна объяснимость, калиброванный FPR, консервативные пороги, идеально — контролируемый классификатор в цепочке. Человеческий триаж → можно позволить более высокий recall и подкрутить UX подавления.
5. Как быстро меняется система? Стабильные распределения (лабораторное оборудование) → одно обучение и лёгкое переобучение. Быстрый дрейф (антифрод, веб-трафик) → еженедельное или ежедневное переобучение; рассмотрите онлайн-алгоритмы (Half-Space Trees, онлайн-варианты Isolation Forest).
Подводные камни, которые губят проекты по обнаружению аномалий
1. Оптимизация ROC-AUC на 99,5% нормального класса. ROC-AUC остаётся высокой даже для бессмысленных моделей при сильном дисбалансе. С первого дня переходите на PR-AUC, recall при фиксированной точности и F1@k.
2. Игнорирование дрейфа понятий. Модели, обученные весной 2025, к осени тихо деградируют. Настройте еженедельные проверки на дрейф (индекс стабильности популяции, тест Колмогорова-Смирнова по ключевым признакам) и переобучайтесь на скользящем окне.
3. Нет петли обратной связи для операторов. Если люди, которые разбирают алерты, не могут пометить ложное срабатывание в один клик, модель никогда не улучшится. Кнопку «не аномалия» делайте раньше модели.
4. Развёртывание одной чёрной модели. Устойчивость в продакшене даёт работа двух детекторов с разными индуктивными смещениями (например, Isolation Forest + автоэнкодер) и их слияние в пространстве калибровки.
5. Экономия на UX подавления. Объём аномалий идёт всплесками. Без ограничений по частоте, дедупликации и градации по серьёзности операторы заглушат систему за неделю.
KPI: что измерять
KPI качества. Precision @ k (целевое значение ≥ 0,7 для топ-50 ежедневных меток), recall на отложенной размеченной выборке (≥ 0,6 для без учителя, ≥ 0,85 для с учителем), число срабатываний алярма по дрейфу в неделю (целевое: низкое и стабильное).
Бизнес-KPI. Среднее время обнаружения (MTTD), среднее время устранения (MTTR), предотвращённые потери в рублях (заблокированный фрод, избежавшееся время простоя), нагрузка алертами на оператора за смену.
KPI надёжности. P95 задержки инференса (целевое <1 с для потоков, <500 мс для транзакций), частота переобучения относительно сигнала о дрейфе, время отката версии модели, доля алертов с приложенным SHAP/выводом объяснимости.
Мини-кейс: обнаружение аномалий на масштабе 2 500+ потоков видеонаблюдения
Ситуация. Наша платформа V.A.L.T обслуживает 770+ организаций в США — правоохранительные органы, больницы, университеты — и обеспечивает работу более 2 500 HD-камер и 50 000+ ежедневных пользователей. Операторы бесконечно пересматривали записи в поисках необычной активности; узким местом была усталость от алертов.
Подход. Гибридный стек: детектор на фоновом моделировании для дешёвого первичного прохода, 3D-CNN сцена-классификатор для разметки активности человека и самоконтролируемая модель восстановления, обученная на базовых записях с каждой камеры. Калиброванные градации серьёзности, дедупликация по пересекающимся полям обзора и заточенные под клиента правила подавления на каждой площадке.
Результат. Операторы разбирают лишь долю исходного объёма алертов; покрытие распознавания распространилось на все 2 500+ активных потоков без пропорционального роста штата; платформа поддерживает зашифрованные цепочки доказательств для дальнейшего юридического использования. Вертикаль другая — плейбук тот же: гибридные детекторы, калиброванные скоры, UX подавления, петля обратной связи.
Когда ML-обнаружение аномалий НЕ нужно
Откажитесь от ML, если (а) статическое правило уже даёт 95% ценности — нет ничего постыдного в IF amount > threshold; (б) у вас действительно нет исторических данных и нет реального способа собрать их в ближайшие 6–12 месяцев; (в) цена ложноположительного результата катастрофична и невосстановима (например, автономные медицинские вмешательства); (г) команда, которая владеет системой, не способна поддерживать пайплайн переобучения модели.
Честный ответ часто звучит так: «гибридные статистические пороги для очевидных случаев, ML для остального и живой человек, который ежедневно просматривает топ-10». Такое решение выпускается за недели, а не за кварталы.
Нужен второй взгляд на дорожную карту по обнаружению аномалий?
Проведём аудит данных, порекомендуем подходящий алгоритм и уровень инструментов, оценим прагматичную разработку с Agent Engineering.
FAQ
Какой алгоритм машинного обучения лучше всего подходит для обнаружения аномалий?
Единственного лучшего нет. Для табличных данных начинайте с Isolation Forest и ECOD в качестве базиса; для временных рядов используйте прогнозисты на LSTM или Anomaly Transformer; для изображений — PatchCore или PaDiM. Самые сильные продакшен-стеки сочетают два детектора с разными индуктивными смещениями и слой калибровки.
С учителем или без учителя — что выбрать?
По умолчанию — без учителя; аномалии обычно редки и не размечены. Используйте режим с частичным учителем, когда у вас есть чистая выборка нормальных данных. Переходите к обучению с учителем, только когда у вас есть сотни-тысячи размеченных аномалий одного типа — и в этом случае используйте XGBoost или LightGBM с cost-sensitive loss и отчитывайтесь PR-AUC, а не ROC-AUC.
Разрабатывать на PyOD или покупать Datadog/Splunk?
Если нужно обнаружение аномалий поверх уже имеющегося observability-стека, а ML-команды нет — покупайте. Если есть собственные данные, кастомная доменная логика или комплаенс-требования, под которые готового вендора нет, — разрабатывайте на PyOD или scikit-learn. Многие B2B-команды в итоге используют оба варианта: SaaS для инфраструктурных метрик и кастомный код для уникальной части продукта.
Насколько точно обнаружение аномалий работает в реальной жизни?
По свежим промышленным исследованиям, автоэнкодеры дают 87–89% точности, а Isolation Forest — 84–86% на шумных высокоразмерных данных. PatchCore и аналогичные SOTA-методы для изображений показывают >99% AUROC на MVTec AD; на реальных фабриках закладывайте снижение на 5–15 пунктов. В качестве критерия выхода в продакшен большинство команд ставит precision @ k ≥ 0,7 и recall ≥ 0,6.
Как удержать модель от дрейфа?
Запускайте еженедельные проверки на дрейф (индекс стабильности популяции, тест Колмогорова-Смирнова по ключевым признакам), переобучайтесь на скользящем окне и направляйте обратную связь от операторов в размеченную выборку. Онлайн-алгоритмы (Half-Space Trees, онлайн-Isolation Forest) помогают, когда распределения смещаются непрерывно.
Сколько стоит развернуть систему обнаружения аномалий?
Настройка SaaS обходится в 1,1–3 млн ₽ за 2–4 недели. Табличный MVP с Isolation Forest и калибровкой — 3,3–8,2 млн ₽ за 6–10 недель. Сборка многомерных временных рядов с автоэнкодером — 6,7–16 млн ₽ за 10–16 недель. Регулируемые или критичные для безопасности развёртывания — 15–45 млн ₽ за 5–9 месяцев. Диапазоны учитывают наш ускоренный подход с Agent Engineering.
Как справляться с ложными срабатываниями и усталостью от алертов?
Три вещи в правильном порядке: откалибруйте скоры в сопоставимые процентильные ранги, добавьте слой подавления (ограничения по частоте, дедупликация, гистерезис, градация серьёзности) и сделайте кнопку «не аномалия» в один клик, чтобы операторы обучали модель. Подкручивать пороги без этого — биться не в ту стену.
Можно ли запускать обнаружение аномалий на edge-устройствах?
Да. Isolation Forest, ECOD и лёгкие автоэнкодеры комфортно работают на edge-устройствах через ONNX, TFLite или Core ML. Подходит для IoT, обработки видео прямо на камере и для развёртываний с повышенными требованиями к приватности, где сырые данные не должны покидать устройство.
Что почитать дальше
Видеонаблюдение
Обнаружение аномалий в видеонаблюдении в реальном времени
Паттерны потоковых детекторов и как удержать нагрузку алертами на операторов в разумных пределах.
AI-видеонаблюдение
Система видеонаблюдения на базе AI для обнаружения аномалий
Архитектуры, модели и уроки из систем, которые мы выпустили в масштабе.
Модели
Модели обнаружения аномалий для видеонаблюдения
Сравнение глубоких моделей, которые показывают себя в боевых условиях.
Мониторинг
Машинное обучение для мониторинга в реальном времени
Как сквозно собрать ML-петлю мониторинга и не утонуть в алертах.
Услуги
Услуги Фора Софт по интеграции AI
Наш стек, кейсы и быстрый путь к оценке вашего AI-проекта вместе с нами.
Готовы выпустить систему обнаружения аномалий, которая реально сдвигает метрики?
Правильный ответ на вопрос «какой алгоритм машинного обучения нам выбрать для обнаружения аномалий?» зависит от типа ваших данных, объёма размеченных примеров, которые вы можете подготовить, и от того, как часто меняется мир вокруг. Начните с Isolation Forest и ECOD как бесплатного базиса; добавьте автоэнкодер или Anomaly Transformer там, где этого требует сигнал; вложите в калибровку, UX подавления и петлю обратной связи как минимум столько же, сколько в саму модель.
Фора Софт достаточно долго встраивает ML-детекторы в видеонаблюдение, здравоохранение и SaaS-продукты, чтобы знать, где скрыты обрывы. Agent Engineering позволяет нам выпускать проекты за месяцы, а не за кварталы. Если нужно второе мнение по алгоритму, архитектуре или бюджету — до нас один звонок.
Получите второе мнение по плану обнаружения аномалий
30 минут с нашим ML-лидером, понятный скоуп и диапазон стоимости, честный совет о выборе между разработкой и покупкой.
