Полное руководство по алгоритмам машинного обучения для поиска аномалий (пошаговый план 2026)

Почему Фора Софт написала этот плейбук

Обнаружение аномалий лежит в основе трёх направлений, которые мы развиваем каждый квартал: обработка данных в реальном времени, компьютерное зрение и прикладное машинное обучение. Наша команда по интеграции ИИ разрабатывает решения для мониторинга и анализа поведения на основе машинного обучения для продуктов в здравоохранении, финтехе, безопасности и SaaS — для клиентов из США, стран ЕС и Азиатско-Тихоокеанского региона.

Конкретный пример — V. A. L. T, наша платформа для HD-видеодоказательств. Она работает с более чем 2 500 камерами и 50 000+ ежедневными пользователями в 770+ организациях США, включая правоохранительные органы и медицинские образовательные учреждения. Этот опыт даёт нам обоснованное представление о том, что действительно работает, когда нужно выявить «нечто необычное» в миллионах часов потокового видео, не перегружая операторов потоком оповещений.

Это руководство — тот самый плейбук, которого нам не хватало в начале пути: какие алгоритмы машинного обучения для обнаружения аномалий действительно окупаются в продакшене, как между ними выбирать, как выглядит ландшафт инструментов в 2026 году и где на самом деле проходит граница между «разрабатывать самим» и «купить готовое». Руководство написано для тех, кто будет запускать эту функцию и дежурить по инцидентам, а не для участия в соревнованиях на Kaggle.

Что такое обнаружение аномалий на самом деле

Аномалия — это любая точка данных, последовательность или паттерн, который сильно отличается от ожидаемого поведения системы. В машинном обучении задача обнаружения аномалий заключается в том, чтобы по наблюдаемым данным (обычно без разметки или со слабой разметкой) научиться распознавать «нормальное» поведение и выявлять отклонения.

Принято выделять три типа аномалий. Точечные аномалии — это отдельные значения, сильно отличающиеся от нормального диапазона: например, транзакция на 3,7 млн ₽ по карте, которой обычно платят за кофе. Контекстные аномалии сами по себе выглядят нормально, но выглядят подозрительно в определённом контексте: например, +25 °C в Стокгольме в феврале. Коллективные аномалии — это последовательности, где отдельные значения в норме, но общий паттерн — нет: например, сервер отвечает на 100 запросов в минуту, хотя обычно в это время их бывает около 10 000.

Задача сложна по трём причинам. Аномалии редки (обычно <1% данных), у них нет разметки или она непоследовательна, а само понятие «нормы» со временем меняется. Выберите алгоритм и операционную модель, способные справиться с этими тремя проблемами, — и большая часть инженерных решений выстроится сама собой.

Где ML-обнаружение аномалий реально окупается в 2026 году

1. Антифрод и финансовые преступления. Самый крупный заказчик систем обнаружения аномалий — финансовый сектор. Банки и финансовые организации доминируют на рынке, потому что каждый пропущенный случай мошенничества приводит к прямым убыткам, а ложное срабатывание — к недовольству клиентов. Применяются: антифрод по картам в реальном времени, мониторинг транзакций для выявления отмывания денег, обнаружение захвата аккаунтов. В продакшене используются: градиентные бустинги решающих деревьев с оценкой аномальности, автоэнкодеры на графах транзакций, ансамбли Isolation Forest с контролируемой «надстройкой» на XGBoost.

2. ИТ-операции, observability и SRE. Datadog Watchdog, Dynatrace Davis, Grafana ML, Splunk ITSI, Elastic ML — именно здесь большинство инженерных команд впервые сталкиваются с обнаружением аномалий. Выбросы во временных рядах метрик, аномалии в логах, аномалии в распределённых трассах. Что работает в продакшене: Prophet/STL для анализа сезонности, Anomaly Transformer для многомерных метрик, классическое медианное абсолютное отклонение для простых мониторов задержек.

3. Предиктивное обслуживание и промышленный IoT. Вибрация, температура, потребляемый ток, акустические сигнатуры турбин, насосов, станков с ЧПУ. По свежим промышленным исследованиям, автоэнкодеры показывают точность 87–89%, а Isolation Forest — 84–86% на шумных высокоразмерных потоках данных с датчиков; гибридные стеки последовательно превосходят каждую модель по отдельности.

4. Кибербезопасность и обнаружение вторжений. Аномалии в сетевых потоках, латеральное перемещение, обнаружение beacon-трафика, EDR. Датасеты вроде CIC-IDS-2017 и NSL- KDD по-прежнему служат основой для академических исследований; в продакшене используются гибридные решения — контролируемые классификаторы (для известных тактик, техник и процедур) и неконтролируемые модели (для выявления паттернов zero-day).

5. Видеонаблюдение и анализ поведения. Направление, в котором Фора Софт реализовала больше всего проектов. Система распознаёт необычные движения, длительное пребывание в зоне, падения, наличие оружия и нарушения периметра на видео с камер. Используются глубокие модели (3D CNN, видеотрансформеры) и пайплайны фонового моделирования. Результаты проходят через специальный слой подавления ложных срабатываний — чтобы операторы не получали слишком много оповещений. Подробности — в наших материалах об обнаружении аномалий в видеонаблюдении в реальном времени и о системах видеонаблюдения на базе ИИ.

6. Мониторинг в здравоохранении. Обнаружение аритмий по ЭКГ, раннее выявление сепсиса, контроль ухудшения жизненных показателей в реанимации. Жёстко регулируемая сфера: путь SaMD в FDA в США, MDR в ЕС. Модели обычно строятся на основе консервативных ансамблей с добавлением слоя объяснимости.

7. Визуальный контроль качества на производстве. PatchCore, PaDiM и аналогичные самоконтролируемые модели изображений на данных типа MVTec AD. На чистых публичных бенчмарках достигают >99% AUROC; на реальных фабриках стоит закладывать снижение на 5–15 пунктов.

Ландшафт алгоритмов, разбитый по тому, что вам действительно нужно

В литературе описано десятки именованных алгоритмов обнаружения аномалий. В продакшене мы используем около шести семейств. На рис. 1 они распределены по типу данных и режиму обучения.

Рис. 1. Семейства ML-алгоритмов обнаружения аномалий — что работает лучше на каком типе данных.

Isolation Forest (iForest)

Ансамбль случайных деревьев, который изолирует точки с помощью рекурсивных разбиений. Аномалии находят быстрее (путь по дереву короче), чем нормальные точки. Временная сложность линейная, работает с миллионами строк, почти не требует настройки параметров. Лучшее применение в продакшене: табличные данные, антифрод, структурированные логи, IoT-телеметрия.

ECOD и COPOD

Вероятностные детекторы, оценивающие эмпирическую функцию распределения по каждому признаку (ECOD) или копульную структуру (COPOD). Без параметров, детерминированные, объяснимые, быстрые. Среди лучших в бенчмарке ADBench (30 алгоритмов на 57 датасетах). Используйте как отправную точку перед переходом к глубокому обучению.

Local Outlier Factor (LOF) и DBSCAN/ HDBSCAN

Подход на основе плотности: выбросом считается точка, находящаяся в разреженной локальной окрестности. LOF — каноническая версия с оценкой; DBSCAN/ HDBSCAN кластеризуют по плотности и помечают всё остальное как шум. Хорошо работают на данных с чёткой локальной вариацией плотности, но требуют много ресурсов на высокоразмерных и больших наборах — в свежих бенчмарках на промышленных объёмах фиксировались сбои из-за нехватки памяти.

One-Class SVM и Deep SVDD

Учат границу, в которую укладывается нормальный класс. Полезны, когда у вас много чистых «нормальных» данных и почти нет аномалий. Deep SVDD — нейросетевое расширение, обучающее сеть отображать нормальные данные в гиперсферическую область. Применяются в регулируемых областях (медицина, контроль качества на производстве), где важнее ограничить количество ложных срабатываний, чем обеспечить высокую объяснимость.

Автоэнкодеры и вариационные автоэнкодеры

Нейросеть обучается восстанавливать нормальные данные; большая ошибка восстановления указывает на аномалию. Варианты: обычный AE, VAE, состязательный AE, MemAE. Хорошо работают с высокоразмерными данными (изображения, показания датчиков, сетевые пакеты), но требуют больше данных, чем методы на основе деревьев.

Модели для временных рядов: LSTM, TCN, Anomaly Transformer, Matrix Profile

Для последовательных данных с временной зависимостью. Прогнозисты на LSTM/TCN оценивают остатки прогноза. Matrix Profile — детерминированный детектор мотивов и аномалий, который почти не требует настройки. Anomaly Transformer (ICLR 2022) вводит association- и discrepancy-механизмы и сегодня удерживает SOTA для многомерных временных рядов — этот подход уже используют разные вендоры в области observability.

Модели для изображений: PatchCore, PaDiM, EfficientAD

Самоконтролируемые методы на основе банка признаков поверх предобученных ImageNet/CLIP-бэкбоунов. Доминируют на MVTec AD; реальное применение — промышленный визуальный контроль, триаж медицинских изображений, видеонаблюдение.

Алгоритмы — сводное сравнение

С учителем, с частичным учителем, без учителя — как выбрать

Без учителя — режим по умолчанию и самый реалистичный. У вас есть неразмеченные данные, в основном нормальные, и задача — найти то, что в них не вписывается. Isolation Forest, ECOD, LOF, DBSCAN, автоэнкодеры — все эти методы как раз для таких случаев.

С частичным учителем предполагает, что у вас есть чистый «нормальный» набор для обучения, но размеченных аномалий нет. Сюда подходят One-Class SVM, Deep SVDD, автоэнкодеры, обученные только на нормальных данных. Самый распространённый сценарий в регулируемых отраслях — например, медицина или производство, — где норма определяется экспертами, а аномальные события слишком редки, чтобы их можно было полноценно разметить.

С учителем — редкая роскошь, когда размечены оба класса. Используйте, когда классы фрода или сбоев действительно известны и размечены (опровергнутые транзакции по картам, подтверждённые поломки оборудования). Доминируют бустинги (XGBoost, LightGBM, CatBoost) и контролируемые «надстройки» в многозадачных нейросетях. Внимательно следите за дисбалансом классов: ROC-ROC вводит в заблуждение — сообщайте PR-ROC, F1@k и recall при фиксированной точности.

Эталонная продакшен-архитектура

На рис. 2 показана архитектура, которую мы используем по умолчанию для ML-обнаружения аномалий в продуктах. Она намеренно построена вокруг ансамблей моделей и обратной связи — именно этих двух компонентов не хватает большинству систем обнаружения аномалий, чтобы успешно работать в продакшене.

Рис. 2. Эталонная архитектура продакшена для обнаружения аномалий, которую мы используем в наших проектах.

Три компонента здесь неочевидны. Слой калибровки приводит сырые оценки аномалий от разных моделей к единому процентильному рангу. Слой подавления добавляет временной гистерезис, устраняет дубликаты и использует настраиваемые пороги — именно он помогает системе работать без перегрузки алертами. Канал обратной связи превращает решения оператора в размеченные примеры, запускает еженедельное переобучение и позволяет отслеживать реальные значения precision и recall со временем.

Ландшафт инструментов: open-source, облако и SaaS

Отдельно о PyOD: появился в 2017 году, более 38 млн скачиваний, самая зрелая и популярная Python-библиотека для обнаружения аномалий в табличных данных, временных рядах, изображениях, графах и текстах. PyOD V3 поставляется с оркестратором ADEngine и агентным воркфлоу od-expert. Если вы разрабатываете, а не покупаете — именно отсюда чаще всего стартуют наши прототипы.

Бенчмарк-датасеты, которые имеют значение

Табличные и ИТ-операции: ADBench (57 датасетов, 30 алгоритмов), KDDCup99 и NSL-KDD (классические наборы данных для обнаружения сетевых вторжений), CIC-IDS-2017 (современные сценарии атак), Numenta Anomaly Benchmark (NAB) для анализа потоковых временных рядов.

Временные ряды: SMD (Server Machine Dataset), SMAP/MSL (телеметрия марсоходов NASA), WADI/SWaT (промышленные системы управления). У всех этих наборов данных есть известные проблемы с утечкой меток — опубликованные цифры стоит воспринимать как верхнюю оценку.

Изображения: MVTec AD для промышленных дефектов, BTAD, VisA, MPDD. PatchCore показывает более 99% AUROC на уровне изображения на MVTec AD; на реальной фабрике ожидайте снижение на 5–15 пунктов.

Видео: UCSD Pedestrian, ShanghaiTech, UCF-Crime, Avenue. Модели предобучены на сценариях видеонаблюдения, похожих на те, что описаны в нашем гайде по моделям для видеонаблюдения.

Метрики, которые справляются с дисбалансом классов

Не полагайтесь на точность. Если аномалий 0,5%, то модель, которая всегда предсказывает «нормально», получит 99,5% точности — и при этом будет абсолютно бесполезной.

Используйте PR-AUC вместо ROC-AUC для сильно несбалансированных классов — ROC-AUC остаётся завышенно оптимистичной, когда отрицательный класс доминирует. Recall при фиксированной точности (например, recall при precision 95%) — именно та метрика, которая важна большинству продуктовых команд: сколько настоящих аномалий мы поймаем, не утопив операторов в ложных срабатываниях. F1@k оценивает топ-k помеченных точек и зеркалит ежедневную очередь оператора на триаж. VUS-ROC и оценка по Numenta Anomaly Benchmark подходят для потоковых временных рядов, где точное начало события размыто.

Build vs. buy — матрица решения

Модель стоимости: реалистичные диапазоны без хайпа

Цифры ниже учитывают наш ускоренный подход с Agent Engineering. Рассматривайте их как ориентир для оценки, а не как коммерческое предложение: реальные суммы зависят от данных, интеграций и требований комплаенса.

Фреймворк решения: выберите алгоритм за пять вопросов

1. Какой тип данных? Табличные → Isolation Forest, ECOD. Временные ряды → LSTM, Anomaly Transformer, Matrix Profile. Изображения → PatchCore/PaDiM. Графы → DOMINANT и GraphSAGE-подобные. Сетевые пакеты → автоэнкодер, гибрид контролируемого и неконтролируемого подходов.

2. Сколько есть размеченных данных? Нет → обучение без учителя. Только нормальные в достатке → обучение с частичным учителем (One-Class SVM, AE на нормальных данных). Размечены оба класса → обучение с учителем, XGBoost / LightGBM с cost-ensitive loss.

3. Какой бюджет по задержкам? Меньше секунды на событие → Isolation Forest, ECOD, лёгкие статистические модели. Секунды-минуты в пакетном режиме → более глубокие нейросетевые детекторы. Часы в пакетном режиме → допустимо полное переобучение ансамбля.

4. Кто реагирует на алерт? Автоматическое действие без участия человека → нужна объяснимость, калиброванный FPR, консервативные пороги, идеально — контролируемый классификатор в цепочке. Человеческий триаж → можно позволить более высокий recall и улучшить UX подавления.

5. Как быстро меняется система? Стабильные распределения (лабораторное оборудование) → одно обучение и лёгкое переобучение. Быстрый дрейф (антифрод, веб-трафик) → переобучение раз в неделю или каждый день; рассмотрите онлайн-алгоритмы (Half-Space Trees, онлайн-версии Isolation Forest).

Подводные камни, которые губят проекты по обнаружению аномалий

1. Оптимизация ROC-АUC на 99,5% нормального класса. ROC-АUC остаётся высокой даже у бессмысленных моделей при сильном дисбалансе. С первого дня переходите на PR-АUC, полноту при фиксированной точности и F1@k.

2. Игнорирование дрейфа понятий. Модели, обученные весной 2025 года, к осени начинают постепенно терять точность. Настройте еженедельные проверки на дрейф (индекс стабильности популяции, тест Колмогорова–Смирнова по ключевым признакам) и переобучайте модель на скользящем окне.

3. Нет петли обратной связи для операторов. Если люди, которые разбирают алерты, не могут пометить ложное срабатывание в один клик, модель никогда не улучшится. Кнопку «не аномалия» делайте раньше, чем саму модель.

4. Развёртывание одной чёрной модели. Устойчивость в продакшене обеспечивается за счёт работы двух детекторов с разными индуктивными смещениями (например, Isolation Forest и автоэнкодер), объединённых в пространстве калибровки.

5. Экономия на UX подавления. Объём аномалий приходит всплесками. Без ограничений по частоте, дедупликации и градации по серьёзности операторы просто перегрузят систему за неделю.

KPI: что измерять

KPI качества. Precision @ k (целевое значение ≥ 0,7 для топ-50 ежедневных меток), полнота на отложенной размеченной выборке (≥ 0,6 для обучения без учителя, ≥ 0,85 для обучения с учителем), количество срабатываний алярма по дрейфу в неделю (целевое: низкое и стабильное).

Бизнес-метрики. Среднее время обнаружения (MTTD), среднее время устранения (MTTR), предотвращённые потери в рублях (заблокированный фрод, избежанный простой), нагрузка алертами на оператора за смену.

KPI надёжности. P95 задержки инференса (цель — менее 1 с для потоков, менее 500 мс для транзакций), частота переобучения после сигнала о дрейфе, время отката версии модели, доля алертов с приложенным SHAP или объяснением предсказания.

Мини-кейс: обнаружение аномалий на 2500+ потоках видеонаблюдения

Ситуация. Наша платформа V. A. L. T обслуживает более 770 организаций в США — правоохранительные органы, больницы, университеты — и поддерживает работу более чем 2 500 HD-камер и 50 000 ежедневных пользователей. Операторы постоянно пересматривали записи в поисках подозрительной активности, а главным препятствием становилась усталость от постоянных оповещений.

Подход. Гибридный стек: детектор на основе моделирования фона для недорогого первичного анализа, 3D-нейросеть для классификации сцены и определения активности человека, а также модель восстановления с самоконтролем, обученная на базовых записях с каждой камеры. Используются калиброванные уровни серьёзности инцидентов, удаление дубликатов по перекрывающимся зонам обзора и индивидуальные правила подавления, настроенные под каждую площадку.

Результат. Операторы обрабатывают лишь часть исходных алертов; система распознавания охватила все 2 500+ активных потоков без пропорционального увеличения штата; платформа поддерживает зашифрованные цепочки доказательств для последующего юридического использования. Вертикаль другая — подход остаётся прежним: гибридные детекторы, настроенные оценки, удобный интерфейс для подавления ложных срабатываний и замкнутая петля обратной связи.

Когда ML-обнаружение аномалий НЕ нужно

Откажитесь от ML, если (а) простое правило уже даёт 95% пользы — использовать IF amount > threshold не стыдно; (б) у вас нет исторических данных и нет реального способа их собрать в ближайшие 6–12 месяцев; (в) ошибка модели может привести к катастрофическим и необратимым последствиям (например, при автономных медицинских решениях); (г) команда, поддерживающая систему, не справится с переобучением модели.

Честный ответ часто звучит так: «гибридные статистические пороги для очевидных случаев, ML для остального и живой человек, который ежедневно просматривает топ-10». Такое решение выпускается за недели, а не за кварталы.

FAQ

Что почитать дальше

Готовы выпустить систему обнаружения аномалий, которая реально улучшает метрики?

Правильный ответ на вопрос «какой алгоритм машинного обучения выбрать для обнаружения аномалий?» зависит от типа ваших данных, количества размеченных примеров и того, насколько часто меняется окружающая среда. Начните с Isolation Forest и ECOD — это бесплатный и надёжный базис. Используйте автоэнкодер или Anomaly Transformer там, где это действительно нужно. Вложите в калибровку, удобство подавления ложных срабатываний и обратную связь от пользователей не меньше усилий, чем в саму модель.

Фора Софт давно внедряет ML-детекторы в видеонаблюдение, здравоохранение и SaaS-продукты, поэтому хорошо знает, где могут возникнуть проблемы. Подход Agent Engineering позволяет нам запускать проекты за месяцы, а не за кварталы. Если нужна консультация по алгоритму, архитектуре или бюджету — просто позвоните нам.