Надёжное и отказоустойчивое ПО в 2026: SLO, паттерны, DORA

Отказоустойчивость программного обеспечения — это способность продукта продолжать работу, когда что-то ломается: падает зависимость, выходит неудачный релиз, отключается зона облака. Надёжное ПО не то, что никогда не падает, а то, что укладывается в заранее посчитанный бюджет ошибок, деградирует частично и восстанавливается за минуты. Ниже разбираем, как это устроить: SLO, шесть паттернов, поэтапная выкатка, метрики DORA и уроки громких сбоев 2024–2026 годов.
Главное
• Надёжность — это бюджет, а не просто «да» или «нет». Заранее определите SLO (99,9% / 99,95% / 99,99%), рассчитайте допустимое количество ошибок и используйте этот лимит как порог для каждого релиза. Без конкретной цифры вы не сможете отказать рискованному обновлению.
• Большинство сбоев вызваны обновлениями или зависимостями. CrowdStrike (июль 2024, 8,5 млн устройств Windows), Google Cloud (июнь 2025, новый код без фича-флага), AWS us-east-1 (октябрь 2025, гонка в автоматике DNS DynamoDB), Cloudflare (ноябрь 2025, конфигурационный файл вдвое больше лимита). В каждом случае изменение ушло сразу на всех или отказ одной зависимости потянул за собой остальные.
• Шесть паттернов предотвращают большую часть сбоев: circuit breaker, bulkhead, ретраи с экспоненциальной задержкой и джиттером, ключи идемпотентности, фича-флаги с поэтапной выкаткой и наблюдаемость на базе OpenTelemetry.
• Время простоя стоит настолько дорого, что его нужно закладывать в бюджет на устойчивость. По опросу ITIC 2024, у 97% крупных компаний час простоя стоит больше $100 тыс., а 41% оценивают его в $1–5 млн и выше. Спринт двух инженеров по надёжности окупается одним предотвращённым часовым инцидентом.
• У мобильных и real-time продуктов свои требования к надёжности. Google Play может понизить приложение в выдаче, если за 28 дней доля пользователей с падениями превысит 1,09%, а с ANR — 0,47%. Для звонков, стриминга и телемедицины это прямой удар по удержанию.
Обновлено в ноябре 2026: сбои Google Cloud, AWS и Cloudflare 2025–2026 годов, исправленная таблица DORA 2024 и изменения DORA 2025, пороги Android vitals, стоимость простоя по ITIC 2024, оценки сроков с ИИ-инструментами, схемы.
Почему этот разбор пишет Фора Софт
Мы делаем видеосвязь, стриминг, онлайн-обучение, телемедицину и ИИ-продукты с 2005 года: 250+ сданных проектов, команда из 50 инженеров. Для каждого такого продукта главный критерий один: надёжность. Зависший звонок стоит клинике приёма, оборванный эфир live-шопинга — часа продаж, падение LMS — учебного дня. Мы разобрали много постмортемов, и паттерны отказов в разных категориях продуктов оказались одинаковыми, как и исправления.
В этот разбор вошло то, что мы проверили на проектах. Виртуальный класс BrainCert на WebRTC — $3 млн выручки в 2024 году, 500+ млн минут занятий в 10 дата-центрах с гарантированной доступностью 99,995%. Sprii — платформа live-шопинга: 72+ тыс. прямых эфиров и продажи на €365+ млн. ProVideoMeeting — ВКС на WebRTC и FreeSWITCH с дозвоном с обычных телефонов. Когда мы проводим независимое ревью архитектуры, отказоустойчивость — первое, что проверяем: где единая точка отказа, что будет при падении зависимости, как быстро команда откатит релиз.
Цифры ниже — из первоисточников: книга Google SRE, AWS Well-Architected, опрос ITIC 2024 о стоимости простоя, отчёты DORA 2024 и 2025, постмортемы CrowdStrike, Google Cloud, AWS и Cloudflare, документация Android vitals. Данные клиентских проектов под NDA даём диапазонами.
Беспокоит надёжность перед следующим релизом?
Обсудим SLO, бюджеты ошибок, шлюзы деплоя и зрелость chaos-практик в коротком звонке. Сфокусированно и по делу.
Что такое надёжное и отказоустойчивое ПО
Надёжность ПО — это вероятность, что система выполняет свою функцию в заданных условиях заданное время. Отказоустойчивость — её часть: способность продолжать работу, когда отказал компонент. В стандарте качества ISO/IEC 25010:2023 надёжность включает четыре подхарактеристики: безотказность, доступность, отказоустойчивость и восстанавливаемость. Базовые термины на русском — в ГОСТ 27.002-2015 «Надёжность в технике». На практике разговор ведут в терминах SRE: что измеряем, какую цель ставим и сколько ошибок себе разрешаем.
Отказоустойчивого ПО без сбоев не существует. Есть ПО, которое падает в рамках допустимого, восстанавливается быстрее, чем пользователь успеет это заметить, и постепенно ухудшает работу вместо того, чтобы сломаться полностью. Именно это сегодня и называют Site Reliability Engineering (SRE). Термины закрепила книга Google «Site Reliability Engineering» (2016), и с тех пор ими пользуется вся индустрия.
Три понятия задают любой разговор о надёжности. Service Level Indicator (SLI) — это метрика, которую вы измеряете: процент доступности, задержка на 99-м перцентиле, доля ошибок. Service Level Objective (SLO) — целевое значение этой метрики за определённый период: «99,95% запросов отвечают быстрее 250 мс за 30 дней». Service Level Agreement (SLA) — то, что вы обязаны предоставить клиенту по договору, если не выполнили SLO, обычно — компенсация. Бюджет ошибок — это разница: SLO в 99,95% даёт 21,6 минуты допустимого простоя за 30 дней.

Рисунок 1. SLI — что измеряем, SLO — цель, SLA — обещание клиенту, бюджет ошибок — разница между 100% и SLO.
Пока бюджет ошибок не исчерпан, вы быстро выпускаете новые функции. Когда он заканчивается — останавливаете релизы и укрепляете систему. Это одно правило заменяет расплывчатую речь о «надёжности» на конкретный компромисс, по которому инженерные команды могут договориться без споров.
Сколько простоя допускает каждая «девятка»
Выбор SLO — это выбор допустимого простоя. Пересчёт на скользящие 30 дней и на год:
| Доступность (SLO) | Простой за 30 дней | Простой за год | Кому подходит |
|---|---|---|---|
| 99% | 7 ч 12 мин | ≈ 3,65 дня | внутренние инструменты, прототипы |
| 99,5% | 3 ч 36 мин | ≈ 1,8 дня | ранний B2C без платежей |
| 99,9% | 43,2 мин | ≈ 8,8 ч | типичный старт SaaS |
| 99,95% | 21,6 мин | ≈ 4,4 ч | SaaS с корпоративными клиентами |
| 99,99% | 4,3 мин | ≈ 53 мин | платежи, медицина, контрактные требования |
Правило выбора. Не обещайте клиенту в SLA столько же, сколько держите во внутреннем SLO. Нужен запас, иначе каждый инцидент обернётся компенсациями.
Сколько стоит простой: данные 2024–2026
Разговор о надёжности всегда сводится к деньгам. Публичные данные о стоимости простоя считают в долларах, так мы их и приводим: пересчёт по курсу создаёт ложную точность.
| Показатель | Значение | Источник |
|---|---|---|
| Час простоя у крупных компаний (1000+ сотрудников) | больше $100 тыс. у 97% опрошенных | ITIC, Hourly Cost of Downtime, 2024 |
| Доля компаний с часом простоя от $1 млн | 41% оценивают час в $1–5 млн и выше | ITIC, 2024 |
| Банки, ритейл, здравоохранение, производство | в среднем выше $5 млн за час | ITIC, 2024 |
| Сбой CrowdStrike (19 июля 2024) | ≈ $5,4 млрд прямых потерь компаний из Fortune 500 | оценка страховщика Parametrix, 2024 |
| Сбой AWS us-east-1 (20 октября 2025) | у части клиентов до 15 часов проблем | постмортем AWS, InfoQ, ноябрь 2025 |
Если работа над надёжностью предотвращает хотя бы один час простоя у SaaS среднего размера, она обычно окупается за неделю. Финансовому директору это стоит показывать в деньгах, а не в терминах SRE.
Восемь категорий отказов, на которые приходится большинство инцидентов
Когда мы проводим аудит надёжности кодовой базы клиента, одни и те же восемь категорий повторяются снова и снова. Проверка по этому списку в начале аудита экономит неделю работы.
1. Утечки памяти. Незакрытые соединения с базой данных, забытые обработчики событий, кэши, которые не освобождают память. Симптом: задержки постепенно растут, но исчезают после перезапуска сервиса. Решение: анализ использования памяти и проверка, как объекты создаются и удаляются.
2. Каскадные сбои и шторм ретраев. Один внешний API замедляется до 8 секунд; все начинают делать повторные попытки; пул соединений выше по стеку исчерпывается; следующий хоп падает. Решение: circuit breaker, bulkhead, бюджеты на ретраи.
3. Гонки. Два запроса одновременно обновляют одну и ту же строку — побеждает не тот, который должен, и данные клиента без предупреждения портятся. Решение: оптимистичные блокировки, чёткие границы транзакций, ключи идемпотентности.
4. Необработанные исключения. Null pointer в редко используемой ветке останавливает весь воркер. Решение: структурированная обработка ошибок, panic budgets, мониторинг sentinel-ошибок.
5. Сбои зависимостей и цепочки поставок. В три часа ночи сторонний SDK выпускает проблемную версию, и ваш CI автоматически её подтягивает. Сценарий CrowdStrike. Решение: фиксированные версии, поэтапный релиз, каналы связи с вендорами для инцидентов.
6. Сбои из-за деплоя. DORA больше десяти лет отслеживает долю неудачных изменений как ключевую метрику стабильности. Решение: поэтапный запуск, автоматические механизмы отката, контрактные тесты.
7. Сбои инфраструктуры. Только в AWS us-east-1: S3 в феврале 2017-го, крупный сбой в декабре 2021-го, DNS DynamoDB в октябре 2025-го и перегрев дата-холла в мае 2026-го. У российских облаков тоже несколько зон доступности (у Yandex Cloud три зоны в регионе ru-central1), и ими нужно пользоваться. Решение: для критически важных сервисов использовать как минимум multi-AZ и multi-region, а также подготовить runbook-сценарии на случай сбоев у облачного провайдера.
8. Дрейф конфигурации. Флаг включён на одном сервере, а на другом — забыт; на staging всё работает, а в production — ошибка. Решение: GitOps, инфраструктура как код, проверка конфигураций в CI.
Шесть паттернов, которые предотвращают большинство сбоев
Нет единого «фреймворка надёжности», который можно поставить и забыть. Устойчивость строится из проверенных паттернов. Шесть из них играют ключевую роль.

Рисунок 2. Каждый паттерн гасит свой тип отказа: ретраи — кратковременные ошибки, circuit breaker — медленную зависимость, bulkhead — каскад.
Circuit breaker
Circuit breaker отслеживает долю ошибок при обращении к внешнему сервису. Когда доля переваливает за порог, breaker размыкается и ваш код быстро отдаёт ошибку в течение периода остывания, вместо того чтобы копить запросы. Боевые библиотеки: resilience4j для JVM, Polly для .NET, gobreaker для Go.
Bulkhead
Bulkhead изолирует домены отказа. Один пул потоков на каждую зависимость, один пул соединений на каждую базу, один namespace в Kubernetes на каждый радиус поражения. Когда падает платёжный микросервис, остальное приложение продолжает работать. Сбой Datadog в марте 2023 года стал тотальным именно потому, что между control plane и data plane не было такой изоляции.
Ретраи с экспоненциальной задержкой и джиттером
Ретраи без задержки превращают одну ошибку в цепную реакцию. Стандартный подход: 100 мс, потом 200, потом 400, потом 800 — с добавлением случайного джиттера (±25%), чтобы распределить попытки во времени. Ограничьте количество попыток пятью и установите общий лимит в 30 секунд. В Reliability Pillar от AWS есть каноническая эталонная реализация.
Ключи идемпотентности
Изменяющие данные эндпоинты принимают от клиента заголовок Idempotency-Key. Сервер сохраняет результат на 24 часа; при повторных запросах возвращается тот же ответ без побочных эффектов. Этот паттерн популяризировал Stripe; сегодня его поддерживают большинство платёжных и резервирующих API.
Фича-флаги и поэтапный запуск
Любое рискованное изменение выпускается под флагом и постепенно раскатывается по схеме 1% → 10% → 50% → 100% с проверкой метрик на каждом этапе. Популярные инструменты: LaunchDarkly, GrowthBook и Unleash. При поэтапном развёртывании инцидент CrowdStrike затронул бы малую долю хостов, а не 8,5 млн устройств сразу. Сбой Google Cloud 12 июня 2025 года начался с нового кода проверки квот, который не был закрыт фича-флагом: пустые поля в политике вызвали null pointer, и API легли по всему миру.
Наблюдаемость на базе OpenTelemetry
Логи, метрики и трейсы передаются в формате OpenTelemetry и далее направляются в нужный вам бэкенд — Datadog, New Relic, Honeycomb, Grafana Cloud или Sentry. Зависимость от одного вендора больше не проблема. Основная цель — оповещать о скорости расхода бюджета по SLO, а не реагировать на жёсткие пороговые значения. Сам по себе такой подход даёт большинству команд самое заметное улучшение в борьбе с избыточными оповещениями.
Когда подключать chaos engineering: когда SLO «зелёный» два квартала подряд, а команда уверена в своей наблюдаемости. По отчёту Gremlin State of Chaos Engineering 2021, у 23% команд, которые часто проводят chaos-эксперименты (Chaos Monkey, Gremlin, Litmus), MTTR меньше часа, а команды с успешной практикой держат доступность 99,9% и выше.
Громкие сбои 2021–2026 и урок из каждого
Публичные постмортемы — почти бесплатное обучение. Семь случаев, которые полезно уметь пересказать любому основателю и CTO.
| Инцидент | Дата | Корневая причина | Урок в одной строке |
|---|---|---|---|
| AWS us-east-1 (Coinbase) | май 2026 | Отказ охлаждения в дата-холле одной зоны; кластер Raft биржи потерял кворум | Кворум и Kafka раскладываем по зонам, переключение автоматизируем |
| Cloudflare | ноябрь 2025 | Изменение прав в ClickHouse удвоило файл признаков Bot Management; прокси упал на лимите | Свои конфигурационные файлы валидируем как пользовательский ввод |
| AWS us-east-1 | октябрь 2025 | Гонка в автоматике DNS DynamoDB оставила пустую запись; каскад на EC2, Lambda, NLB | Автоматика тоже нуждается в защите от неверного плана |
| Google Cloud | июнь 2025 | Новый код проверки квот без фича-флага упал на пустых полях политики | Любой новый путь в коде — под флагом |
| CrowdStrike Falcon | июль 2024 | Конфигурация ушла сразу на все хосты, легли 8,5 млн устройств Windows | Поэтапная выкатка обязательна и для security-агентов |
| Datadog | март 2023 | Обновление ОС на узлах Kubernetes пошло каскадом, потеряна большая часть узлов | Изолируйте control plane и data plane |
| Facebook BGP | октябрь 2021 | Отзыв BGP-маршрутов сделал DNS недоступным, внутренние инструменты отрезаны | Проверяйте сетевые изменения на симуляторе и держите внешний доступ |

Рисунок 3. Половину сбоев из таблицы остановила бы поэтапная выкатка с проверкой SLI между этапами.
Общий знаменатель: изменение, которое ушло на всех сразу, или зависимость, отказ которой никто не изолировал. Оба риска закрывают паттерны из предыдущего раздела, без подвигов дежурных.
Проверьте себя. Спросите команду, что будет, если завтра откажет зона облака, где живёт база данных. Если ответа нет или он звучит как «перенесём руками», это первый пункт плана.
Надёжность на мобильных: метрики, которые влияют на удержание
Для mobile-first продуктов — приложений для звонков, e-learning, стриминга, телемедицины — серверный разговор про SLO — это только половина истории. Вторая половина происходит на устройстве и измеряется в Firebase Crashlytics или Sentry Mobile.
Crash-free user rate. Главная метрика. Google Play считает обратную величину — долю пользователей, у которых приложение упало, — и с 2022 года держит порог 1,09% в среднем по устройствам и 8% для отдельной модели телефона. Премиальные продукты держат 99,9% пользователей без падений. Просадка на полпункта обычно за пару недель превращается в волну отзывов с одной звездой.
ANR rate (только Android). Порог Android vitals — 0,47% пользователей с зависанием «Приложение не отвечает» в среднем и 8% для модели телефона, данные за 28 дней. Выше порога Google Play может понизить приложение в выдаче и показать предупреждение на странице в магазине. Причина почти всегда в работе на главном потоке: ввод-вывод в Compose, декодирование изображений на UI-потоке, десериализация в адаптерах.
Foreground service для звонков и стриминга. С Android 14 у каждого foreground service обязателен тип: phoneCall, mediaPlayback и другие. Если после startForegroundService() не вызвать startForeground() примерно за пять секунд, система завершит процесс с ForegroundServiceDidNotStartInTimeException: звонок обрывается, а пользователь винит приложение. Эти сценарии мы разобрали в статье про foreground service и deep links на Android.
Устойчивость к сети. Синхронизация по принципу «сначала оффлайн», лимиты на повторные попытки, которые передают задачи фоновым воркерам, экспоненциальная задержка между вызовами API и breadcrumbs в Sentry, фиксирующие тип сети (LTE / 5G / Wi-Fi / нет подключения) в момент сбоя.
Матрица OEM. Поведение стокового Pixel ничего не говорит о Xiaomi. В CI каждого Android-клиента мы гоняем топ-5 производителей — так же, как в разборе уведомлений о входящем звонке на Android.
Минимум для мобильного клиента. Crashlytics или Sentry с первого релиза, алерт на рост доли пользователей с падениями и отдельная панель ANR по моделям телефонов.
Real-time и AI-нагрузки: своя планка надёжности
Стандартные SLO разрабатывались для сервисов типа «запрос-ответ». Видео в реальном времени и функции на основе LLM требуют новых метрик и дополнительных мер защиты.
Видео в реальном времени. Важные метрики: mean opinion score (MOS), доля потерянных пакетов (цель — ниже 2%) и round-trip- time p95 (цель — ниже 200 мс). Используйте архитектуру SFU/MCU с запасом мощности в два раза больше пиковой нагрузки. Компромиссы разобраны в статье о разработке масштабируемого ПО для видеоконференций, а как измерять качество видео так, чтобы цифре можно было верить, — в курсе по измерению качества видео.
Фичи на LLM. Обработка галлюцинаций, ограничение расходов по токенам, переключение между моделями (Claude ↔ OpenAI ↔ Llama). Langfuse, LangSmith и Helicone обеспечивают отслеживание поведения моделей. Относитесь к LLM как к ненадёжной зависимости: оборачивайте в circuit breaker, применяйте повторные попытки, ограничивайте зону влияния.
Стриминг. Доля пустых буферов плеера — менее 1%, время до первого кадра — менее 2 секунд, ABR-лестница протестирована на медленных каналах. В плейбуке live-шопинга Sprii есть синтетический поток, который запускается каждые 60 секунд и оповещает дежурного, как только MOS падает.
Нужен аудит надёжности перед раундом инвестиций или запуском?
Наши SRE прошли закалку на телемедицинских, e-learning, live-стриминговых и корпоративных коммуникационных продуктах. Две недели, фиксированный объём, чёткий письменный план задач.
Метрики DORA: что изменилось в отчётах 2024 и 2025
DORA (DevOps Research and Assessment) — исследовательская программа Google, которая с 2014 года измеряет, как команды доставляют софт. Классических метрик четыре: частота деплоев, время от коммита до продакшена, доля неудачных изменений и время восстановления после неудачного деплоя. В 2024 году добавилась пятая — доля переделок (rework rate): сколько деплоев были внеплановыми исправлениями.
| Метрика (DORA 2024) | Элитные | Высокие | Средние | Низкие |
|---|---|---|---|---|
| Частота деплоев | по требованию | от раза в день до раза в неделю | от раза в неделю до раза в месяц | от раза в месяц до раза в полгода |
| Время от коммита до продакшена | меньше суток | от суток до недели | от недели до месяца | от 1 до 6 месяцев |
| Доля неудачных изменений | 5% | 20% | 10% | 40% |
| Восстановление после неудачного деплоя | меньше часа | меньше суток | меньше суток | от недели до месяца |
Элитных команд в выборке 2024 года меньше 20%. Странность в доле неудачных изменений (у «средних» 10%, у «высоких» 20%) — так в отчёте: кластеры строятся по всем метрикам сразу, и высокие команды платят за скорость частыми откатами.

Рисунок 4. Три метрики скорости и две метрики стабильности. Элитные команды сильны по обеим осям сразу.
Отчёт DORA 2025 называется State of AI-assisted Software Development. Четыре уровня (элитные, высокие, средние, низкие) в нём заменили семью профилями команд по восьми показателям, среди которых есть выгорание и трение в процессах. ИИ-инструментами пользуются 90% опрошенных, в среднем около двух часов в день, и рост их использования связан не только с ускорением, но и с большей нестабильностью поставок. Вывод для надёжности: ИИ ускоряет написание кода, но без поэтапной выкатки и наблюдаемости он увеличивает долю неудачных изменений.
Главный вывод десяти лет DORA не изменился: элитные команды выкатывают чаще и падают реже. Скорость и надёжность не противоречат друг другу, если есть поэтапная выкатка и зрелая наблюдаемость.
Организация и процессы: человеческая сторона надёжности
Одних инструментов надёжности недостаточно. Один и тот же набор паттернов в карательной культуре постмортемов не сработает, а в безвиновной on-call культуре — сработает. Пять процессных привычек, общих для всех надёжных инженерных организаций.
1. Безвиновные постмортемы. Шаблон Etsy — публичный эталон. Акцент делается на системе, а не на человеке. Каждый постмортем завершается тремя–пятью пунктами с ответственными и сроками.
2. Дежурства с ритуалами передачи. Смены — не дольше 12 часов. Передача по средам с чётким переходом ответственности. Пейджи — это работа, а не подвиг.
3. Pre-prod, совпадающий с prod. Те же версии компонентов Kubernetes, тот же менеджер секретов, та же сетевая топология. Различия между окружениями приводят к багам вроде «у меня на staging всё работает», которые обязательно проявятся в самый неподходящий момент — например, ночью.
4. Учения по восстановлению после катастроф. Раз в квартал. Восстановите данные из резервной копии, переключитесь на резервный регион, отключите основную базу данных. Непроверенный план восстановления — это лишь теория.
5. Пирамида тестов. Много быстрых юнит-тестов, меньше интеграционных, ещё меньше end-to-end. Как посчитать бюджет QA, разбираем в статье зачем нужно тестирование ПО. Обратная форма (много медленных E2E, мало юнит-тестов) — второй по частоте антипаттерн в наших аудитах после отсутствия наблюдаемости.
Мини-кейс: как мы сократили MTTR с 6 часов до 22 минут на SaaS-платформе
К нам пришёл американский B2B SaaS-клиент, похожий по профилю на BrainCert — с двумя недавними многочасовыми инцидентами и корпоративным заказчиком, который угрожал применить пункт о компенсациях по SLA. У них был настроен Sentry, но отсутствовали SLO и бюджеты ошибок; вся инфраструктура работала в одном регионе AWS. Среднее время восстановления составляло 6 часов.
Наш план на четыре недели: определить SLO в 99,95% доступности и p95 задержки ниже 350 мс для 99% запросов; настроить инструментирование каждого эндпоинта через OpenTelemetry; направлять данные в Honeycomb с алертами по скорости расхода SLO; добавить три circuit breaker для внешних API, которые стали причиной обоих инцидентов; внедрить поэтапный релиз с использованием фича-флагов в GrowthBook. На финальной неделе — два учения по хаосу: имитация отказа основной базы данных и сбоя сервиса аутентификации, с обязательным составлением письменного runbook.
Результат за 60 дней: MTTR снизился с 6 часов до 22 минут, доля провальных изменений — с 31% до 12% (с уровня «высокий» до «элитный» по DORA), клиентских инцидентов не было. Корпоративный заказчик продлил контракт. Инженерные затраты составили 2,5 человеко-месяца за 4 календарные недели. Около 40% дашбордов Honeycomb мы взяли из прошлых проектов, это и уложило работу в месяц.
Пять ловушек надёжности, которые мы видим в аудитах каждую неделю
1. SLO без принуждения. SLO размещён на странице вики; в пайплайне деплоя его никто не проверяет; релизы не блокируются, даже если бюджет исчерпан. Решение: алерты по скорости сжигания бюджета, которые будят дежурного, и правило-блокер релиза, встроенное в шлюз CI.
2. Ретраи без задержки. Три ретрая подряд превращают один неудачный запрос в четыре попытки. Добавьте экспоненциальную задержку и джиттер, а также ограничьте общее количество попыток.
3. Health-проверки, которые врут. Эндпоинт /healthz возвращает 200, даже если база данных недоступна. Балансировщик продолжает направлять трафик. Решение: использовать глубокие health-проверки, которые тестируют критичные зависимости и показывают реальную степень деградации.
4. Бэкапы, которые никогда не проверялись. Бэкапы базы данных создаются каждый день, но восстановление никто не тестировал. Первую попытку провести восстановление делают только во время реального сбоя. Решение: ежемесячно автоматически восстанавливать данные в песочницу и проверять контрольную сумму.
5. Силосы знаний на одного человека. «Как работает платёжный сервис, знает только Аня». Аня в отпуске. Решение: парные дежурства, письменные сценарии runbook для каждого сервиса и чёткая цель по ротации знаний в OKR.
KPI: что измерять, начав укреплять систему
KPI качества. Соответствие SLO по каждому сервису (цель — 100% в течение 30 дней), задержка на 99-м перцентиле, доля ошибок и доля пользователей без сбоев на мобильных клиентах (цель — выше 99,5%).
Бизнес-метрики. Количество инцидентов от клиентов в месяц (цель — менее одного), отток из-за жалоб на надёжность и выплаты по SLA (цель — 0 ₽).
KPI надёжности. Доля неудачных изменений (цель — ниже 15%), MTTR (цель — ниже 60 минут), MTTD (цель — ниже 5 минут), частота деплоев (цель — несколько раз в неделю).
Как начать: план из четырёх шагов
Если надёжностью в проекте ещё никто системно не занимался, мы идём в таком порядке. Каждый шаг даёт результат сам по себе, даже если следующий отложат.
1. Измерить. SLI и SLO для трёх-пяти главных пользовательских сценариев, бюджет ошибок и алерт по скорости его расхода.
2. Увидеть. OpenTelemetry на ключевых эндпоинтах, глубокие health-проверки вместо формальных, проверенное восстановление из бэкапа.
3. Изолировать. Таймауты и circuit breaker для внешних API, ретраи с джиттером, ключи идемпотентности на платёжных и изменяющих данные эндпоинтах.
4. Выкатывать безопасно. Фича-флаги и поэтапная выкатка, первое учение по отказу, runbook для каждого сервиса и ротация дежурств.
Сколько времени занимает укрепление надёжности
Сфокусированный этап (SLO, наблюдаемость, базовые circuit breaker, runbook) у нас занимает 1–1,5 недели с ИИ-инструментами (2 недели у команд без них). Полное укрепление с chaos-учениями, multi-region и учениями по восстановлению — 5–6 недель (6–8 недель по рынку). Разница меньше, чем кажется: ИИ хорошо ускоряет шаблонную работу и почти не ускоряет учения и нагрузочные тесты.
Мы делим работу на четыре типа. А — шаблонный код: инфраструктура как код, CI-гейты, дашборды, алерты. Б — продуктовая логика: ретраи, идемпотентность, флаги в коде продукта. В — тяжёлая инженерия: отладка производительности, медиасерверы, failover. Г — то, что от скорости кода не зависит: chaos-учения, нагрузочные тесты, восстановление из бэкапа, согласования с заказчиком.
| Работа | Фора Софт с ИИ-инструментами | Рынок без ИИ | Состав по типам |
|---|---|---|---|
| Сфокусированный этап надёжности (2 инженера) | ≈ 90 ч, 1–1,5 недели | ≈ 160 ч, 2 недели | А 40% · Б 20% · В 25% · Г 15% |
| Полное укрепление: chaos, multi-region, DR-учения | ≈ 270–360 ч, 5–6 недель | ≈ 480–640 ч, 6–8 недель | А 40% · Б 20% · В 25% · Г 15%, из них ≈ 1 неделя учений (Г) |
Как считали: часы без ИИ × коэффициент по типу работы (А −70%, Б −50%, В −22%, Г 0%), смесь А 40 / Б 20 / В 25 / Г 15 даёт экономию часов ≈ 44% (36–52%); календарь сокращён на 44% × 0,75, неделя учений и нагрузочных тестов (тип Г) не сокращается; калибровка Фора Софт от ноября 2026 года. Инфраструктура второго региона и лицензии инструментов наблюдаемости от ИИ не дешевеют. Публичные исследования ускорения расходятся, наши коэффициенты — по проектам Фора Софт.
Если продукт уже работает и падает, начинаем с доработки и стабилизации ПО: находим два-три режима отказа, которые дают большую часть инцидентов, и закрываем их первыми. Дальше надёжность держит поддержка и сопровождение продукта с дежурствами, SLO и ежемесячными учениями по восстановлению. Как бюджет на надёжность вписывается в общую смету, видно в разборе стоимости разработки приложения для видеостриминга.
Фреймворк решения — сколько вкладывать в надёжность, в пяти вопросах
В1. Сколько стоит один час простоя в выручке? Ориентируйтесь на эту цифру при принятии решений по надёжности. Если меньше 375 тыс. ₽ — ограничьтесь базовым набором (SLO, наблюдаемость, бэкапы). Если больше 3,7 млн ₽ — включайте полный набор паттернов, включая chaos engineering и multi-region.
В2. Регулируемая ли у вас отрасль? HIPAA, PCI DSS, SOC 2 и GDPR предъявляют свои требования к доступности и восстановлению; в России для банков действует Положение Банка России № 787-П об операционной надёжности. Закладывайте эти требования в SLO с самого начала, а не после аудита.
В3. Вы релизите ежедневно, еженедельно или раз в месяц? Чем чаще релизы — тем больше нужны поэтапный запуск и фича-флаги. При месячном ритме можно обойтись canary-деплоями, а при ежедневных — нужна полноценная система флагов, как у LaunchDarkly.
В4. От скольких внешних API вы зависите? Каждый из них — потенциальный источник сбоя. Оборачивайте каждый в circuit breaker, ограничивайте количество попыток повторных запросов, кэшируйте ответы, если требования к актуальности данных это позволяют.
В5. Кто сегодня носит пейджер? Если ответ «основатель» или «все», вам нужны ротации и инструменты. Проблемы людей не решаются ещё одним дашбордом.
Когда НЕ нужно переинвестировать в надёжность
Три случая, когда стоимость устойчивости превышает её ценность. Первый — стартапы до product-market fit, с числом активных пользователей меньше 100: SLO бессмысленны, пока вы не понимаете, что вообще строите. Поднимите CI, базовое логирование и Sentry — всё остальное отложите. Если вы ещё выбираете, писать ли код вообще, начните с разбора low-code против найма разработчиков.
Второй — внутренние инструменты для 50 сотрудников и меньше с допустимым окном простоя. Multi-region для внутреннего HR-портала — перебор. Бюджет на отказоустойчивость стоит выделять только тогда, когда инструмент становится критически важным для бизнеса.
Третий — продукты в реальном MVP-режиме, где каждый час на надёжность конкурирует с часом на фичи, которые просит рынок. Поставьте жёсткий лимит на задачи по надёжности (10–20% мощности команды) до достижения product-market fit и пересматривайте его на каждом раунде инвестиций.
Частые вопросы о надёжности и отказоустойчивости ПО
Чем надёжность ПО отличается от отказоустойчивости?
Надёжность — вероятность, что система работает без отказов заданное время. Отказоустойчивость — её часть: способность работать дальше, когда отказал компонент. В ISO/IEC 25010:2023 отказоустойчивость входит в надёжность вместе с безотказностью, доступностью и восстанавливаемостью.
Что такое бюджет ошибок простыми словами?
Это допустимое количество сбоев за период: 100% минус SLO. При SLO 99,9% за 30 дней можно простоять 43,2 минуты. Пока бюджет есть, команда выпускает фичи; когда он кончился, рискованные релизы замораживают и чинят надёжность.
Что такое метрики DORA?
Пять метрик доставки софта от исследовательской программы Google DORA: частота деплоев, время от коммита до продакшена, доля неудачных изменений, время восстановления после неудачного деплоя и доля переделок. Элитные команды по отчёту 2024 года деплоят по требованию, а восстанавливаются меньше чем за час.
Какой SLO по доступности взять на старте SaaS?
99,9% (43,2 минуты простоя за 30 дней) — стандарт для ранних SaaS-проектов. Уровень 99,95% (21,6 минуты за 30 дней) обычно устанавливают, когда появляются корпоративные клиенты; до 99,99% (4,3 минуты за 30 дней) — только если вы работаете в финансах, здравоохранении или у вас есть чёткое контрактное требование. Обещать 99,99% без отработанных chaos-учений — больший репутационный риск, чем указать более скромный SLO.
Стоит ли использовать микросервисы ради надёжности?
Микросервисы обеспечивают изоляцию на сетевом уровне, но при этом усложняют систему и вводят новые режимы сбоев — например, сетевые вызовы, распределённую трассировку и eventual consistency. Для большинства продуктов с командой до 50 инженеров хорошо спроектированный модульный монолит с внутренними механизмами изоляции (отдельные пулы потоков, библиотеки circuit breaker) оказывается надёжнее, чем преждевременный переход на микросервисы.
Сколько закладывать на работу по надёжности?
Распространённая эвристика из Google SRE — 50% времени SRE тратится на проекты по надёжности (остальное — рутина и дежурства). Для продуктовых инженерных команд без выделенных SRE 15–20% мощности — реалистичная долгосрочная цифра. После крупного инцидента можно временно увеличить долю до 40–50% на один-два спринта и устранить конкретный режим отказа.
Нужен ли chaos engineering с первого дня?
Нет. Chaos engineering окупается только тогда, когда уже есть наблюдаемость, система оповещений, сценарии действий (runbook) и зрелая культура дежурств. Без этого эксперименты с хаосом вызывают панику, а не полезные выводы. По отчёту Gremlin 2021, короткий MTTR чаще бывает у команд, которые проводят эксперименты регулярно и на зрелой базе SRE-практик.
Какой стек наблюдаемости выбрать в 2026?
С первого дня отправляйте данные в формате OpenTelemetry. Коллектор уже направляет их в подходящий бэкенд в зависимости от стадии: Sentry — для раннего отслеживания ошибок, Honeycomb или Datadog — для полноценной наблюдаемости на масштабе, Grafana Cloud — если нужен контролируемый self-host. Главное — использовать инструментарий OpenTelemetry, а не привязываться к конкретному вендору. Выбор поставщика — обратимое решение.
Чем фича-флаги улучшают надёжность?
Фича-флаги позволяют выпустить код «вслепую» — развернуть его на 1% пользователей, посмотреть метрики и либо продолжить до 100%, либо отключить фичу за секунды. Они делают деплой обратимой операцией — и это самое большое улучшение, которое большинство команд может применить, чтобы снизить долю провальных изменений. Популярные варианты: LaunchDarkly, GrowthBook (open source) и Unleash (open source).
Какая самая частая причина крупных сбоев в 2025–2026 годах?
Изменения: релизы, конфигурации, автоматика. CrowdStrike (2024) выкатил конфигурацию сразу на все хосты, Google Cloud (июнь 2025) выпустил код без фича-флага, у Cloudflare (ноябрь 2025) неверный файл признаков разошёлся по сети за минуты. Поэтому доля неудачных изменений — одна из ключевых метрик DORA.
Сколько обычно занимает работа по укреплению надёжности?
Сфокусированный этап (SLO, наблюдаемость, базовые circuit breaker, runbook) — 1–1,5 недели с ИИ-инструментами (2 недели у команд без них). Полное укрепление с chaos-учениями, multi-region и DR-учениями — 5–6 недель (6–8 недель по рынку). Объём для вашей кодовой базы обычно понятен после 30-минутного звонка.
Что почитать дальше
QA-тестирование
Зачем нужно тестирование ПО в 2026: правило 1:10:100, бюджет QA и ИИ
Зачем нужно тестирование ПО в 2026: правило 1:10:100, пирамида тестов, доля QA в бюджете (15–40%), ИИ в тестировании, KPI и штрафы по 152-ФЗ.
Планирование бюджета
Как создать фоновую службу и глубокие ссылки для приложений с вызовами на Android
Как сохранить работу Android-приложения после сворачивания и использовать Deep Links — подробное руководство с примерами кода
Мобильная надёжность
Разработка ПО для видеоконференций: руководство по масштабируемым решениям
Разработка ПО для видеоконференций в 2026: WebRTC, SFU vs MCU vs P2P, цены CPaaS, паттерны масштабирования, безопасность. Платформа на 1 млн+ пользователей.
Архитектура
P2P, SFU, MCU и гибрид: какая архитектура WebRTC подойдёт вашему продукту в 2026 году?
Сравнение архитектур WebRTC P2P, SFU, MCU и гибрид: юнит-экономика, безопасность, AI-слой, шортлист вендоров и фреймворк выбора из 5 вопросов.
Build vs buy
Как ИИ решает главные проблемы тестирования ПО (2026)
AI в тестировании 2026: самовосстанавливающиеся тесты, генерация сценариев, синтетические данные, автоматическая сортировка багов. Инструменты, стоимость (от 1,
Готовы выпускать продукты, которым пользователи могут доверять?
Отказоустойчивое ПО — это не «да или нет», а вопрос бюджета. Выберите SLO, настройте сбор метрик через OpenTelemetry, добавьте circuit breaker и bulkhead, выпускайте изменения под фича-флагами с постепенным развёртыванием и проводите безвиновные постмортемы, если что-то пойдёт не так. Набор подходов уже известен; работа здесь — рутинная, а не героическая.
Если хотите второе мнение по своему стеку или команду, которая внедряет эти паттерны в видео- и real-time продуктах с 2005 года (250+ проектов), — мы всего в одном звонке от вас.
Нужно ПО, которое выдержит рост, а не только демо?
Расскажите о вашем продукте. За две недели мы вернёмся со списком исправлений по SLO, деплою и наблюдаемости.