Зима 2025: дайджест QA — ИИ-тестирование в реальном использовании

Зачем Фора Софт написала этот дайджест

С 2005 года мы выпустили более 625 видео- и AI-продуктов, и каждый квартал наша QA-команда проходит полную пирамиду тестов: Playwright и Cypress для браузерных интерфейсов, Selenium для проверки работы в разных браузерах, Appium для мобильных приложений, Postman, Karate и Bruno для API, k6 для нагрузочного тестирования, Loadero и VMAF для оценки качества WebRTC-видео. Мы прошли все обновления фреймворков и изменения в AI-инструментах, описанные ниже; этот дайджест — то, что действительно работает в реальных продуктах клиентов.

Факты о релизах взяты из changelog’ов вендоров (Playwright на GitHub, релизный блог Selenium, changelog Cypress, релизный блог Mabl, Applitools, Percy, Grafana k6, Postman). Рыночные данные — из Capgemini World Quality Report 2024–2025, Magic Quadrant Gartner за октябрь 2025, Forrester Wave Q4 2025 и SmartBear State of Software Quality 2025–2026.

Оценки и мнения в статье основаны на использовании этих инструментов в наших собственных проектах, включая BrainCert (HIPAA/SOC 2 LMS, более 100 тысяч клиентов, более 500 миллионов видеоминут) и V. A. L. T. (770+ клиентов из сферы видеонаблюдения в США, более 50 тысяч активных пользователей).

Главные релизы зимы 2025 одним взглядом

Главный сдвиг: AI-тестирование перешло черту массового внедрения

Два сигнала от индустрии важнее любого отдельного релиза. Первый — Capgemini World Quality Report 2024–2025 зафиксировал, что на октябрь 2024 года 68% организаций используют генеративный ИИ в инженерии качества (34% — в продакшне, 34% — в пилотных проектах), а 89% планируют внедрять процессы на основе GenAI к 2025 году. Фокус сместился с «разметки дефектов» (анализ результата) на «проектирование тест-кейсов» (подготовка входных данных) — это более ценная часть рабочего процесса.

Второй — первый в истории Magic Quadrant for AI-Augmented Software Testing Tools от Gartner (октябрь 2025) и Forrester Wave Q4 2025 по платформам автономного тестирования подтверждают: автономное тестирование стало самостоятельной категорией закупок. Gartner прогнозирует 70% корпоративного внедрения к 2028 году (против ~20% в начале 2025); рынок AI-усиленного тестирования оценивается в 75 млрд ₽ в 2025 году с ростом до 348 млрд ₽ к 2034 (CAGR 18,3%).

Опрос SmartBear за март 2026 года добавляет срочности со стороны покупателей: 70% экспертов говорят, что качество приложений ухудшается на фоне ускорения генерации кода с помощью ИИ; 93% уже используют ИИ-инструменты в разработке; 86% увеличивают инвестиции в тестирование на 11% и более в 2025–2026 годах. Вопрос не в том, стоит ли инвестировать, а в том, куда вложить средства, чтобы максимально снизить количество пропущенных ошибок.

Playwright 1.49 и 1.50

Playwright 1.50 вышел 3 февраля 2025. Главное изменение — тестирование Aria-снапшотов стало полноценным: теперь можно программно проверять структуру дерева доступности прямо в end-to-end тестах, что снижает нагрузку на ручной аудит WCAG. Практичное изменение: page.type(), frame.type() и locator.type() объявлены устаревшими в пользу locator.fill(), который заметно быстрее при работе с большими формами.

// Playwright 1.49—: deprecated
await page.locator('#email').type('user@example.com');

// Playwright 1.50: prefer
await page.locator('#email').fill('user@example.com');

// And the new aria-snapshot pattern
await expect(page.getByRole('navigation')).toMatchAriaSnapshot();

Изменения в каналах headless Chrome и MS Edge могут потребовать обновления снапшотов в существующих проектах — закладывайте 1–2 часа на доработку CI в каждом репозитории при обновлении. Репортеры теперь передают startTime и длительность выполнения для каждого набора — это пригодится, когда начнёте отслеживать время прохождения CI как полноценный KPI.

Selenium 4.28 и 4.29

Selenium 4.28 (20 января 2025) и 4.29 (20 февраля 2025) выходят в квартальном ритме, на который проект перешёл в 2024 году. Релизы включают обновления для всех языков (JavaScript, Ruby, Python, .NET, Java, Grid) и в типовых сценариях не содержат критических изменений — достаточно зафиксировать версию в CI, запустить минимальный набор тестов и можно выпускать. Там, где Selenium по-прежнему остаётся лидером, — это интеграция Grid с поддержкой нескольких языков. Командам, у которых в одном монорепозитории используются Java, Python и .NET, пока нет достойной альтернативы.

Cypress 14

Cypress 14 наладил работу с популярными фреймворками — React, Angular, Next.js, Svelte и Vite стабилизировались, поддержка старых версий зависимостей прекращена. После обновления возможны регрессии производительности компонентных тестов на некоторых проектах; перед слиянием обязательно запустите бенчмарк именно по компонентным тестам, а не только по E2E. Обработка устаревания document.domain в Chrome реализована корректно. Для большинства команд обновление до Cypress 14 — безопасное и низкорисковое, особенно ценное для тех, кто активно использует компонентные тесты.

Mabl: проверки на основе ИИ и самовосстанавливающиеся тесты

Ключевые цифры Mabl за зиму 2025: рост использования GenAI-проверок на 700% за пять месяцев — самая быстрая кривая внедрения в истории продукта — и до 95% снижения ручного обслуживания тестов благодаря самовосстанавливающимся локаторам. GenAI-проверки используют логику на основе LLM вместо CSS-селекторов, чтобы проверять текст, качество изображений и состояние UX — это проверка по смыслу, для которой раньше пришлось бы создавать собственную библиотеку команд.

Честная оговорка: 95% снижения трудозатрат — это максимальная оценка вендора, полученная на «сговорчивых» тестовых наборах. На реальных продакшн-данных, которые мы мигрировали, результат оказался в диапазоне 50–80%, и эффект проявляется постепенно — за шесть месяцев, а не сразу в первом спринте. Запланируйте измеримый пилот на тех 10–15% регрессионного набора, которые сейчас вызывают наибольшие проблемы.

Самовосстанавливающиеся платформы помимо Mabl

Functionize. Более 1 млрд агентных AI-действий выполнено в 2024 году; клиенты отмечают десятикратный рост продуктивности и сокращение затрат на поддержку тестов на 90% в корпоративных средах. Раунд Series B (сентябрь 2025) подтверждает высокий спрос со стороны компаний из списка Fortune 500.

Tricentis Testim. Умные локаторы на основе машинного обучения автоматически обновляют ссылки на элементы интерфейса; интеграция с SeaLights сокращает время выполнения тестов и показывает пробелы в покрытии на одном дашборде. Хороший выбор для команд, которые уже используют Tricentis Tosca.

ACCELQ Autopilot. На платформе автоматизировано более 1,1 млн бизнес-процессов; интерфейс без кода позволяет легко работать неинженерам; распознавание изображений и шаблонов используется для визуальных проверок. Получил награду AI Breakthrough 2025.

Katalon StudioAssist + Scout. Работают на базе Amazon Nova Act и Bedrock AgentCore; описание тестов на естественном языке преобразуется в готовые скрипты; по данным вендора — сокращение времени на создание тестов на 60%. Оптимально подходит для команд, уже использующих Katalon Studio.

Визуальное тестирование: Applitools Eyes 10.22 и Percy

Applitools Eyes 10.22. Visual AI теперь доступен как аддон для Storybook (блокирует мердж при визуальных регрессиях на уровне компонента), плагин для Figma (связывает дизайн-намерение и реализацию) и Eyes MCP Server (позволяет запускать визуальные тесты прямо из IDE с помощью AI-ассистента). Deterministic Execution Engine разделяет создание теста и его выполнение — это помогает значительно снизить количество ложных срабатываний.

Percy by BrowserStack. Новый AI Visual Review Agent ускоряет проверку визуальных изменений в три раза и снижает количество ложных срабатываний на 40% — за счёт фильтрации сглаживания и субпиксельных различий. Настройка занимает в шесть раз меньше времени благодаря новому интеграционному агенту. App Percy ориентирован на мобильные платформы, где шум от сглаживания особенно высок. Бесплатный тариф включает 5000 скриншотов в месяц, платные — от 14 925 ₽ в месяц.

Доступность: расширенные AI-правила axe DevTools

Deque показала превью расширенного набора правил поверх axe DevTools — он сочетает статический анализ с машинным зрением и обработкой скриншотов. По данным вендора, это повышает покрытие WCAG примерно на 10% по сравнению с классической автоматизированной проверкой. Intelligent Guided Tests (IGTs) развиваются в сторону AI-управляемых автоматических запусков с анализом страниц и понятными объяснениями, а «axe Assistant» интегрируется со Slack и Teams, чтобы давать подсказки по WCAG прямо во время код-ревью.

Практичная позиция на Q1–Q2 2025: включите расширенные правила в расширении axe DevTools для критически важных пользовательских сценариев; отложите автоматизацию IGT до общего релиза; комбинируйте Aria-снапшоты Playwright 1.50 с прогонами axe, чтобы выявлять как структурные, так и правило-ориентированные проблемы в CI.

Производительность: Grafana k6 1.0 и MCP-сервер

Grafana k6 достиг версии 1.0 7 мая 2025 года — ключевые изменения: поддержка TypeScript, фреймворк расширений, переработанная аналитика тестов и настоящие гарантии semver (ломающие изменения только в мажорах, критические исправления поддерживаются в течение двух лет). Более масштабная новость для команд, работающих с ИИ, — k6 MCP Server (30 марта 2025): нагрузочное тестирование на естественном языке через Claude, Cursor или Windsurf. Длительность и количество виртуальных пользователей задаются в чате, а результаты можно анализировать прямо в Grafana.

Когда это действительно окупается? При анализе производительности в реальном времени во время инцидентов и при подборе нагрузки для новых эндпоинтов. MCP-подход не заменяет повторяющиеся скриптовые сценарии в CI — их по-прежнему лучше хранить как явный код на JS/TS под контролем версий.

Мобильные: Appium 2.13 и BrowserStack App Live

Appium 2.13.1 вышел 1 января 2025 года в рамках квартального цикла проекта. После каждого минорного обновления проверяйте мажорную версию и запускайте smoke-тесты для драйверов XCUITest и UiAutomator2 — именно там чаще всего появляются неожиданные проблемы.

BrowserStack App Live теперь предлагает более 30 000 реальных iOS- и Android-устройств в 19 дата-центрах с возможностью одновременного тестирования на нескольких устройствах (до 4), поддержкой биометрической аутентификации, SIM-сценариев, Apple Pay, OTP, тестов камеры и микрофона, а также эмуляцией офлайн-режима. Для команд, разрабатывающих решения с платёжными или биометрическими функциями, переход с CapEx на OpEx обычно окупается за два квартала.

Тестирование API: Postman 12, Bruno и контрактное тестирование

Postman 12 принёс Collection 3.0 с поддержкой совместной работы на основе Git (хранение коллекций в репозитории и их обсуждение в пул-реквестах), локальными моками, Private API Network, генерацией SDK-кода и переработанным Agent Mode для создания тестов из спецификаций OpenAPI с помощью ИИ. Postman CLI v1.27+ выпускает нативные бинарники для Linux ARM64 — это удобно на современных CI-раннерах.

Командам, которым не нравится привязка к аккаунту Postman, подойдут Bruno и Hoppscotch — файловые, полностью совместимые с Git альтернативы. Для микросервисов с подходом OpenAPI first мы по умолчанию используем Karate (запрос/ответ в стиле BDD) и Pactflow для контрактного тестирования с точки зрения потребителя.

Тестовые и синтетические данные: Tonic.ai Fabricate

Tonic.ai запустил Fabricate Data Agent в ноябре 2025 — чат-генератор гиперреалистичных синтетических данных без обезличивания продакшн-данных. Tonic Structural остаётся флагманским решением для маскировки продакшн-данных; Tonic Textual — для удаления PII из неструктурированного текста. Для проектов, подверженных требованиям GDPR/CCPA или близких к HIPAA, использование синтетических данных — более экономичная стратегия соответствия нормам; закладывайте пилотные недели на проверку точности относительно реальных распределений.

WebRTC и тестирование видео

Видео- и продукты для общения в реальном времени требуют специальных инструментов тестирования, с которыми обычные E2E-фреймворки не справляются. Loadero остаётся лучшим коммерческим решением для нагрузочного тестирования WebRTC с глобальной инфраструктурой, эмуляцией сетевых условий и детальной статистикой по RTC. Cyara testingRTC — это корпоративный инструмент для контакт-центров, позволяющий моделировать поведение абонентов и сетевые условия для каждого оператора. В open source webrtcperf объединяет Puppeteer и Netflix VMAF для оценки качества видео по восприятию (шкала от 0 до 100) — именно его мы используем в CI для видеопродуктов.

Схема, которую мы используем на боевых продуктах вроде BrainCert, Loadero или webrtcperf: предрелизные прогоны в большом масштабе, плюс VMAF-проверки на небольшом наборе эталонных сценариев, запускаемых на каждый PR.

Встраиваемые системы: Emerson NI LabVIEW+ Suite

Для команд, работающих с hardware-in-the-loop и встраиваемыми системами, основной платформой остаётся Emerson NI LabVIEW+ Suite — она обеспечивает эффективную координацию тестирования в реальном времени в автомобильной, аэрокосмической и промышленной отраслях. Публичных релизных заметок за зиму 2025 года мало, поэтому стоит заранее договориться о брифингах с вендором по дорожной карте. Альтернативные коммерческие решения — Vector CANoe, dSPACE и MATLAB/Simulink Test — каждый из них силён в своей области, но ни одно не стало массовым продуктом.

World Quality Report и оценка рынка

Мини-кейс: AI-усиленный QA на видео-ЛМС

Ситуация. Растущий видео-обучающий платформа — продукт того же профиля, что и BrainCert: 100K+ клиентов, 500M+ видеоминут, сессии до 2000 участников, сертификации HIPAA/SOC 2/ISO — нуждалась в более быстрой проверке изменений для браузерных, мобильных и WebRTC-сценариев без расширения QA-команды.

Что мы сделали. Playwright 1.50 с Aria-снапшотами для веб-приложения LMS; Mabl на 12% регрессионного набора с самым высоким уровнем флака с GenAI-проверками текста и изображений; аддон Applitools Eyes для Storybook как мердж-гейт для визуальной регрессии компонентов; webrtcperf с VMAF-проверками на эталонных видео-сценариях в CI; Postman Collection 3.0 в API-репозитории для Git-нативного ревью.

Результат. Время на обслуживание тестов на мигрированных наборах сократилось примерно на 55% за 8 недель; доля пропущенных дефектов в видео-сценариях снизилась сразу после того, как VMAF стал обязательным этапом в CI; команда освободила одну штатную единицу по управлению флаком без потери покрытия. Хотите такой же аудит на своём наборе тестов? Позвоните или напишите нам — обсудим за 30 минут.

Пять вопросов перед внедрением AI-тестирования

1. Какова сейчас доля обслуживания тестов? Если более 30% времени QA уходит на работу с флаками и обновление селекторов, AI-самовосстановление — решение с самой высокой отдачей от инвестиций. При менее чем 15% окупаемость апгрейда будет медленнее.

2. Сколько у вас тестов сегодня и насколько они растут? До ~300 тестов вручную настроенные Playwright/Сypress справляются. Свыше ~1000 тестов автономные платформы становятся конкурентоспособными.

3. Что разрешает ваша политика по работе с данными? Если у поставщиков LLM нет права видеть данные клиентов (например, по HIPAA или в регулируемых финансовых сферах), обязательно подтвердите это в соглашении BAA или DPA до запуска пилота. Ошибка на этом этапе — это сюрприз через три месяца, который полностью остановит проект.

4. Кто отвечает за жизненный цикл модели? Дрейф убивает AI-тестирование. Либо используйте управляемый SaaS, который дообучает модели за вас (Mabl, Functionize), либо назначьте эту задачу внутри команды.

5. Какая метрика успеха у пилота? Часы обслуживания на 100 тестов, доля пропущенных дефектов на покрытом функционале, среднее время восстановления. Выберите три; снимите базовые значения до старта; смотрите еженедельно.

Пять ловушек при внедрении AI QA-инструментов

1. Покупка под демо, а не под реальный набор. Вендорские демо работают на «сговорчивых» приложениях. Принесите в пилот свои 50 самых проблемных тестов; не принимайте решение о покупке, опираясь только на тщательно подобранные сценарии успеха.

2. Замена вместо усиления. AI-проверки приносят пользу в дополнение к структурным, а не взамен им. Чистый AI-набор гораздо сложнее настраивать, когда что-то ломается в 03:00.

3. Игнорирование конфиденциальности данных. Некоторые инструменты ИИ отправляют полные фрагменты DOM в облако разработчика. Всегда читайте DPA. Для задач, связанных с HIPAA, по умолчанию используйте локальные решения (on-prem) или подписывайте BAA.

4. Нет телеметрии дрейфа. Самовосстановление непрозрачно, если вы не отслеживаете, когда модель тихо что-то поправила. Требуйте сквозной телеметрии по каждому «исцелённому» тесту — иначе набор тестов медленно уходит от изначального смысла.

5. Закупка раньше уборки в пайплайне. AI-инструмент поверх флаконосного CI — это мегафон для шума. Сначала стабилизируйте пайплайн (параллелизм, ретраи, сетевая изоляция), потом добавляйте AI-слой.

KPI, которые стоит отслеживать в 2025

KPI качества. Доля пропущенных дефектов в релизе (цель — менее 5% от покрытого объёма), среднее время обнаружения (MTTD) регрессий в CI (менее 60 минут), нарушения доступности в релизе (отслеживаются по стандарту WCAG 2.2 AA).

Бизнес-метрики. Часы работы на 100 тестов в месяц (после внедрения ИИ: < 4), время на создание тестов для новой функции (цель — < 1 день на среднюю фичу), длительность CI-пайплайна на 95-м перцентиле (< 25 минут).

KPI надёжности. Доля сбоев на 1000 прогонов (< 1,5%), частота срабатывания самовосстановления (< 10% прогонов — если выше, модель маскирует реальные ошибки), аптайм CI > 99,5%.

Когда НЕ стоит гнаться за релизами зимы 2025

1. В вашем наборе Playwright/Сypress < 200 тестов. При таком количестве стабильные ручные тесты обходятся дешевле, чем лицензии на автономные платформы.

2. Доля пропущенных дефектов уже меньше 2%. Дополнительные инструменты не нужны — защищайте то, что работает.

3. Политика конфиденциальности данных исключает облако вендора. Некоторые продукты требуют полностью локальной установки; список вариантов с ИИ сужается. Сначала — решения с открытым исходным кодом (Playwright, axe DevTools, k6, webrtcperf), коммерческие — позже.

FAQ

Что почитать дальше

Готовы включить QA-инструменты зимы 2025 в свою дорожную карту?

Зима 2025 — сезон, когда AI-тестирование перестало быть демонстрацией от вендоров и стало реальной закупочной категорией. Фреймворки, которые уже есть в вашем репозитории — Playwright 1.50, Selenium 4.29, Cypress 14, Appium 2.13 — выпустили настоящие апгрейды с низким риском. Платформы, борющиеся за бюджет следующего года — Mabl, Functionize, ACCELQ, Applitools, Percy, k6, Postman 12, Tonic.ai, Replay.io — вышли из бета-версий и попали в категории Gartner и Forrester.

Если у вас уже есть проблемный регрессионный набор и бюджетный цикл 2025–2026, в котором задают вопрос: «Что даёт нам ИИ в QA?» — мы за 48 часов подготовим одностраничную записку по обновлению инструментов: какие зимние релизы внедрить в этом квартале, какие отложить, честный план пилота и диапазон ROI, привязанный к цифрам вашего набора.