Что такое отчёт о выполнении тестов
Отчёт о выполнении тестов суммирует результаты запуска тест-кейсов для конкретного билда или релиза. Он отвечает на ключевой вопрос: «Каково качество этого билда?»
Компоненты отчёта
Сводка выполнения
| Метрика | Значение | Цель |
|---|---|---|
| Всего тест-кейсов | 450 | — |
| Выполнено | 420 (93%) | 100% |
| Пройдено | 385 (92%) | > 95% |
| Провалено | 25 (6%) | < 5% |
| Заблокировано | 10 (2%) | 0% |
| Не выполнено | 30 (7%) | 0% |
Ключевые метрики
Pass Rate: (Пройденные / Выполненные) x 100 — Пример: 385/420 = 91.7%
Прогресс выполнения: (Выполненные / Всего) x 100 — Пример: 420/450 = 93.3%
Плотность дефектов: Дефекты / Протестированные фичи — Пример: 25/12 = 2.08 на фичу
Сводка дефектов и результаты по фичам
Включает таблицы по серьёзности и по функциональным модулям с распределением pass/fail/blocked.
Тренды
Покажите прогресс во времени: дневной тренд pass rate, кумулятивное выполнение, тренд открытых дефектов.
Аудитории отчёта
| Аудитория | Потребности | Формат |
|---|---|---|
| Руководство | Решение go/no-go | Сводка на 1 странице |
| PM | Прогресс, блокеры | Полный отчёт с трендами |
| Dev Lead | Какие области падают | Детализация по компоненту |
| Команда QA | Что тестировать дальше | Доска статусов |
Автоматизация
Инструменты автогенерации отчётов: Zephyr Scale, TestRail, Xray, Allure. Результаты CI/CD должны автоматически попадать в отчёты.
Упражнение: Создайте отчёт о выполнении
Данные: Билд v3.5.0-rc1, 300 тест-кейсов, 250 пройдено, 30 провалено, 10 заблокировано, 10 не выполнено. 1 критический баг в платежах. Релиз через 3 дня.
Решение
Резюме для руководства: Билд v3.5.0-rc1 НЕ готов к релизу. Pass rate 89.3% (цель: 95%). Один критический баг в расчёте платежей. Модуль платежей — 60% pass rate.
Рекомендация: НЕ выпускать. Исправить критический баг, перетестировать модуль платежей, разрешить заблокированные тесты. Переоценить через 2 дня.
Риски: ВЫСОКИЙ: Ошибка расчёта платежей. СРЕДНИЙ: 5 открытых серьёзных багов. НИЗКИЙ: 10 заблокированных тестов.
Действия: 1. Немедленно исправить критический баг. 2. Разрешить заблокированные тесты. 3. Выполнить 10 оставшихся. 4. Перетестировать 30 проваленных. 5. Полная регрессия за 1 день до дедлайна.
Ключевые выводы
- Отчёты сообщают о состоянии качества и помогают принимать решения о релизе
- Ключевые метрики: pass rate, прогресс выполнения, плотность дефектов
- Адаптируйте детализацию к аудитории
- Показывайте тренды во времени — отдельный снимок не передаёт полную картину
- Автоматизируйте генерацию из инструментов и CI/CD
- Всегда включайте рекомендации и оценку рисков