Метрики DevOps для QA

Метрики DORA #

DORA выделила четыре ключевые метрики, отличающие высокопроизводительные команды. QA напрямую влияет на все четыре.

1. Частота деплоев #

Как часто команда деплоит в продакшен. Elite: несколько раз/день. Влияние QA: быстрые, надёжные тесты позволяют частые деплои.

2. Lead Time для изменений #

Время от коммита до продакшена. Elite: менее часа. Влияние QA: время выполнения тестов — прямой компонент lead time.

3. Change Failure Rate #

Процент деплоев, вызывающих сбой. Elite: 0-15%. Влияние QA: лучшее тестирование = меньше продакшен-сбоев. Самая прямая метрика QA.

4. Среднее время восстановления (MTTR) #

Скорость восстановления после сбоя. Elite: менее часа. Влияние QA: процедуры отката, smoke-тесты и мониторинг.

Метрики качества, связанные с DORA #

Метрики тестового набора #

• Процент прохождения > 99%, Время < 30 мин, Нестабильность < 2%, Покрытие > 80%

Метрики пайплайна #

• Процент успеха > 95%, Длительность < 30 мин, Успех откатов 100%

Метрики качества в продакшене #

• Просочившиеся дефекты < 1 на релиз, Время обнаружения < 5 мин

Дашборд QA-DevOps #

Ряд 1: Частота деплоев, Lead time, Процент успеха пайплайна Ряд 2: Change failure rate, Просочившиеся дефекты, Тренд прохождения тестов Ряд 3: Время выполнения тестов, Нестабильность, MTTD Ряд 4: Тренд MTTR, Частота откатов, Количество инцидентов

Упражнение: Проанализируйте метрики команды #

Текущие метрики: деплой 2 раза/неделю, lead time 3 дня, change failure rate 25%, MTTR 4 часа. Набор: 300 тестов, 45 мин, 8% нестабильность, 72% покрытие. Определите возможности улучшения.

Ключевые выводы #

1. Метрики DORA измеряют производительность доставки — QA влияет на все четыре
2. Change failure rate — самая прямая метрика QA
3. Время выполнения тестов влияет на lead time
4. Нестабильные тесты подрывают весь пайплайн
5. Измеряйте, ставьте цели, улучшайте