Зачем нужна тестовая стратегия
Представьте: вы приходите в стартап как первый QA-инженер. CEO говорит: «У нас есть продукт, разработчики и баги. Наведи порядок.» С чего начать?
Без стратегии тестирование становится реактивным — вы тестируете то, что перед глазами, пропускаете критичные области и не можете измерить эффективность. Тестовая стратегия — это ваша дорожная карта качества.
Стратегия vs тест-план
| Аспект | Тестовая стратегия | Тест-план |
|---|---|---|
| Скоуп | Уровень организации или продукта | Уровень проекта, релиза, спринта |
| Фокус | Общий подход и философия | Конкретные действия и график |
| Срок жизни | Долгоживущий, обновляется периодически | Создаётся на проект/релиз |
| Содержание | Типы тестирования, инструменты, окружения, подход к рискам | Что, когда, кем тестировать, критерии |
Процесс из 8 шагов
Шаг 1: Понять продукт
Ответьте на вопросы: Что делает продукт? Кто пользователи? Какие платформы поддерживает? Какой технологический стек? Какие критические пути пользователя? Какая бизнес-модель? Что происходит при падении? Какие требования compliance? Как часто релизы?
Шаг 2: Выявить риски
Для каждой фичи или компонента оцените:
| Фактор | Вопрос | Шкала |
|---|---|---|
| Бизнес-влияние | Что будет, если это сломается? | Низкое / Среднее / Высокое / Критическое |
| Вероятность | Насколько вероятны дефекты? | Низкая / Средняя / Высокая |
| Сложность | Насколько сложна реализация? | Низкая / Средняя / Высокая |
| Частота изменений | Как часто меняется этот код? | Редко / Иногда / Часто |
| Охват пользователей | Сколько пользователей взаимодействует? | Мало / Часть / Большинство / Все |
Шаг 3: Определить скоуп
На основе анализа рисков определите, что входит, а что не входит в скоуп. Явное указание того, что не тестируется, так же важно — это предотвращает недопонимание.
Шаг 4: Выбрать подход
Определите типы тестирования и стратегию автоматизации. Следуйте пирамиде тестирования: много юнит-тестов, меньше интеграционных, минимум E2E. Цель: 70% unit, 20% integration, 10% E2E.
Шаг 5: Выбрать инструменты
Выбирайте инструменты, соответствующие стеку, навыкам команды и бюджету. Категории: управление тестами, автоматизация E2E, API testing, нагрузочное, безопасность, доступность, CI/CD, баг-трекер.
Шаг 6: Спланировать ресурсы
Определите кто, что и когда делает. Структура команды и распределение времени по активностям.
Шаг 7: Определить метрики
Основные: DRE (цель >90%), покрытие выполнения (цель 95%), покрытие автоматизацией (цель 80%). Каденция отчётов: по спринту, релизу и ежемесячно.
Шаг 8: Ревью и утверждение
Рецензенты: CTO, Product Manager, Development Lead, Security Lead. Поделитесь черновиком, соберите обратную связь, проведите ревью, обновите, получите sign-off.
Практический пример: E-Commerce стартап
Контекст: ShopFast, стартап по продаже товаров ручной работы, 10 разработчиков, 0 тестировщиков (вы — первый найм), 50K MAU, еженедельные релизы.
Сокращённая стратегия:
- Продукт: E-commerce, React + Node.js + PostgreSQL + AWS
- Риски: Платежи (Критический), инвентарь (Высокий), регистрация (Средний)
- Скоуп: Все пользовательские потоки, API, производительность checkout, безопасность платежей
- Подход: Автоматизация регрессии для checkout, ручное исследовательское для новых фич
- Инструменты: Playwright, k6, OWASP ZAP, TestRail, GitHub Actions
- Ресурсы: Фаза 1: QA Lead строит фреймворк. Фаза 2: найм Automation Engineer
- Метрики: DRE >85% к месяцу 6, >90% к месяцу 12. Автоматизация: 50% к месяцу 6
- Ревью: Представить CTO и Product Lead
Шаблон стратегии
- Введение — Обзор продукта, цель документа, аудитория
- Скоуп — Что тестируется, что нет, обоснование
- Оценка рисков — Матрица рисков
- Подход к тестированию — Типы, автоматизация, пирамида
- Тестовое окружение — Инфраструктура, данные, доступы
- Инструменты — Выбор с обоснованием
- Команда и ресурсы — Роли, ответственности, распределение времени
- Метрики и отчётность — KPI, дашборды, каденция
- Критерии входа/выхода — Когда начинать и когда заканчивать
- Риски и митигация — Риски для самого процесса тестирования
- Утверждения — Sign-off стейкхолдеров
Упражнение: напишите тестовую стратегию
Сценарий: Вы QA Lead в MediBook, стартапе телемедицины. Пациенты могут записываться на видеоконсультации, просматривать медицинские записи и получать электронные рецепты. 15 разработчиков, 3 тестировщика (вы — лид), Scrum с двухнедельными спринтами.
Ключевые факты:
- Web (React) + нативные мобильные приложения (iOS и Android)
- Backend: Python/Django, PostgreSQL, Google Cloud
- 30K пациентов, 500 врачей
- Обязательное соответствие HIPAA, запланировано GDPR
- Ноль автоматизированных тестов
- Релизы каждые 2 недели
- Основные жалобы: медленные видеозвонки, неверные данные рецептов, проблемы со входом
Задание: Напишите стратегию, покрывающую все 8 шагов. Она должна быть реалистичной для размера команды и текущего состояния.
Подсказка
- Приоритизируйте безопасность пациентов: неверные данные рецептов — критический риск
- HIPAA добавляет требования к документации и audit trail
- С 3 тестировщиками и нулём автоматизации начинайте с малого
- Качество видео требует тестирования производительности/сети
- Мобильные приложения требуют отдельного внимания
- Рассмотрите фазовый подход: стабилизировать, затем автоматизировать, затем оптимизировать
Решение
Тестовая стратегия MediBook
1. Продукт: Телемедицинская платформа, 30K пациентов, 500 врачей, web + мобильные, Django + PostgreSQL + Google Cloud. Регулируется HIPAA.
2. Оценка рисков:
| Функция | Влияние | Вероятность | Приоритет |
|---|---|---|---|
| Точность рецептов | Критическое (безопасность) | Высокая | Наивысший |
| Качество видеозвонков | Высокое (ценностное предложение) | Высокая | Высокий |
| Доступ к мед. записям | Критическое (HIPAA) | Средняя | Высокий |
| Вход/аутентификация | Высокое (безопасность, жалобы) | Средняя | Высокий |
| Платежи | Высокое | Низкая | Средний |
3. Скоуп: Все потоки пациентов, workflow рецептов, видеозвонки, мед. записи, security testing, HIPAA compliance, API testing, кросс-платформенное. Вне скоупа: админ-панель врачей (только ручное), аналитика.
4. Подход по фазам:
- Фаза 1 (Нед. 1-6): Ручное тестирование + настройка фреймворка
- Фаза 2 (Нед. 7-18): Автоматизация регрессии
- Фаза 3 (Нед. 19-26): Производительность и compliance
5. Инструменты: Playwright, Detox/Appium, k6, OWASP ZAP, TestRail, GitHub Actions, Jira
6. Ресурсы: QA Lead: стратегия, фреймворк, compliance. Тестировщик 1: ручное, рецепты. Тестировщик 2: мобильное, кросс-платформа.
7. Метрики: DRE 85% к месяцу 3, 90% к месяцу 6. Escape rate рецептов: 0. Автоматизация: 30% к месяцу 3, 60% к месяцу 6. Внутренний аудит HIPAA: пройти к месяцу 6. MTTR для критических багов: <4 часа.
8. Ревью: Представить CTO, Head of Product, Compliance Officer. Ежемесячное ревью стратегии. Sign-off Compliance Officer на подход к HIPAA-тестированию.
Ключевые решения: Точность рецептов приоритизируется выше всего из-за безопасности пациентов. HIPAA — юридическое требование, не опция. Проблемы с видео требуют расследования перед тестированием. Мобильные приложения требуют выделенного внимания.
Ключевые выводы
- Тестовая стратегия — это ваша дорожная карта качества
- Следуйте 8 шагам: продукт, риски, скоуп, подход, инструменты, ресурсы, метрики, ревью
- Приоритизация по рискам обеспечивает эффективное использование ограниченных ресурсов
- Всегда явно указывайте, что не входит в скоуп, для управления ожиданиями
- Получите поддержку стейкхолдеров — стратегия, которой никто не следует, бесполезна
- Пересматривайте и обновляйте стратегию по мере развития продукта, команды и бизнеса