Документация Тестовых Данных: Каталогизация и Управление Тестовыми Активами

НаборТестовыхДанных:
  id: "TDS-2025-001"
  название: "Набор данных регистрации клиентов"
  описание: "Валидные и невалидные сценарии регистрации клиентов"
  категория: "Управление пользователями"
  дата_создания: "2025-10-08"
  последнее_изменение: "2025-10-08"
  владелец: "Лидер команды QA"
  версия: "1.0.0"

  классификация_данных:
    чувствительность: "Внутренний"
    содержит_pii: true
    требуется_шифрование: true

  соответствие:
    соответствует_gdpr: true
    период_хранения: "6 месяцев"
    дата_удаления: "2026-04-08"

  контекст_использования:
    типы_тестов: ["Функциональные", "Интеграционные", "Регрессионные"]
    окружения: ["DEV", "QA", "STAGING"]
    приложения: ["ПорталКлиента", "АдминПанель"]

  технические_детали:
    формат: "JSON"
    размер: "2.3 МБ"
    записей: 5000
    расположение: "s3://test-data/customer/registration/"

class ВерсияТестовыхДанных:
    def __init__(self, dataset_id):
        self.dataset_id = dataset_id
        self.история_версий = []

    def создать_версию(self, данные, комментарий):
        """Создать новую версию тестовых данных"""
        версия = {
            'номер_версии': self._получить_следующую_версию(),
            'временная_метка': datetime.now().isoformat(),
            'автор': os.getenv('USER'),
            'комментарий': комментарий,
            'контрольная_сумма': self._вычислить_контрольную_сумму(данные),
            'изменения': self._обнаружить_изменения(данные)
        }

        # Сохранить метаданные версии
        self.история_версий.append(версия)

        # Архивировать данные
        self._архивировать_данные(версия['номер_версии'], данные)

        return версия['номер_версии']

    def _вычислить_контрольную_сумму(self, данные):
        """Генерация SHA-256 контрольной суммы для целостности данных"""
        import hashlib
        строка_данных = json.dumps(данные, sort_keys=True)
        return hashlib.sha256(строка_данных.encode()).hexdigest()

## Журнал Изменений Тестовых Данных

### Версия 2.1.0 - 2025-10-08
**Автор:** Иванова Анна
**Рецензент:** Петров Иван

#### Внесенные Изменения:
- Добавлено 50 новых граничных сценариев для валидации email
- Обновлены форматы телефонных номеров для международного соответствия
- Удалены устаревшие типы платежных методов

#### Анализ Влияния:
- Затронутые тестовые наборы: Регистрация, Обновление профиля
- Требуемые обновления: API-тесты требуют новых паттернов email
- Обратная совместимость: Да, с предупреждениями

#### Результаты Валидации:
- [x] Валидация схемы пройдена
- [x] Ссылочная целостность сохранена
- [x] Бенчмарки производительности достигнуты

{
  "запись_конфиденциальности_данных": {
    "dataset_id": "TDS-2025-001",
    "поля_персональных_данных": [
      {
        "имя_поля": "email",
        "тип_данных": "Адрес электронной почты",
        "цель": "Тестирование аутентификации пользователей",
        "метод_анонимизации": "Псевдонимизация",
        "обоснование_хранения": "Требуется для регрессионного тестирования"
      },
      {
        "имя_поля": "телефон",
        "тип_данных": "Номер телефона",
        "цель": "Тестирование SMS-уведомлений",
        "метод_анонимизации": "Синтетическая генерация",
        "обоснование_хранения": "Зависимость тест-кейсов"
      }
    ],
    "основание_согласия": "Законный интерес - обеспечение качества",
    "источники_данных": ["Синтетический генератор", "Анонимизированная продакшн"],
    "контроль_доступа": {
      "авторизованные_роли": ["Инженер QA", "Тест-лид"],
      "шифрование": "AES-256",
      "аудит_логирование": true
    }
  }
}

# Конфигурация Генератора Тестовых Данных
class ГенераторДанныхКлиента:
    """
    Генерирует синтетические данные клиентов для тестирования
    Соответствует GDPR - не используются реальные персональные данные
    """

    def __init__(self):
        self.faker = Faker('ru_RU')
        self.правила_генерации = {
            'имя': {
                'метод': 'faker.first_name',
                'ограничения': None
            },
            'email': {
                'метод': 'пользовательский_email',
                'ограничения': {
                    'домен': '@testmail.example',
                    'уникальный': True
                }
            },
            'возраст': {
                'метод': 'случайное_целое',
                'ограничения': {
                    'мин': 18,
                    'макс': 95,
                    'распределение': 'нормальное'
                }
            },
            'баланс_счета': {
                'метод': 'десятичное',
                'ограничения': {
                    'мин': 0,
                    'макс': 1000000,
                    'точность': 2
                }
            }
        }

    def генерировать_набор_данных(self, количество_записей):
        """
        Генерирует указанное количество тестовых записей
        Возвращает: Список словарей клиентов
        """
        метаданные_набора = {
            'сгенерировано_в': datetime.now().isoformat(),
            'количество_записей': количество_записей,
            'семя': self.faker.seed_instance(),
            'версия_правил': '1.0.0'
        }

        return метаданные_набора, [self._генерировать_запись() for _ in range(количество_записей)]

семена_генерации:
  основное_семя: 42
  сопоставление_подсемян:
    имена_клиентов: 101
    адреса: 102
    транзакции: 103

  инструкции_воспроизведения: |
    Для воспроизведения именно этого набора данных:

    1. Установите семя Faker на значение основного семени
    2. Используйте Python 3.9+ с Faker==8.1.0
    3. Запустите: python generate_test_data.py --seed 42 --records 5000

## Матрица Данных по Окружениям

| Набор данных | DEV | QA | STAGING | PROD-LIKE |
|--------------|-----|-----|---------|-----------|
| Базовые пользователи | ✅ Полный | ✅ Полный | ✅ Полный | ✅ Подмножество |
| Транзакции 2024 | ✅ 1000 | ✅ 10K | ✅ 100K | ⚠️ Анонимизировано |
| Каталог продуктов | ✅ Полный | ✅ Полный | ✅ Полный | ✅ Полный |
| Методы оплаты | ✅ Mock | ✅ Mock | ✅ Sandbox | ❌ Н/Д |
| Исторические данные | ❌ Н/Д | ✅ 1 год | ✅ 2 года | ✅ 5 лет |

Легенда:

- ✅ Доступно
- ⚠️ Ограничено/Изменено
- ❌ Недоступно

{
  "график_обновления": {
    "DEV": {
      "частота": "Ежедневно",
      "время": "02:00 UTC",
      "источник": "Синтетический генератор",
      "хранение": "7 дней"
    },
    "QA": {
      "частота": "Еженедельно",
      "время": "Воскресенье 00:00 UTC",
      "источник": "Анонимизированный снимок продакшн",
      "хранение": "30 дней"
    },
    "STAGING": {
      "частота": "Раз в две недели",
      "время": "1-е и 15-е, 00:00 UTC",
      "источник": "Подмножество продакшн + синтетика",
      "хранение": "60 дней"
    }
  }
}

-- Правила Целостности Тестовых Данных
-- Они должны поддерживаться при создании или изменении тестовых данных

-- Правило 1: Каждый заказ должен иметь валидного клиента
SELECT COUNT(*) as заказы_сироты
FROM test_заказы з
LEFT JOIN test_клиенты к ON з.клиент_id = к.id
WHERE к.id IS NULL;

-- Правило 2: Сумма заказа должна совпадать с суммой позиций
SELECT з.id, з.итого, SUM(пз.количество * пз.цена) as рассчитанная_сумма
FROM test_заказы з
JOIN test_позиции_заказа пз ON з.id = пз.заказ_id
GROUP BY з.id, з.итого
HAVING з.итого != SUM(пз.количество * пз.цена);

-- Правило 3: Сумма платежа должна совпадать с суммой заказа
SELECT з.id, з.итого, п.сумма
FROM test_заказы з
JOIN test_платежи п ON з.id = п.заказ_id
WHERE з.итого != п.сумма;

class МетрикиКачестваТестовыхДанных:
    def __init__(self, набор_данных):
        self.набор_данных = набор_данных
        self.метрики = {}

    def рассчитать_полноту(self):
        """Процент не-null значений"""
        всего_полей = len(self.набор_данных) * len(self.набор_данных[0])
        не_null = sum(1 for запись in self.набор_данных
                     for поле in запись.values() if поле is not None)
        return (не_null / всего_полей) * 100

    def рассчитать_уникальность(self, поле):
        """Процент уникальных значений в поле"""
        значения = [запись[поле] for запись in self.набор_данных]
        уникальные_значения = len(set(значения))
        return (уникальные_значения / len(значения)) * 100

    def валидировать_форматы(self, правила_валидации):
        """Валидация данных против правил формата"""
        результаты_валидации = {}
        for поле, правило in правила_валидации.items():
            валидных = sum(1 for запись in self.набор_данных
                          if правило(запись.get(поле)))
            результаты_валидации[поле] = (валидных / len(self.набор_данных)) * 100
        return результаты_валидации

## Отчет о Качестве Тестовых Данных

**Набор данных:** Данные регистрации клиентов
**Дата:** 2025-10-08
**Проанализировано записей:** 5000

### Метрики Качества

| Метрика | Оценка | Цель | Статус |
|---------|--------|------|--------|
| Полнота | 98.5% | >95% | ✅ Пройдено |
| Уникальность (Email) | 100% | 100% | ✅ Пройдено |
| Валидность формата | 99.2% | >99% | ✅ Пройдено |
| Ссылочная целостность | 100% | 100% | ✅ Пройдено |
| Распределение возраста | Норма | Норма | ✅ Пройдено |

### Обнаруженные Проблемы
- 3 записи с отсутствующими номерами телефонов (допустимо для опционального поля)
- 1 запись с невалидным форматом почтового индекса (исправлено в v1.0.1)