Критерий хи-квадрат: проверяем гипотезы как детектив

🎯 Зачем это нужно?

Представь, ты работаешь в Netflix и хочешь понять: влияет ли время просмотра на предпочтения жанров? 🎬 Или ты аналитик в банке и проверяешь: связан ли возраст клиента с выбором кредитной карты? 💳

А может, ты исследователь и хочешь выяснить: зависит ли успеваемость студентов от способа подачи материала (онлайн vs офлайн)? 📚

Во всех этих случаях тебе поможет критерий χ² (хи-квадрат) - один из самых популярных статистических тестов в мире! Он работает как детектив, который находит связи между категориальными данными.

Реальные применения:

• 🔬 A/B тестирование: “Влияет ли цвет кнопки на конверсию?”
• 🏥 Медицина: “Связана ли эффективность лечения с полом пациента?”
• 🎯 Маркетинг: “Зависят ли покупки от региона?”

📚 История вопроса

В 1900 году английский математик Карл Пирсон работал с данными о росте и весе людей. Он заметил странную вещь: когда сравниваешь наблюдаемые частоты с ожидаемыми (при независимости признаков), получается интересная статистика! 🤔

Пирсон назвал её χ² (греческая буква “хи”) и доказал, что она подчиняется специальному распределению. Поразительно: этот критерий используют до сих пор в 2024 году! Google, Meta, Amazon - все применяют χ² для A/B тестов.

Забавный факт: Пирсон также основал журнал Biometrika, который выходит уже 120+ лет! 📖

💡 Интуиция

Представь, что ты подбрасываешь честную монету 100 раз. Ожидаешь получить примерно 50 орлов и 50 решек, правда? 🪙

Но если выпало 48 орлов и 52 решки - это нормально (случайные колебания). А если 30 орлов и 70 решек - уже подозрительно! Может, монета нечестная? 🤨

Хи-квадрат работает точно так же:

1. Вычисляем, какими должны быть частоты при независимости
2. Сравниваем с тем, что реально наблюдали
3. Если разница большая → есть связь между признаками! 🔍

[МЕДИА: image_01] Описание: Визуализация концепции хи-квадрат через сравнение ожидаемых и наблюдаемых частот Промпт: “educational illustration showing expected vs observed frequencies comparison, bar charts side by side, chi-square concept visualization, modern data science style, blue and orange colors, clean background”

📐 Формальное определение

Статистика хи-квадрат Пирсона:

χ² = Σᵢⱼ [(Oᵢⱼ - Eᵢⱼ)² / Eᵢⱼ]

Где:

• Oᵢⱼ - наблюдаемая частота в ячейке (i,j)
• Eᵢⱼ - ожидаемая частота при независимости
• Eᵢⱼ = (сумма по строке i × сумма по столбцу j) / общая сумма

Степени свободы: df = (количество строк - 1) × (количество столбцов - 1)

Решающее правило:

• Если χ² > критического значения → отвергаем H₀ (есть связь!)
• Если p-value < α (обычно 0.05) → есть статистически значимая связь

🔍 Примеры с разбором

Пример 1: Netflix и жанры 🎬

Исследуем: зависят ли предпочтения жанров от возрастной группы?

Данные (1000 пользователей):

           | Комедии | Драмы | Боевики | Всего
18-25 лет  |   120   |   80  |   100   |  300
26-40 лет  |   160   |  140  |   100   |  400  
41+ лет    |    80   |  150  |    70   |  300
Всего      |   360   |  370  |   270   | 1000

Шаг 1: Формулируем гипотезы

• H₀: Предпочтения жанров НЕ зависят от возраста
• H₁: Предпочтения жанров зависят от возраста

Шаг 2: Вычисляем ожидаемые частоты Для ячейки “18-25, Комедии”: E₁₁ = (300 × 360) / 1000 = 108

Все ожидаемые частоты:

           | Комедии | Драмы | Боевики
18-25 лет  |   108   |  111  |   81   
26-40 лет  |   144   |  148  |  108   
41+ лет    |   108   |  111  |   81   

[МЕДИА: image_02] Описание: Сравнение наблюдаемых и ожидаемых частот в виде тепловой карты Промпт: “heatmap comparison of observed vs expected frequencies, Netflix genres by age groups, data visualization style, color-coded differences, statistical analysis presentation”

Шаг 3: Вычисляем статистику χ² χ² = (120-108)²/108 + (80-111)²/111 + … + (70-81)²/81 χ² = 1.33 + 8.65 + 4.46 + 1.78 + 0.43 + 0.59 + 7.26 + 13.72 + 1.49 = 39.71

Шаг 4: Степени свободы df = (3-1) × (3-1) = 4

Шаг 5: Критическое значение При α = 0.05 и df = 4: χ²крит = 9.49

Вывод: χ² = 39.71 > 9.49 → отвергаем H₀ Есть статистически значимая связь между возрастом и предпочтениями жанров! 🎉

Пример 2: A/B тест кнопки 🔘

Данные тестирования:

        | Нажали | Не нажали | Всего
Синяя   |   85   |    215    |  300
Красная |   45   |    155    |  200  
Всего   |  130   |    370    |  500

Ожидаемые частоты при независимости:

• Синяя, Нажали: (300 × 130) / 500 = 78
• Красная, Нажали: (200 × 130) / 500 = 52

χ² = (85-78)²/78 + (45-52)²/52 + (215-222)²/222 + (155-148)²/148 = 2.1

При df = 1, χ²крит = 3.84 χ² = 2.1 < 3.84 → нет значимой разницы между кнопками

🎮 Практика

Базовый уровень 🟢

Задание 1: Компания тестирует два дизайна сайта. Результаты:

         | Купили | Не купили | Всего
Дизайн A |   40   |    160    |  200
Дизайн B |   60   |    140    |  200

Есть ли значимая разница? (α = 0.05)

Задание 2: Исследуем связь пола и выбора мессенджера:

       | Telegram | WhatsApp | Всего
Мужчины|    45    |    55    |  100
Женщины|    25    |    75    |  100

Вычислите χ² и сделайте вывод.

Задание 3: Проверьте, зависит ли успех от времени отправки email:

       | Открыли | Не открыли | Всего
Утром  |   120   |    180     |  300
Вечером|    80   |    120     |  200

Продвинутый уровень 🟡

Задание 4: Банк изучает связь возраста и типа карты:

       | Дебетовая | Кредитная | Премиум | Всего
18-30  |    150    |    100    |    50   |  300
31-50  |    120    |    180    |   100   |  400  
50+    |    180    |     80    |    40   |  300

Найдите p-value и интерпретируйте результат.

Задание 5: Стриминговый сервис анализирует предпочтения:

           | Фильмы | Сериалы | Документальные | Всего
Подростки  |   80   |   150   |       20       |  250
Взрослые   |  120   |   100   |       80       |  300
Пожилые    |   60   |    40   |       50       |  150

Задание 6: A/B/C тест лендинга (3 варианта, 2 исхода). Какая версия лучше?

        | Конверсия | Без конверсии | Всего
Версия A|    85     |      415      |  500
Версия B|    92     |      408      |  500  
Версия C|    78     |      422      |  500

Челлендж 🔴

Задание 7: Многомерный анализ: пол × возраст × покупка

              | Купили | Не купили
М, 18-25      |   25   |    75
М, 26-40      |   40   |    60  
М, 41+        |   35   |    65
Ж, 18-25      |   30   |    70
Ж, 26-40      |   45   |    55
Ж, 41+        |   20   |    80

Проведите последовательный анализ: сначала пол vs покупка, потом возраст vs покупка.

Задание 8: Эффект Симпсона: В двух группах A и B тестируют лечение:

Группа A: вылечилось 20 из 100 (20%)
Группа B: вылечилось 16 из 80 (20%)

Но при разбивке по полу:

А, мужчины: 18/90 = 20%    Б, мужчины: 7/10 = 70%
А, женщины: 2/10 = 20%     Б, женщины: 9/70 = 13%

Объясните парадокс с помощью χ²!

⚠️ Частые ошибки

❌ Ошибка: Применять χ² при малых частотах (< 5 в ячейках) ✅ Правильно: Минимум 5 наблюдений в каждой ячейке, иначе используйте точный критерий Фишера 💡 Почему: При малых частотах асимптотика χ² не работает

❌ Ошибка: Путать χ² с корреляцией Пирсона ✅ Правильно: χ² для категориальных данных, корреляция для непрерывных 💡 Почему: Это совершенно разные методы анализа

❌ Ошибка: Забывать проверить предположения критерия ✅ Правильно: Данные должны быть независимыми, частоты ≥ 5 💡 Почему: Нарушение предположений делает тест некорректным

❌ Ошибка: Интерпретировать χ² как силу связи
✅ Правильно: χ² показывает значимость, для силы используйте V Крамера 💡 Почему: Большое χ² может быть из-за большой выборки при слабой связи

❌ Ошибка: Применять к непрерывным данным ✅ Правильно: Сначала разбейте на категории или используйте другие тесты 💡 Почему: χ² работает только с частотами, не с исходными значениями

🎓 Главное запомнить

✅ Суть: χ² сравнивает наблюдаемые и ожидаемые частоты при независимости ✅ Формула: χ² = Σ[(O - E)²/E], где O - наблюдаемое, E - ожидаемое
✅ Применение: Проверка независимости категориальных признаков, A/B тесты, анализ таблиц сопряженности

🔗 Связь с другими темами

Назад связано с: Основы статистики (урок 247), распределения, проверка гипотез Вперед пригодится: Точный тест Фишера, логлинейные модели, анализ главных компонент, машинное обучение (feature selection)