Оценка параметров: как машины учатся на данных

🎯 Зачем это нужно?

Представь: ты заходишь в TikTok, и алгоритм уже “знает”, какие видео тебе показать 📱. Spotify подбирает музыку под твое настроение. Netflix рекомендует фильмы. Как это работает?

Все эти системы решают одну задачу: по данным о пользователях найти скрытые параметры - кто любит комедии, кто предпочитает рок, кто смотрит видео по утрам. Это и есть оценка параметров!

💼 Реальные примеры:

• Uber/Яндекс.Такси: оценивают время поездки по историческим данным
• Банки: вычисляют вероятность дефолта по кредитной истории
• A/B тесты: определяют, улучшила ли новая кнопка конверсию

📚 История вопроса

В 1922 году статистик Рональд Фишер работал на сельскохозяйственной станции и пытался понять, как удобрения влияют на урожай 🌾. Проблема: данных мало, шума много. Так родился метод максимального правдоподобия - один из главных инструментов современного ML!

Интересный факт: тот же Фишер придумал ANOVA, F-тест и p-значения. Практически вся классическая статистика!

💡 Интуиция

[МЕДИА: image_01] Описание: Визуализация концепции оценки параметров - облако точек данных и подбор кривой Промпт: “educational illustration showing data points scattered on a graph with multiple possible curves fitting through them, one curve highlighted as best fit, modern clean style, blue and orange colors, suitable for technical audience”

Оценка параметров = игра в детектива 🕵️

У тебя есть:

• 📊 Данные (улики)
• 🧮 Модель (гипотеза о том, как устроен мир)
• ❓ Неизвестные параметры (что нужно найти)

Пример: Ты знаешь, что рост людей распределен нормально N(μ, σ²), но не знаешь среднее μ и дисперсию σ². По выборке ростов нужно их оценить.

Это как восстанавливать рецепт блюда, попробовав готовый результат! 👨‍🍳

📐 Формальное определение

Постановка задачи:

• Имеем выборку X₁, X₂, …, Xₙ из распределения с неизвестным параметром θ
• Нужно найти оценку θ̂ параметра θ

Основные методы:

1️⃣ Метод максимального правдоподобия (MLE): θ̂ₘₗₑ = argmax L(θ|x₁,…,xₙ)

2️⃣ Метод моментов: Приравниваем выборочные моменты к теоретическим

3️⃣ Байесовская оценка: Учитываем априорные знания о параметре

🔍 Примеры с разбором

Пример 1: Оценка среднего нормального распределения

Задача: У нас есть данные о времени отклика сервера (в мс): [245, 198, 267, 231, 289, 203, 256]. Предполагаем нормальное распределение N(μ, σ²). Найти оценку μ.

Решение методом максимального правдоподобия:

Функция правдоподобия для нормального распределения: L(μ, σ²) = ∏ᵢ₌₁ⁿ (1/√(2πσ²)) exp(-(xᵢ - μ)²/(2σ²))

Логарифм правдоподобия: ln L = -n/2 ln(2πσ²) - Σ(xᵢ - μ)²/(2σ²)

Дифференцируем по μ и приравниваем к нулю: ∂ln L/∂μ = Σ(xᵢ - μ)/σ² = 0

Получаем: μ̂ = x̄ = (245+198+267+231+289+203+256)/7 = 241.3 мс

[МЕДИА: image_02] Описание: График показывающий данные и найденную оценку среднего Промпт: “statistical plot showing server response time data points as histogram with fitted normal curve, mean line highlighted, professional data visualization style, suitable for technical presentation”

Пример 2: A/B тест конверсии

Задача: Тестируем новый дизайн кнопки “Купить”. Группа A (старый дизайн): 127 кликов из 1000 показов. Группа B (новый): 158 кликов из 1000 показов. Оценить разность конверсий.

Решение:

• p̂ₐ = 127/1000 = 0.127 (12.7%)
• p̂ᵦ = 158/1000 = 0.158 (15.8%)
• Разность: p̂ᵦ - p̂ₐ = 0.031 (3.1 п.п.)

Стандартная ошибка разности: SE = √(p̂ₐ(1-p̂ₐ)/nₐ + p̂ᵦ(1-p̂ᵦ)/nᵦ) = √(0.127×0.873/1000 + 0.158×0.842/1000) = 0.0147

95% доверительный интервал: 0.031 ± 1.96×0.0147 = [0.002; 0.060]

Новый дизайн статистически значимо лучше! 🎉

🎮 Практика

Базовый уровень 🟢

Задание 1: Время загрузки страниц сайта: [2.1, 1.8, 2.5, 2.2, 1.9, 2.4, 2.0] секунд. Найди оценку среднего времени загрузки.

Задание 2: В эксперименте подбросили монету 100 раз, выпало 58 орлов. Оценить вероятность выпадения орла.

Задание 3: Количество лайков постов блогера за неделю: [45, 52, 38, 67, 41, 59, 48]. Предполагая нормальное распределение, найти оценки μ и σ².

Задание 4: Конверсия лендинга: из 500 посетителей 87 оставили заявку. Построй 90% доверительный интервал для истинной конверсии.

Продвинутый уровень 🟡

Задание 5: Даны данные о доходах N(μ, σ²): [45000, 52000, 38000, 67000, 41000]. Найди MLE-оценки обоих параметров.

Задание 6: Время между заказами в интернет-магазине распределено экспоненциально Exp(λ). Данные: [0.5, 1.2, 0.8, 2.1, 0.3, 1.5, 0.9] часов. Найди оценку λ методом моментов.

Задание 7: A/B тест показал: группа A (n=800, 96 конверсий), группа B (n=750, 127 конверсий). Проверь значимость различий.

Задание 8: Количество багов в коде подчиняется распределению Пуассона Pois(λ). За 10 дней найдено [2, 1, 3, 0, 4, 1, 2, 3, 1, 2] бага. Оцени λ.

Челлендж 🔴

Задание 9: Реализуй EM-алгоритм для смеси двух нормальных распределений. Данные: [-2.1, -1.8, -0.5, 0.2, 1.8, 2.1, 2.5, 3.2]. Найди параметры компонент.

Задание 10: Байесовская оценка: априорное распределение среднего N(0, 1), данные [1.2, 0.8, 1.5]. Найди апостериорное распределение.

⚠️ Частые ошибки

❌ Ошибка: Путают выборочное среднее и истинное среднее ✅ Правильно: x̄ - это оценка μ, но не само μ
💡 Почему: Оценка случайна и может отличаться от параметра

❌ Ошибка: Используют смещенную оценку дисперсии s² = Σ(xᵢ-x̄)²/n ✅ Правильно: Несмещенная оценка s² = Σ(xᵢ-x̄)²/(n-1) 💡 Почему: При делении на n получается систематическая недооценка

❌ Ошибка: Игнорируют неопределенность оценки ✅ Правильно: Всегда указывают доверительные интервалы 💡 Почему: Точечная оценка без меры неопределенности малоинформативна

❌ Ошибка: Применяют нормальную аппроксимацию при малых выборках ✅ Правильно: Используют t-распределение при n < 30 💡 Почему: При малых n распределение имеет более тяжелые хвосты

❌ Ошибка: Забывают проверить предпосылки метода ✅ Правильно: Проверяют нормальность, независимость, одинаковое распределение
💡 Почему: Нарушение предпосылок делает оценки неэффективными

🎓 Главное запомнить

✅ Суть: Оценка параметров - поиск неизвестных характеристик распределения по выборке ✅ Ключевой принцип: MLE ищет параметры, максимизирующие вероятность наблюдаемых данных
✅ Применение: Основа всего машинного обучения - от линейной регрессии до нейросетей

🔗 Связь с другими темами

Откуда пришли: Урок 245 дал понимание распределений и их параметров - теперь учимся эти параметры находить по данным.

Куда ведет: Оценка параметров - фундамент для:

• 🧠 Линейной и логистической регрессии (оценка коэффициентов)
• 🎯 Нейронных сетей (обучение весов через градиентный спуск = MLE)
• 📊 Анализа A/B тестов и статистических гипотез
• 🔍 Байесовского машинного обучения
• ⚡ Временных рядов (оценка параметров ARIMA-моделей)