Регуляризация: как научить модель не переучиваться

🎯 Зачем это нужно?

Представь: ты готовишься к ЕГЭ и зубришь все задания из сборника наизусть 📚. На пробнике получаешь 100 баллов, а на реальном экзамене - 60. Знакомо? Это и есть переобучение - твоя “модель” (мозг) слишком хорошо запомнила тренировочные данные, но не научилась обобщать!

То же самое происходит с машинным обучением:

• Netflix: без регуляризации рекомендательная система запоминает конкретных пользователей, но плохо работает с новыми
• Tesla: автопилот должен ехать по любым дорогам, а не только по тем, где тренировался
• Яндекс.Переводчик: переводит новые тексты, а не только те, что видел в обучении

📚 История вопроса

В 1970-х статистик Артур Хоерл работал в химической компании DuPont. Он заметил странность: сложные модели прекрасно работали на исторических данных, но ужасно предсказывали будущее 🤔

Хоерл предложил добавить к функции потерь “штраф за сложность” - так родилась Ridge регуляризация.

А в 1996 году Роберт Тибширани из Стэнфорда создал Lasso - более агрессивный метод, который вообще выбрасывает ненужные признаки из модели!

Сегодня регуляризация используется ВЕЗДЕ: от поисковых систем до медицинской диагностики.

💡 Интуиция

Проблема переобучения

Без регуляризации модель как отличник-зубрила:

• Идеально запоминает все примеры из учебника ✅
• Не может решить новую задачу ❌

[МЕДИА: image_01] Описание: График показывающий переобученную модель - сложная кривая идеально проходит через все точки тренировки, но плохо предсказывает новые данные Промпт: “educational illustration showing overfitting in machine learning, complex wavy curve perfectly fitting training points but failing on new test points, training vs validation loss curves, modern clean style, suitable for technical audience”

Регуляризация = умная лень

Регуляризация говорит модели: “Эй, не старайся ТАК сильно! Лучше будь проще и стабильнее” 😎

Это как правило: “Лучше знать основы хорошо, чем все детали плохо”

📐 Формальное определение

Базовая идея

Обычная функция потерь: L = ‖y - Xw‖² + λR(w)

где:

• ‖y - Xw‖² - основная ошибка (как раньше)
• λR(w) - штраф за сложность (NEW!)
• λ - сила регуляризации (гиперпараметр)

Ridge (L2) регуляризация

L_ridge = ‖y - Xw‖² + λ‖w‖₂²

где ‖w‖₂² = w₁² + w₂² + … + wₚ²

Штрафует за большие веса. Делает веса маленькими, но не обнуляет.

Lasso (L1) регуляризация

L_lasso = ‖y - Xw‖² + λ‖w‖₁

где ‖w‖₁ = |w₁| + |w₂| + … + |wₚ|

Штрафует за любые ненулевые веса. Может обнулить веса → автоматический отбор признаков!

[МЕДИА: image_02] Описание: Сравнительная визуализация Ridge vs Lasso - как они по-разному “сжимают” веса модели Prompts: “comparative visualization of Ridge vs Lasso regularization effects, showing weight shrinkage patterns, L1 vs L2 penalty visualization, mathematical illustration with clean modern design”

🔍 Примеры с разбором

Пример 1: Предсказание цены квартир

У нас 100 признаков: площадь, этаж, год постройки, расстояние до метро, количество окон, цвет стен… 🏠

Без регуляризации:

# Модель "запомнила" что квартира №47 стоит именно 8.5 млн
# Веса: [2.1, -0.3, 15.7, 0.001, ..., -847.2]
# Огромные веса → неустойчивость

Ridge (λ=0.1):

# Веса стали разумными: [1.2, -0.1, 2.3, 0.1, ..., -1.8]  
# Модель стабильнее, но использует все признаки

Lasso (λ=0.1):

# Автоматически выбрал важные: [1.1, 0, 2.1, 0, ..., 0]
# Цвет стен оказался неважен (вес = 0)

Пример 2: Выбор силы регуляризации λ

λ = 0 (нет регуляризации):

• Обучение: 95% точности
• Тест: 60% точности
• Диагноз: переобучение! 🤒

λ = 0.01 (слабая):

• Обучение: 88% точности
• Тест: 85% точности
• Неплохо! ✅

λ = 10 (сильная):

• Обучение: 70% точности
• Тест: 69% точности
• Слишком просто → недообучение 😴

🎮 Практика

Базовый уровень 🟢

Задание 1: У тебя модель с весами w = [5, -3, 8, 0.1]. Вычисли L1 и L2 штрафы.

Задание 2: Модель показывает 99% на обучении, 65% на валидации. Что делать?

Задание 3: Когда выбрать Ridge, а когда Lasso?

Продвинутый уровень 🟡

Задание 4: Объясни, почему Lasso обнуляет веса, а Ridge - нет.

Задание 5: Реализуй Ridge регрессию:

def ridge_loss(y_true, y_pred, weights, lambda_reg):
    # Твой код здесь
    pass

Задание 6: У тебя 1000 признаков, но только 50 важных. Какой метод выбрать?

Челлендж 🔴

Задание 7: Докажи, что Ridge регрессия имеет аналитическое решение: w = (X^T X + λI)^(-1) X^T y

Задание 8: Объясни связь между регуляризацией и байесовским подходом (MAP оценка).

Задание 9: Реализуй координатный спуск для Lasso без использования библиотек.

⚠️ Частые ошибки

❌ Ошибка: Регуляризуют bias (свободный член) ✅ Правильно: Регуляризуют только веса признаков
💡 Почему: bias не влияет на сложность модели

❌ Ошибка: Не нормализуют признаки перед Lasso/Ridge ✅ Правильно: Сначала StandardScaler, потом регуляризация 💡 Почему: иначе признаки в разных единицах штрафуются неравномерно

❌ Ошибка: λ подбирают на test set ✅ Правильно: λ подбирают на validation set 💡 Почему: иначе переобучение на тестовых данных

❌ Ошибка: Думают что больше λ = лучше
✅ Правильно: λ нужно аккуратно настраивать 💡 Почему: слишком большое λ → недообучение

🎓 Главное запомнить

✅ Регуляризация = штраф за сложность модели ✅ Ridge сжимает веса, Lasso может их обнулить ✅ λ контролирует силу регуляризации ✅ Используется для борьбы с переобучением

🔗 Связь с другими темами

Назад: Линейная регрессия (урок 311) → добавляем регуляризацию Вперед: Логистическая регрессия → те же методы регуляризации
Также: SVM (похожая идея margin maximization), нейросети (dropout, weight decay)