Naive Bayes: как алгоритм учится предсказывать по кусочкам

🎯 Зачем это нужно?

Представь: ты получаешь письмо “СРОЧНО! ВЫИГРАЙ МИЛЛИОН!” 📧. Твой мозг мгновенно понимает - это спам! Как? Ты анализируешь отдельные “кусочки”: CAPS LOCK, восклицательные знаки, слово “выиграй”… Именно так работает Naive Bayes!

Где используется:

• 🛡️ Gmail блокирует 99.9% спама именно благодаря Naive Bayes
• 😊 Анализ эмоций в соцсетях (позитивный/негативный комментарий)
• 🏥 Медицинская диагностика (симптомы → диагноз)
• 🛒 Рекомендации товаров в интернет-магазинах

📚 История вопроса

В 1763 году преподобный Томас Байес решил задачу: “Если монетку подбросили 10 раз и 7 раз выпал орёл, какова вероятность что она честная?” 🪙

Его формула 200 лет пылилась в архивах, пока в 1990-х не началась эра больших данных. И тут оказалось: “наивный” алгоритм Байеса побеждает сложные методы! Microsoft, Google, Facebook - все начали его использовать.

Почему “наивный”? Он наивно считает, что все признаки независимы. В реальности это не так, но работает отлично! 🤷‍♂️

💡 Интуиция

[МЕДИА: image_01] Описание: Схема анализа спам-письма с выделенными признаками Промпт: “educational illustration showing email spam detection, highlighted words and features like CAPS, exclamation marks, suspicious phrases, probability scores for each feature, modern clean style, suitable for technical audience”

Допустим, ты детектив и расследуешь кражу печенья 🍪. Улики:

• Крошки на полу ✅
• Пустая банка ✅
• Довольное лицо кота 😸

Naive Bayes спрашивает: “А какова вероятность, что кот виноват, ЕСЛИ есть каждая из этих улик?”

Формула Байеса переворачивает вопрос: “Какова вероятность улик, ЕСЛИ кот виноват?”

И самое “наивное” - он считает улики независимыми: крошки не связаны с пустой банкой. На практике это работает!

📐 Формальное определение

Теорема Байеса: P(класс|признаки) = P(признаки|класс) × P(класс) / P(признаки)

Naive Bayes предполагает независимость: P(x₁,x₂,…,xₙ|класс) = P(x₁|класс) × P(x₂|класс) × … × P(xₙ|класс)

Итоговая формула: P(класс|x₁,x₂,…,xₙ) ∝ P(класс) × ∏P(xᵢ|класс)

Где ∝ означает “пропорционально” (константу можем игнорировать при сравнении классов).

🔍 Примеры с разбором

Пример 1: Спам-фильтр

Данные для обучения:

СПАМ: "выиграй деньги сейчас!!!"
СПАМ: "срочно! получи приз!"
НЕ СПАМ: "встретимся завтра в кафе"
НЕ СПАМ: "отчёт готов, проверь"

[МЕДИА: image_02] Описание: Пошаговый расчёт вероятностей для спам-фильтра Промпт: “step-by-step calculation diagram showing spam filter probability computation, tables with word frequencies, probability calculations, educational mathematical illustration, clean modern design”

Шаг 1: Считаем базовые вероятности

• P(СПАМ) = 2/4 = 0.5
• P(НЕ СПАМ) = 2/4 = 0.5

Шаг 2: Вероятности слов в каждом классе

P("выиграй"|СПАМ) = 1/2 = 0.5
P("выиграй"|НЕ СПАМ) = 0/2 = 0 → 0.01 (сглаживание!)
P("!!"|СПАМ) = 2/2 = 1.0
P("!!"|НЕ СПАМ) = 0/2 = 0.01

Шаг 3: Классифицируем “выиграй приз!!”

P(СПАМ|"выиграй приз!!") ∝ 0.5 × 0.5 × 0.8 × 1.0 = 0.2
P(НЕ СПАМ|"выиграй приз!!") ∝ 0.5 × 0.01 × 0.01 × 0.01 = 0.0000005

Результат: СПАМ! (0.2 » 0.0000005)

Пример 2: Анализ эмоций

Новый твит: “Этот фильм просто ужасный скучный”

Модель знает:

• P(“ужасный”|негатив) = 0.8, P(“ужасный”|позитив) = 0.1
• P(“скучный”|негатив) = 0.7, P(“скучный”|позитив) = 0.2
• P(негатив) = 0.4, P(позитив) = 0.6

Расчёт:

P(негатив|твит) ∝ 0.4 × 0.8 × 0.7 = 0.224
P(позитив|твит) ∝ 0.6 × 0.1 × 0.2 = 0.012

Вердикт: Негативный! 😞

🎮 Практика

Базовый уровень 🟢

Задание 1: У тебя есть данные о погоде и прогулках:

Солнечно → Гуляю (3 раза)
Дождь → Сижу дома (2 раза)  
Солнечно → Сижу дома (1 раз)

Какова вероятность погулять в солнечный день?

Задание 2: В корзине фруктов:

• Красные яблоки: сладкие (8), кислые (2)
• Зелёные яблоки: сладкие (3), кислые (7)

Если яблоко красное, какова вероятность что оно сладкое?

Задание 3: Простой спам-детектор видит слова:

• “Скидка”: в спаме (90%), в нормальных письмах (10%)
• “Встреча”: в спаме (5%), в нормальных письмах (80%)

Письмо содержит “скидка”. Спам или нет, если P(спам) = 0.3?

Продвинутый уровень 🟡

Задание 4: Создай Naive Bayes для диагностики простуды:

# Симптомы: [температура, кашель, насморк]
# Данные: 
здоров = [[36.6, False, False], [36.8, False, False]]
болен = [[38.2, True, True], [37.9, True, False], [38.5, False, True]]

Диагноз для пациента с [37.5, True, False]?

Задание 5: Классификатор эмоций в чатах:

• 😊 Позитив: “круто”, “супер”, “класс”
• 😞 Негатив: “плохо”, “ужас”, “кошмар”
• 😐 Нейтрал: “нормально”, “ладно”, “понятно”

Классифицируй: “это просто ужас какой-то”

Задание 6: Netflix рекомендует фильмы:

Любит экшн: боевики (80%), комедии (30%), драмы (40%)
Не любит: боевики (20%), комедии (70%), драмы (60%)

Пользователь смотрит боевик и комедию. Понравится ли драма?

Челлендж 🔴

Задание 7: Автоматическое определение языка:

• Английский: “the” (12%), “and” (8%), “is” (6%)
• Русский: “и” (9%), “в” (7%), “не” (5%)
• P(английский) = 0.6, P(русский) = 0.4

Текст: “the movie is good and interesting”

Задание 8: Медицинский диагноз с тремя болезнями:

• Грипп: температура (95%), кашель (80%), головная боль (70%)
• ОРВИ: температура (60%), кашель (90%), головная боль (30%)
• Здоров: температура (5%), кашель (10%), головная боль (20%)

Симптомы: температура + кашель. Диагноз?

⚠️ Частые ошибки

❌ Ошибка: “Naive Bayes плохой, потому что признаки зависимы” ✅ Правильно: Несмотря на “наивность”, работает отлично на практике 💡 Почему: Для классификации важен относительный порядок вероятностей, а не точные значения

❌ Ошибка: Использовать P = 0 для отсутствующих слов ✅ Правильно: Применять сглаживание (Laplace smoothing) 💡 Почему: Одно невиданное слово не должно обнулять всю вероятность

❌ Ошибка: Забывать нормализовать вероятности ✅ Правильно: Следить, чтобы сумма P всех классов = 1 💡 Почему: Иначе результаты будут некорректными

🎓 Главное запомнить

✅ Naive Bayes = “наивное” предположение о независимости + теорема Байеса ✅ P(класс|признаки) ∝ P(класс) × ∏P(признак|класс)
✅ Отлично работает для текстов, медицины, фильтрации спама

🔗 Связь с другими темами

Откуда пришли: Условная вероятность (урок 314) → основа для понимания P(A|B) Куда ведёт: Логистическая регрессия, SVM, ансамбли методов Расширения: Gaussian Naive Bayes для непрерывных признаков, Multinomial NB для текстов