Квадратичные формы: от энергии до нейросетей

🎯 Зачем это нужно?

Представь, что ты создаёшь 3D-игру 🎮. Когда персонаж бросает мяч, компьютер рассчитывает его траекторию через квадратичную форму энергии. Когда нейросеть распознаёт твоё лицо в Instagram, она использует квадратичные формы для измерения “расстояний” между изображениями. А когда инженеры проектируют мост, квадратичные формы помогают понять, где конструкция будет испытывать максимальные напряжения!

🏗️ Инженерия: Анализ напряжений в конструкциях - квадратичная форма показывает энергию деформации 🤖 ML/AI: Функции потерь в нейросетях часто квадратичные - градиентный спуск ищет минимум 📊 Анализ данных: PCA использует квадратичные формы для поиска главных компонент ⚡ Физика: Кинетическая и потенциальная энергия - классические квадратичные формы

📚 История вопроса

В 1801 году Гаусс решал задачу о представлении чисел в виде x² + y² + z² (знаменитая проблема Варинга). Он понял, что ключ - в изучении общих выражений вида ax² + bxy + cy². Позже Лагранж и Сильвестр развили теорию, которая сегодня помогает SpaceX рассчитывать траектории ракет! 🚀

💡 Интуиция

Квадратичная форма - это как “энергетический ландшафт” 🏔️. Представь холмистую местность: где-то есть впадины (минимумы), где-то - вершины (максимумы), а где-то - седловые точки.

Простейший пример: f(x,y) = x² + y² Это парабола, “миска” с центром в начале координат. Куда ни пойди от центра - энергия только растёт!

А вот f(x,y) = x² - y² - это “седло”. По оси x энергия растёт, по оси y - падает.

[МЕДИА: image_01] Описание: 3D-визуализация квадратичных форм: параболоид (x² + y²) и седловая поверхность (x² - y²) Промпт: “3D mathematical surface plots showing quadratic forms, one bowl-shaped paraboloid for x² + y², one saddle surface for x² - y², gradient colors from blue (low) to red (high), modern scientific visualization style, clean white background”

📐 Формальное определение

Квадратичная форма от n переменных x₁, x₂, …, xₙ - это функция вида:

Q(x₁, x₂, …, xₙ) = ∑ᵢ,ⱼ₌₁ⁿ aᵢⱼxᵢxⱼ

где aᵢⱼ - вещественные коэффициенты.

В матричном виде: Q(x) = xᵀAx, где A - симметричная матрица n×n, x = [x₁, x₂, …, xₙ]ᵀ

Классификация по определённости:

• Положительно определённая: Q(x) > 0 для всех x ≠ 0 (все собственные значения λᵢ > 0)
• Отрицательно определённая: Q(x) < 0 для всех x ≠ 0 (все λᵢ < 0)
• Знакопеременная: есть точки, где Q(x) > 0 и Q(x) < 0 (λᵢ разных знаков)
• Вырожденная: det(A) = 0 (есть λᵢ = 0)

🔍 Примеры с разбором

Пример 1: Энергия пружинной системы

Две пружины соединяют три массы. Энергия системы: E(x₁, x₂) = ½k₁x₁² + ½k₂(x₂-x₁)² + ½k₃x₂²

Раскрываем: E = ½[(k₁+k₂)x₁² - 2k₂x₁x₂ + (k₂+k₃)x₂²]

Матрица: A = ½[k₁+k₂ -k₂; -k₂ k₂+k₃]

Если k₁ = k₃ = 2, k₂ = 1: A = [3/2 -1/2; -1/2 3/2]

Собственные значения: det(A - λI) = 0 (3/2 - λ)² - 1/4 = 0 λ₁ = 2, λ₂ = 1

Оба λ > 0 ⟹ форма положительно определена = система устойчива! ✅

Пример 2: Анализ функции потерь в ML

Пусть нейросеть имеет функцию потерь около минимума: L(w₁, w₂) ≈ 2w₁² + w₁w₂ + 3w₂²

Матрица Гессе: H = [4 1; 1 6]

Собственные значения: λ₁ = (10+√84)/2 ≈ 9.58, λ₂ = (10-√84)/2 ≈ 0.42

Оба λ > 0 ⟹ у нас локальный минимум! Градиентный спуск сойдётся 🎯

[МЕДIЯ: image_02] Описание: Контурная диаграмма функции потерь с траекторией градиентного спуска Промпт: “contour plot of quadratic loss function, elliptical contour lines, gradient descent trajectory spiraling to minimum, arrows showing gradient direction, machine learning visualization style, blue-green color scheme”

🎮 Практика

Базовый уровень 🟢

Задание 1: Найди матрицу квадратичной формы Q(x,y) = 3x² - 4xy + 2y²

Задание 2: Определи знакоопределённость Q(x,y) = x² + 4xy + 3y²

Задание 3: Приведи к каноническому виду Q(x,y) = x² + 2xy + y²

Продвинутый уровень 🟡

Задание 4: Для квадратичной формы Q(x,y,z) = x² + 2y² + 3z² + 2xy - 2xz найди главные оси

Задание 5: Докажи, что форма Q(x₁,x₂,x₃) = x₁² + x₂² - x₃² представляет гиперболоид

Задание 6: В задаче оптимизации min(x² + 3xy + 2y²) при ограничении x + y = 1 найди точку минимума

Челлендж 🔴

Задание 7: Пусть A - матрица квадратичной формы. Докажи: если все угловые миноры положительны, то форма положительно определена (критерий Сильвестра)

Задание 8: Найди все значения параметра a, при которых форма Q(x,y) = ax² + 2xy + y² положительно определена

⚠️ Частые ошибки

❌ Ошибка: Путают квадратичную и билинейную формы ✅ Правильно: Квадратичная форма Q(x,x), билинейная B(x,y) - это разные вещи 💡 Почему: B(x,y) = xᵀAy, а Q(x) = xᵀAx

❌ Ошибка: Забывают симметризовать матрицу при смешанных произведениях ✅ Правильно: Для 2xy берём a₁₂ = a₂₁ = 1, а не a₁₂ = 2 💡 Почему: Матрица квадратичной формы всегда симметричная

❌ Ошибка: Думают, что отрицательные собственные значения = “плохо” ✅ Правильно: В физике это может означать неустойчивость, но математически корректно 💡 Почему: Седловые точки тоже важны - это точки равновесия в динамических системах

🎓 Главное запомнить

✅ Суть: Квадратичная форма Q(x) = xᵀAx измеряет “энергию” вектора x ✅ Формула: Знакоопределённость = знаки всех собственных значений матрицы A ✅ Применение: От анализа устойчивости до оптимизации в машинном обучении

🔗 Связь с другими темами

Квадратичные формы - это мост между линейной алгеброй и анализом! Они появятся в:

• Методах оптимизации (урок 175) - условия второго порядка
• Главных компонентах (урок 180) - PCA как диагонализация ковариационной матрицы
• Дифференциальных уравнениях - исследование устойчивости решений
• Численных методах - итерационные алгоритмы и скорость сходимости