Геометрический смысл производной 📐

Открой любой курс по нейросетям на моменте, где объясняют градиентный спуск, — и почти наверняка увидишь одну и ту же картинку: холмистая поверхность лосса и шарик, который скатывается вниз. Красиво, но обманчиво. Никакого «скатывания» в алгоритме нет: компьютер не видит поверхность целиком, он стоит в одной-единственной точке и знает про неё ровно одно число — насколько круто здесь идёт склон. Это число называется производной, и весь градиентный спуск — это повторяющееся действие «посмотри, куда наклонена касательная, и сделай маленький шаг вдоль неё».

В прошлом уроке производная появилась как предел: мы брали приращение аргумента $\Delta x$, считали приращение функции $\Delta y$, делили одно на другое и устремляли $\Delta x$ к нулю. Получилось честное определение, но довольно абстрактное — колонка чисел, которая к чему-то сходится. Сегодня мы дадим этому числу лицо: окажется, что предел отношения приращений — это в точности тангенс угла наклона касательной к графику функции. Не метафора, не «примерно так», а строгое равенство $f'(x_0) = \tan\alpha$.

И как только производная становится наклоном, она перестаёт быть школьным упражнением. Уравнение касательной — это лучшее линейное приближение функции возле точки, то самое, на котором держатся численные методы: метод Ньютона решает уравнения, подменяя кривую касательной; расширенный фильтр Калмана линеаризует движение спутника; градиентный спуск делает шаг вдоль касательной к функции потерь. Даже вечная беда обучения глубоких сетей — «затухающие градиенты» — на языке этого урока формулируется одной фразой: у сигмоиды на краях касательная почти горизонтальна, и шаг вдоль неё получается микроскопическим.

Давай разберёмся по порядку: сначала секущая и её наклон, потом предельный переход к касательной, потом рабочие формулы — и в конце практика, где будет и классика (найди уравнение касательной), и то, что ты будешь потом писать в коде.

🎯 Ты узнаешь:

• Что такое секущая, почему её угловой коэффициент — это то же самое разностное отношение, и как секущая превращается в касательную
• Почему $f'(x_0) = \tan\alpha = k_{\text{кас}}$ и что делать, если школьное «касается в одной точке» противоречит этому
• Как за четыре шага написать уравнение касательной $y = f(x_0) + f'(x_0)(x - x_0)$ и уравнение нормали
• Как найти угол между двумя кривыми и что значит «кривые ортогональны»
• Когда касательная горизонтальна, когда вертикальна, а когда её нет вовсе
• Что такое линеаризация $f(x_0 + \Delta x) \approx f(x_0) + f'(x_0)\Delta x$, как оценить её погрешность и почему шаг градиентного спуска обязан быть маленьким

История: откуда это взялось?

Задача о касательной старше производной примерно на полвека. В 1630-х годах Пьер Ферма — юрист из Тулузы, занимавшийся математикой в свободное время, — разослал коллегам рукопись «Метод отыскания наибольших и наименьших значений». Приём, который он там описал, назывался adéquation («приравнивание почти-равного»): Ферма брал точку $x$, сдвигал её на маленькую величину $E$, составлял разность значений, делил на $E$ — и в конце просто вычёркивал все слагаемые, где $E$ ещё осталось. Формально это было беззаконие: сначала на $E$ делят (значит, $E \neq 0$), потом $E$ объявляют нулём. Но ответы получались верные, и с их помощью Ферма строил касательные к параболам и находить максимумы кривых.

Рене Декарт, у которого в «Геометрии» (1637) был свой метод касательных — через окружность, пересекающую кривую в двойной точке, — принял метод Ферма в штыки и в переписке 1638 года устроил настоящую войну. Кончилось тем, что Декарт бросил сопернику вызов: построить касательную к кривой $x^3 + y^3 = 3axy$ (её до сих пор называют «декартов лист»). Ферма справился за один заход, и Декарту пришлось признать поражение. Спустя полтора века Лагранж напишет, что именно Ферма следует считать подлинным изобретателем дифференциального исчисления.

Строгую связь «наклон касательной ↔ скорость изменения» замкнули следующие два поколения. Исаак Барроу в «Геометрических лекциях» (1670) ввёл характеристический треугольник с катетами $\Delta x$ и $\Delta y$ — тот самый треугольник, который мы рисуем и сегодня. Его ученик Ньютон говорил о «флюксиях» — скоростях течения величин. А Лейбниц в статье 1684 года с длинным названием «Новый метод для максимумов и минимумов, а также для касательных...» ввёл обозначения $dx$ и $dy$ и определил касательную как прямую, проходящую через две бесконечно близкие точки кривой. Слово «бесконечно близкие» ещё сто сорок лет никто не мог определить аккуратно — это сделал Огюстен Коши в «Курсе анализа» (1821), заменив бесконечно малые на предел. Именно версия Коши лежит в основе того, что мы делаем в этом уроке.

Мостик в сегодня получается неожиданно коротким. Когда ты вызываешь loss.backward() в PyTorch, машина за доли секунды вычисляет угловые коэффициенты касательных сразу по миллионам направлений — и делает с ними ровно то, что делал Ферма: сдвигается туда, где функция убывает. Разница только в том, что у Ферма это была одна кривая на листе бумаги, а у тебя — поверхность в пространстве размерности сто миллионов.

Секущая: наклон на отрезке

Интуиция: средний уклон дороги

Представь, что ты едешь на велосипеде в гору, и у тебя есть карта высот. Ты стартовал на высоте 200 метров, через 4 километра оказался на высоте 340 метров. Средний уклон посчитать легко: $\frac{340 - 200}{4000} = 0{,}035$, то есть 3,5%. Это число ничего не говорит о том, что происходило на конкретном метре пути — может, был кусок в 15% и кусок под горку. Оно описывает отрезок целиком.

На графике функции этому среднему уклону соответствует прямая, соединяющая две точки графика. Такая прямая называется секущей — от латинского secans, «рассекающая»: она пересекает кривую.

Определение: Секущей к графику функции $y = f(x)$ называется прямая, проходящая через две различные точки этого графика: $A(x_0;\ f(x_0))$ и $B(x_0 + \Delta x;\ f(x_0 + \Delta x))$.

Её угловой коэффициент считается по школьной формуле «изменение по вертикали делить на изменение по горизонтали»:

Посмотри на правую часть внимательно. Это буквально то самое разностное отношение, с которого начинался прошлый урок. То есть у разностного отношения с самого начала была геометрическая жизнь: это наклон секущей. Прямоугольный треугольник с катетами $\Delta x$ и $\Delta y$ и гипотенузой на секущей — тот самый характеристический треугольник Барроу.

Примеры с разбором

Пример 1 (простой). Найдём угловой коэффициент секущей к параболе $y = x^2$, проходящей через точки с абсциссами $x_0 = 1$ и $x_0 + \Delta x = 3$.

Шаг 1. Считаем значения функции: $f(1) = 1$, $f(3) = 9$.

Шаг 2. Приращения: $\Delta x = 3 - 1 = 2$, $\Delta y = 9 - 1 = 8$.

Шаг 3. Наклон: $k_{\text{сек}} = \dfrac{8}{2} = 4$.

Секущая идёт вверх под углом $\arctan 4 \approx 76^\circ$. Заметь: сама парабола на отрезке $[1;\ 3]$ где-то положе этой прямой, где-то круче — секущая усредняет.

Ответ: $k_{\text{сек}} = 4$.

Пример 2 (средний). Та же парабола, та же стартовая точка $x_0 = 1$, но теперь будем уменьшать $\Delta x$ и следить за наклоном.

Шаг 1. Выведем формулу наклона в общем виде:

Шаг 2. Подставляем значения:

Шаг 3. Видно, что при $\Delta x \to 0$ наклон стремится к $2$ — причём и справа, и слева. А $2$ — это как раз $f'(1)$ для $f(x) = x^2$, потому что $(x^2)' = 2x$.

Ответ: наклоны секущих стремятся к $2$; предельное значение совпадает с $f'(1)$.

Пример 3 (сложный). Возьмём гиперболу $y = \dfrac{1}{x}$ и точку $x_0 = 2$. Найдём наклон секущей как функцию $\Delta x$ и его предел.

Шаг 1. Обозначим $h = \Delta x$ и запишем разностное отношение:

Шаг 2. Приводим числитель к общему знаменателю:

Шаг 3. Делим на $h$ (при $h \neq 0$ это законно):

Шаг 4. Считаем несколько значений: при $h = 1$ получаем $-\frac{1}{6} \approx -0{,}167$; при $h = 0{,}1$ получаем $-\frac{1}{4{,}2} \approx -0{,}238$; при $h = 0{,}01$ получаем $-\frac{1}{4{,}02} \approx -0{,}2488$.

Шаг 5. Предел при $h \to 0$: $k_{\text{сек}} \to -\dfrac{1}{4} = -0{,}25$. И это ровно $f'(2)$, ведь $\left(\frac{1}{x}\right)' = -\frac{1}{x^2}$, значит $f'(2) = -\frac14$.

Знак минус означает, что секущая идёт вниз: гипербола на положительной полуоси убывает.

Ответ: $k_{\text{сек}} = -\dfrac{1}{2(2+h)}$, предел равен $-0{,}25$.

Почему это важно

Секущая — это единственное, что реально доступно компьютеру. Ни один численный алгоритм не умеет «взять предел»: он умеет посчитать значение функции в двух близких точках и поделить разность на расстояние. Когда ты в PyTorch делаешь gradcheck, чтобы проверить, правильно ли написан твой собственный слой, библиотека считает именно наклон секущей с крошечным $h$ и сравнивает с аналитическим градиентом. Так что вся вычислительная математика живёт на секущих, а касательная — это идеал, к которому они сходятся.

Рабочий набор производных

Прежде чем идти дальше, соберём в одном месте то, что уже было выведено по определению в уроке 133. Правила дифференцирования появятся только в уроке 136, таблица производных — в 138, так что пока живём этим набором:

Ещё одна заготовка пригодится нам десяток раз, поэтому выведем её прямо сейчас — честно, по определению.

Производная квадратного трёхчлена. Пусть $f(x) = ax^2 + bx + c$. Тогда

Раскроем квадрат: $a(x_0^2 + 2x_0h + h^2) = ax_0^2 + 2ax_0h + ah^2$. Слагаемые $ax_0^2$, $bx_0$ и $c$ взаимно уничтожаются, остаётся

При $h \to 0$ последнее слагаемое исчезает:

Это не «правило дифференцирования», а один конкретный результат, полученный из определения, — им можно пользоваться свободно.

От секущей к касательной

Интуиция: приближаем вторую точку к первой

Возьми на графике две точки — $A$ и $B$ — и проведи через них секущую. Теперь начинай двигать $B$ по кривой в сторону $A$. Секущая при этом поворачивается: её наклон меняется. Когда $B$ подойдёт к $A$ вплотную, секущая займёт некоторое предельное положение — и вот эта предельная прямая называется касательной.

Важно понять, почему нельзя сказать проще: «касательная — это прямая, которая касается графика в одной точке и не пересекает его». Такое «определение» ломается на первом же примере. У кубической параболы $y = x^3$ касательная в точке $(0;\ 0)$ — это ось $Ox$, и она честно пересекает график: слева кривая ниже оси, справа выше. А касательная к синусоиде в точке максимума касается её в бесконечном множестве точек — во всех остальных максимумах тоже. Зато вертикальная прямая $x = 1$ пересекает параболу $y = x^2$ ровно в одной точке и не является касательной ни разу.

Поэтому определение строится через предел — так же, как и сама производная.

Определение: Касательной к графику функции $y = f(x)$ в точке $A(x_0;\ f(x_0))$ называется предельное положение секущей $AB$ при стремлении точки $B$ к точке $A$ по графику, если такое предельное положение существует.

Оговорка «если существует» — не формальность: ниже будут функции, у которых предельного положения нет.

Главная теорема урока

Свяжем определение касательной с производной. Наклон секущей равен разностному отношению; при $\Delta x \to 0$ секущая переходит в касательную, а разностное отношение — в производную. Значит, наклон касательной и есть производная.

Геометрический смысл производной: если функция $f$ дифференцируема в точке $x_0$, то в точке $(x_0;\ f(x_0))$ у её графика существует невертикальная касательная, и её угловой коэффициент равен $f'(x_0)$:

$$f'(x_0) = k_{\text{кас}} = \tan\alpha,$$

где $\alpha$ — угол между касательной и положительным направлением оси $Ox$, отсчитываемый против часовой стрелки, $0^\circ \leqslant \alpha < 180^\circ$.

Три следствия читаются мгновенно:

• $f'(x_0) > 0$ — касательная поднимается слева направо, угол острый ($0^\circ < \alpha < 90^\circ$);
• $f'(x_0) < 0$ — касательная опускается, угол тупой ($90^\circ < \alpha < 180^\circ$);
• $f'(x_0) = 0$ — касательная горизонтальна, $\alpha = 0^\circ$.

И ещё: чем больше модуль производной, тем круче наклон. $f'(x_0) = 0{,}1$ — почти пологая площадка (около $5{,}7^\circ$), $f'(x_0) = 10$ — почти обрыв (около $84^\circ$).

Примеры с разбором

Пример 1 (простой). Под каким углом наклонена касательная к параболе $y = x^2$ в точке $x_0 = 1$?

Шаг 1. Производная: $f'(x) = 2x$, значит $f'(1) = 2$.

Шаг 2. По геометрическому смыслу $\tan\alpha = 2$.

Шаг 3. Отсюда $\alpha = \arctan 2 \approx 63{,}43^\circ$, то есть примерно $63^\circ 26'$.

Проверка здравым смыслом: производная положительна, парабола в точке $x = 1$ растёт — угол должен быть острым. $63^\circ$ острый ✅

Ответ: $\alpha = \arctan 2 \approx 63{,}4^\circ$.

Пример 2 (средний). Найдём угол наклона касательной к гиперболе $y = \dfrac{1}{x}$ в точке $x_0 = 2$.

Шаг 1. $f'(x) = -\dfrac{1}{x^2}$, значит $f'(2) = -\dfrac14 = -0{,}25$.

Шаг 2. $\tan\alpha = -0{,}25$. Тангенс отрицательный — угол тупой.

Шаг 3. Считаем: острый вспомогательный угол $\arctan 0{,}25 \approx 14{,}04^\circ$, значит

Шаг 4. Смысл: касательная почти горизонтальна, но чуть-чуть уходит вниз — гипербола в этом месте убывает медленно.

Ответ: $\alpha \approx 165{,}96^\circ$ (наклон вниз, около $14^\circ$ к горизонтали).

Пример 3 (сложный). Разберёмся с кубической параболой $y = x^3$ в точке $x_0 = 0$: найдём касательную и проверим, действительно ли она пересекает график.

Шаг 1. $f'(x) = 3x^2$, значит $f'(0) = 0$. Касательная горизонтальна.

Шаг 2. Проходит она через точку $(0;\ 0)$, значит это прямая $y = 0$ — ось абсцисс.

Шаг 3. Проверяем «пересекает или нет». Для $x > 0$ имеем $x^3 > 0$ — график выше оси. Для $x < 0$ имеем $x^3 < 0$ — график ниже оси. То есть в точке касания кривая переходит с одной стороны прямой на другую: касательная пересекает график.

Шаг 4. Противоречия нет: определение через предельное положение секущей ничего не говорит о пересечениях. Секущие через $(0;0)$ и $(h;h^3)$ имеют наклон $\frac{h^3}{h} = h^2 \to 0$, значит предельное положение — горизонталь, всё сходится.

Ответ: касательная $y = 0$; она пересекает график, и это нормально.

Почему это важно

Эта теорема — переводчик между двумя языками. Слева — язык анализа: пределы, приращения, разностные отношения. Справа — язык геометрии: наклон, угол, прямая. Всё, что дальше будет происходить с производной (поиск максимумов, исследование графиков, оптимизация нейросетей), опирается на возможность свободно переходить туда-сюда. Когда инженер говорит «мы застряли на плато», он произносит утверждение из анализа ($f'$ близка к нулю), но думает картинкой из геометрии (касательная горизонтальна, идти некуда).

Уравнение касательной

Как оно получается

Мы знаем про касательную две вещи: она проходит через точку $M_0(x_0;\ f(x_0))$ и её угловой коэффициент равен $f'(x_0)$. Этого достаточно — прямая с заданным наклоном через заданную точку единственна.

Уравнение прямой с угловым коэффициентом $k$, проходящей через точку $(x_0;\ y_0)$, выглядит как $y - y_0 = k(x - x_0)$. Подставляем $y_0 = f(x_0)$ и $k = f'(x_0)$:

Уравнение касательной к графику функции $y = f(x)$ в точке $x_0$:

$$y = f(x_0) + f'(x_0)\,(x - x_0).$$

Обрати внимание на структуру: первое слагаемое — это высота, второе — поправка за счёт наклона. При $x = x_0$ второе слагаемое обнуляется и остаётся $y = f(x_0)$ — касательная проходит через точку касания. Это, кстати, лучший способ мгновенно проверить себя.

Алгоритм в четыре шага:

1. Найти $f(x_0)$ — ординату точки касания.

2. Найти производную $f'(x)$ как функцию.

3. Вычислить число $f'(x_0)$, подставив $x_0$.

4. Подставить оба числа в формулу и упростить до вида $y = kx + b$.

Третий шаг — место, где ошибаются чаще всего: в формулу попадает $f'(x)$ с буквой $x$, и вместо прямой получается кривая. Если у тебя в ответе после раскрытия скобок остался $x^2$ — значит, ты не подставил $x_0$.

Примеры с разбором

Пример 1 (простой). Напишем уравнение касательной к $y = x^2$ в точке $x_0 = -1$.

Шаг 1. $f(-1) = (-1)^2 = 1$. Точка касания: $(-1;\ 1)$.

Шаг 2. $f'(x) = 2x$.

Шаг 3. $f'(-1) = 2 \cdot (-1) = -2$.

Шаг 4. Подставляем:

Проверка: при $x = -1$ получаем $y = 2 - 1 = 1$ ✅ — попали в точку касания.

Ответ: $y = -2x - 1$.

Пример 2 (средний). Касательная к $y = \sqrt{x}$ в точке $x_0 = 9$. Заодно оценим с её помощью $\sqrt{9{,}6}$.

Шаг 1. $f(9) = 3$.

Шаг 2. $f'(x) = \dfrac{1}{2\sqrt{x}}$.

Шаг 3. $f'(9) = \dfrac{1}{2 \cdot 3} = \dfrac16$.

Шаг 4. Уравнение:

Шаг 5. Проверка: при $x = 9$ получаем $\frac96 + 1{,}5 = 1{,}5 + 1{,}5 = 3$ ✅

Шаг 6. Оценка корня: подставим $x = 9{,}6$ в уравнение касательной: $y = 1{,}6 + 1{,}5 = 3{,}1$. Точное значение $\sqrt{9{,}6} = 3{,}09839\ldots$ — промахнулись на $0{,}0016$, то есть на $0{,}05\%$.

Ответ: $y = \dfrac{x}{6} + \dfrac32$; $\sqrt{9{,}6} \approx 3{,}1$.

Пример 3 (сложный). Из точки $P(2;\ -5)$ проведены касательные к параболе $y = x^2$. Найдём их уравнения.

Здесь ловушка: точка $P$ не лежит на параболе (ведь $2^2 = 4 \neq -5$), поэтому она не является точкой касания. Абсциссу точки касания надо найти.

Шаг 1. Обозначим неизвестную абсциссу точки касания через $a$. Тогда $f(a) = a^2$, $f'(a) = 2a$, и касательная имеет вид

Шаг 2. Требуем, чтобы эта прямая проходила через $P(2;\ -5)$. Подставляем $x = 2$, $y = -5$:

Шаг 3. Переносим всё в одну сторону:

Шаг 4. Решаем: дискриминант $D = 16 + 20 = 36$, корни $a = \dfrac{4 \pm 6}{2}$, то есть $a_1 = 5$, $a_2 = -1$.

Шаг 5. Подставляем в $y = 2ax - a^2$:

при $a = 5$: $y = 10x - 25$; при $a = -1$: $y = -2x - 1$.

Шаг 6. Проверка. Первая прямая в точке $x=2$: $20 - 25 = -5$ ✅ Вторая: $-4 - 1 = -5$ ✅ Обе проходят через $P$.

Ответ: две касательные — $y = 10x - 25$ (касание в точке $(5;\ 25)$) и $y = -2x - 1$ (касание в точке $(-1;\ 1)$).

Почему это важно

Уравнение касательной — это первая в курсе формула, которая заменяет сложный объект простым. Функция может быть какой угодно неудобной, но возле одной точки она ведёт себя как прямая, и эту прямую ты умеешь выписать за четыре шага. Дальше вся вычислительная математика делает ровно это: подменяет функцию касательной, решает лёгкую линейную задачу, сдвигается в новую точку и повторяет. Метод Ньютона, градиентный спуск, линеаризация в фильтре Калмана, локальные объяснения моделей вроде LIME — это всё одна и та же формула, применённая много раз подряд.

Нормаль к кривой

Интуиция: перпендикуляр к склону

Если касательная — это «направление вдоль склона», то нормаль — «направление поперёк». Стоя на склоне холма, ты можешь идти вдоль горизонтали (касательная) или строго вбок от неё — по линии наибольшего наклона.

Определение: Нормалью к графику функции $y = f(x)$ в точке $x_0$ называется прямая, проходящая через точку касания $(x_0;\ f(x_0))$ перпендикулярно касательной в этой точке.

Из курса геометрии известно: две прямые с угловыми коэффициентами $k_1$ и $k_2$ перпендикулярны тогда и только тогда, когда $k_1 k_2 = -1$. Значит, у нормали

и её уравнение

$$y = f(x_0) - \frac{1}{f'(x_0)}\,(x - x_0).$$

Два особых случая надо держать в голове:

• если $f'(x_0) = 0$ (касательная горизонтальна), то нормаль вертикальна, её уравнение $x = x_0$ — формула с дробью здесь не работает, но геометрия работает прекрасно;
• если касательная вертикальна (производной нет, но касательная есть — про это чуть ниже), то нормаль горизонтальна: $y = f(x_0)$.

Примеры с разбором

Пример 1 (простой). Нормаль к $y = x^2$ в точке $x_0 = 2$.

Шаг 1. $f(2) = 4$, $f'(x) = 2x$, $f'(2) = 4$.

Шаг 2. Угловой коэффициент нормали: $k = -\dfrac14 = -0{,}25$.

Шаг 3. Уравнение: $y = 4 - 0{,}25(x - 2) = 4 - 0{,}25x + 0{,}5 = -0{,}25x + 4{,}5$.

Проверка: при $x = 2$ получаем $-0{,}5 + 4{,}5 = 4$ ✅ Произведение коэффициентов: $4 \cdot (-0{,}25) = -1$ ✅

Ответ: $y = -0{,}25x + 4{,}5$.

Пример 2 (средний). Нормаль к гиперболе $y = \dfrac1x$ в точке $x_0 = 1$.

Шаг 1. $f(1) = 1$, $f'(x) = -\dfrac{1}{x^2}$, $f'(1) = -1$.

Шаг 2. Касательная имеет наклон $-1$, значит нормаль — наклон $-\dfrac{1}{-1} = 1$.

Шаг 3. Уравнение нормали: $y = 1 + 1 \cdot (x - 1) = x$.

Шаг 4. Красивая интерпретация: нормаль оказалась биссектрисой первого координатного угла. И это не случайность — гипербола $y = 1/x$ симметрична относительно прямой $y = x$, а точка $(1;\ 1)$ лежит на оси симметрии. В такой точке нормаль обязана совпадать с осью симметрии.

Ответ: $y = x$.

Пример 3 (сложный). Найдём касательную и нормаль к $y = x^3$ в точке $x_0 = 0$ и обсудим, почему формула для нормали здесь не применима.

Шаг 1. $f(0) = 0$, $f'(x) = 3x^2$, $f'(0) = 0$.

Шаг 2. Касательная: $y = 0 + 0 \cdot (x - 0)$, то есть $y = 0$ — ось абсцисс.

Шаг 3. Пробуем формулу нормали: $k = -\dfrac{1}{0}$ — деление на ноль, формула бессильна.

Шаг 4. Возвращаемся к геометрии. Нормаль перпендикулярна касательной; касательная горизонтальна; значит, нормаль вертикальна и проходит через $(0;\ 0)$. Её уравнение — $x = 0$, то есть ось ординат.

Шаг 5. Вывод: вертикальная прямая вообще не имеет углового коэффициента, поэтому её нельзя записать в виде $y = kx + b$. Формула — частный случай, геометрическое определение — общий.

Ответ: касательная $y = 0$, нормаль $x = 0$.

Почему это важно

Нормали — рабочая лошадка компьютерной графики. Освещение объекта считается по углу между нормалью к поверхности и направлением на источник света (закон Ламберта: яркость пропорциональна косинусу этого угла). Отражение луча строится через нормаль. Карты нормалей (normal maps) позволяют дешёвой плоской модели выглядеть рельефной, потому что глаз судит о форме именно по освещению, а освещение — по нормалям. Всё это — прямое приложение того, что мы сейчас посчитали для парабол.

Угол между кривыми

Интуиция: угол между кривыми — это угол между их касательными

Что такое «угол между двумя кривыми»? У кривых нет направления — они гнутся. Но в точке пересечения у каждой есть касательная, и вот между прямыми угол уже определён.

Определение: Углом между двумя кривыми в точке их пересечения называется угол между касательными к этим кривым в этой точке.

Если угловые коэффициенты касательных равны $k_1$ и $k_2$, то угол $\varphi$ между ними находится по формуле из курса аналитической геометрии:

Модуль стоит для того, чтобы получить острый угол (обычно именно его и имеют в виду).

Два важных частных случая:

• если $k_1 = k_2$, то $\tan\varphi = 0$ и $\varphi = 0^\circ$ — кривые касаются друг друга;
• если $1 + k_1k_2 = 0$, то есть $k_1 k_2 = -1$, знаменатель обращается в ноль, тангенс уходит в бесконечность и $\varphi = 90^\circ$ — кривые ортогональны.

Примеры с разбором

Пример 1 (простой). Под каким углом пересекаются $y = x^2$ и $y = x^3$ в точке $(1;\ 1)$?

Шаг 1. Проверим, что точка общая: $1^2 = 1$ и $1^3 = 1$ ✅

Шаг 2. Наклоны: $k_1 = (x^2)'\big|_{x=1} = 2$, $k_2 = (x^3)'\big|_{x=1} = 3 \cdot 1^2 = 3$.

Шаг 3. Считаем:

Шаг 4. $\varphi = \arctan \frac17 \approx 8{,}13^\circ$.

Кривые пересекаются под очень острым углом — они в этой точке идут почти вровень.

Ответ: $\varphi \approx 8{,}1^\circ$.

Пример 2 (средний). Найдём угол между прямой $y = x$ и параболой $y = x^2$ в обеих точках пересечения.

Шаг 1. Точки пересечения: $x = x^2$, откуда $x(x-1) = 0$, то есть $x = 0$ и $x = 1$. Точки $(0;\ 0)$ и $(1;\ 1)$.

Шаг 2. Наклон прямой всюду один: $k_1 = 1$. Наклон параболы: $k_2 = 2x$.

Шаг 3. В точке $(0;\ 0)$: $k_2 = 0$.

Шаг 4. В точке $(1;\ 1)$: $k_2 = 2$.

Шаг 5. Логика картинки: в начале координат парабола ещё лежит горизонтально, поэтому прямая под $45^\circ$ протыкает её резко; к точке $(1;1)$ парабола уже разогналась до наклона $2$ и идёт почти вдоль прямой.

Ответ: $45^\circ$ в точке $(0;0)$ и $\approx 18{,}4^\circ$ в точке $(1;1)$.

Пример 3 (сложный). Под каким углом пересекаются $y = x^2$ и $y = \dfrac1x$?

Шаг 1. Ищем точку пересечения: $x^2 = \dfrac1x$, значит $x^3 = 1$, единственный действительный корень $x = 1$. Точка $(1;\ 1)$.

Шаг 2. Наклоны: $k_1 = 2 \cdot 1 = 2$; $k_2 = -\dfrac{1}{1^2} = -1$.

Шаг 3. Считаем знаменатель: $1 + k_1k_2 = 1 + 2 \cdot (-1) = -1$. Он не ноль, значит угол не прямой.

Шаг 4.

Шаг 5. $\varphi = \arctan 3 \approx 71{,}57^\circ$.

Проверка знаком: одна кривая растёт ($k_1 = 2$), другая убывает ($k_2 = -1$) — угол должен быть заметным, и $72^\circ$ выглядит правдоподобно ✅

Ответ: $\varphi \approx 71{,}6^\circ$.

Почему это важно

Ортогональность кривых — это не декоративное свойство. В физике силовые линии поля и линии равного потенциала пересекаются под прямым углом; в гидродинамике — линии тока и линии равного давления. В оптимизации ровно та же картина: градиент в точке перпендикулярен линии уровня функции потерь. Именно поэтому траектория градиентного спуска в узком «овраге» зигзагообразна — она каждый раз идёт строго поперёк линии уровня, а не вдоль оврага, и от этого болтается между стенками. Понимание этой геометрии — половина интуиции о том, зачем в оптимизаторах нужен momentum.

Особые случаи: когда касательная ведёт себя странно

Горизонтальная касательная

Случай $f'(x_0) = 0$ — самый практически важный. Касательная параллельна оси $Ox$, функция в этой точке «мгновенно не меняется».

Пример: у параболы $y = x^2 - 4x + 3$ производная равна $2x - 4$ (по нашей заготовке для трёхчлена: $a = 1$, $b = -4$). Ноль достигается при $x = 2$; значение $f(2) = 4 - 8 + 3 = -1$. Касательная — прямая $y = -1$, и это горизонталь через вершину параболы.

Такие точки — кандидаты в максимумы и минимумы. Полноценно этим займётся урок 141, а пока держи в голове только геометрию: горизонтальная касательная = плоское место на графике.

Вертикальная касательная

Разберём $y = \sqrt[3]{x}$ в точке $x_0 = 0$. Считаем наклон секущей через $(0;\ 0)$ и $(h;\ \sqrt[3]{h})$:

Смотрим числа: при $h = 0{,}001$ получаем $\dfrac{1}{\sqrt[3]{10^{-6}}} = \dfrac{1}{10^{-2}} = 100$; при $h = 10^{-6}$ получаем $10^{4}$; при $h = 10^{-9}$ — уже $10^{6}$. Наклон растёт без границы, причём и справа, и слева (потому что $h^2 > 0$ при любом знаке $h$).

Что это значит: производной в нуле нет (предел бесконечен, а не конечен), но предельное положение секущей есть — это вертикальная прямая $x = 0$. Такую касательную называют вертикальной. Записать её в виде $y = kx + b$ невозможно: у вертикали нет углового коэффициента.

Излом: касательной нет вовсе

Возьмём $f(x) = |x|$ в точке $x_0 = 0$. Наклон секущей:

Справа секущие имеют наклон $1$, слева $-1$. Единого предельного положения нет: подходя справа, мы получаем прямую $y = x$, слева — прямую $y = -x$. Касательной в точке $0$ не существует, производной тоже.

Функция при этом непрерывна — разрыва нет, есть излом. Отсюда важный вывод: непрерывность не гарантирует существования касательной.

Эта конструкция живёт в каждой второй нейросети: функция активации ReLU — это $\max(0;\ x)$, и в нуле у неё ровно такой излом. Практически это решается соглашением: библиотеки просто объявляют «производную» в нуле равной $0$ (PyTorch) и живут дальше, потому что попадание ровно в ноль на вещественных числах случается с нулевой вероятностью.

Точка возврата

Ещё экзотичнее ведёт себя $f(x) = \sqrt[3]{x^2}$ в нуле:

При $h \to 0^{+}$ это $+\infty$, при $h \to 0^{-}$ это $-\infty$. График имеет острие («точку возврата»): две ветви подходят к нулю, обе становясь вертикальными, но с разных сторон. Касательная тут — вертикаль $x = 0$, но кривая её не «прошивает», а упирается в неё остриём.

Почему это важно

Три патологии выше — не коллекция курьёзов, а карта того, где ломаются алгоритмы. Плато с почти горизонтальной касательной останавливает обучение (градиент близок к нулю — шаг близок к нулю). Почти вертикальная касательная — это взрывающийся градиент, из-за которого шаг вылетает в бесконечность и в логах появляется nan; лечится это обрезкой градиента (gradient clipping) — буквально «ограничим наклон сверху». А излом ReLU — причина, по которой в теории оптимизации для нейросетей приходится работать не с производными, а с субградиентами.

Касательная как лучшее линейное приближение

Интуиция: локально всё прямое

Возьми график любой гладкой функции и начни увеличивать масштаб вокруг одной точки. В два раза, в десять, в сто. Кривизна визуально пропадает — под достаточным увеличением любой гладкий график выглядит как отрезок прямой. Именно этот отрезок и есть касательная.

Это не оптический обман, а содержательное утверждение: возле точки $x_0$ функция почти совпадает со своей касательной.

Линеаризация (формула линейного приближения):

$$f(x_0 + \Delta x) \approx f(x_0) + f'(x_0)\,\Delta x,$$

причём приближение тем точнее, чем меньше $|\Delta x|$.

Правая часть — это значение касательной в точке $x_0 + \Delta x$. Слово «лучшее» в заголовке употреблено не для красоты: среди всех прямых, проходящих через точку $(x_0; f(x_0))$, именно касательная приближает функцию точнее любой другой при малых $\Delta x$. У любой другой прямой погрешность растёт пропорционально $\Delta x$, у касательной — пропорционально $(\Delta x)^2$.

Оценка погрешности: правило «половина шага — четверть ошибки»

Проще всего увидеть это на $f(x) = x^2$. Возьмём $x_0 = 1$:

Погрешность в точности равна $t^2$. Не «примерно», а ровно.

Уменьшили шаг вдвое — погрешность упала вчетверо. Уменьшили в десять раз — упала в сто. Это и есть квадратичный характер ошибки, и он держится не только для параболы. Проверим на корне, где точной формулы уже нет; $x_0 = 4$, касательная $y = 2 + 0{,}25\,\Delta x$:

Переход от $0{,}5$ к $0{,}1$ — шаг уменьшился в 5 раз, погрешность в $0{,}0036797 / 0{,}0001543 \approx 23{,}8$ раза (теория обещает 25 — совпадение отличное). Переход от $0{,}1$ к $0{,}05$: ровно в $3{,}98$ раза, то есть практически вчетверо ✅

Примеры с разбором

Пример 1 (простой). Оценим $\sqrt{4{,}1}$ без калькулятора.

Шаг 1. Берём ближайшую «удобную» точку: $x_0 = 4$, там $\sqrt{4} = 2$.

Шаг 2. $f'(4) = \dfrac{1}{2\sqrt4} = \dfrac14 = 0{,}25$.

Шаг 3. $\Delta x = 0{,}1$. Линеаризация:

Шаг 4. Точное значение $2{,}0248457\ldots$ Промах $0{,}00015$, относительная погрешность $0{,}0076\%$.

Ответ: $\sqrt{4{,}1} \approx 2{,}025$.

Пример 2 (средний). Оценим $\sqrt{101}$.

Шаг 1. Опорная точка $x_0 = 100$, $\sqrt{100} = 10$.

Шаг 2. $f'(100) = \dfrac{1}{2 \cdot 10} = 0{,}05$.

Шаг 3. $\Delta x = 1$, значит $\sqrt{101} \approx 10 + 0{,}05 \cdot 1 = 10{,}05$.

Шаг 4. Точное значение $10{,}0498756\ldots$ Погрешность $0{,}00012$.

Шаг 5. Обрати внимание на интересное: здесь $\Delta x = 1$, что вроде бы «много», а погрешность в сто раз меньше, чем в примере 1 с $\Delta x = 0{,}1$. Секрет в том, что важен не абсолютный шаг, а его величина относительно масштаба точки: $1$ по сравнению со $100$ — это $1\%$, а $0{,}1$ по сравнению с $4$ — это $2{,}5\%$. Плюс сам корень возле $100$ гораздо более пологий.

Ответ: $\sqrt{101} \approx 10{,}05$.

Пример 3 (сложный). Выведем универсальное приближение $\dfrac{1}{1+t} \approx 1 - t$ и найдём точную формулу его погрешности.

Шаг 1. Берём $f(x) = \dfrac1x$, $x_0 = 1$. Тогда $f(1) = 1$, $f'(x) = -\dfrac{1}{x^2}$, $f'(1) = -1$.

Шаг 2. Линеаризация: $f(1 + t) \approx 1 + (-1) \cdot t = 1 - t$. То есть $\dfrac{1}{1+t} \approx 1 - t$.

Шаг 3. Считаем погрешность точно:

Шаг 4. Проверяем на числах. При $t = 0{,}02$: приближение даёт $0{,}98$, точное значение $\dfrac{1}{1{,}02} = 0{,}9803922$, погрешность $0{,}0003922$. По формуле: $\dfrac{0{,}0004}{1{,}02} = 0{,}0003922$ ✅ Совпало до последней цифры.

Шаг 5. При $t = -0{,}02$: приближение $1{,}02$, точное $\dfrac{1}{0{,}98} = 1{,}0204082$, погрешность $0{,}0004082 = \dfrac{0{,}0004}{0{,}98}$ ✅

Ответ: $\dfrac{1}{1+t} \approx 1 - t$; погрешность равна $\dfrac{t^2}{1+t}$ — квадратична по $t$.

Почему это важно

Приближение $\frac{1}{1+t} \approx 1-t$ и его родственники (например, $\sqrt{1+t} \approx 1 + \frac t2$) — это рабочий инструмент, который физики и инженеры применяют не задумываясь. В машинном обучении та же логика: когда в статье пишут «при малых значениях $\varepsilon$ считаем, что...», за этим стоит линеаризация. И когда ты выводишь формулу обновления весов, ты по сути утверждаешь: «на одном шаге лосс ведёт себя линейно». Насколько это утверждение верно, ты теперь умеешь оценивать количественно.

Градиентный спуск: шаг вдоль касательной

Как работает алгоритм

Задача обучения модели формулируется так: есть функция потерь $L(w)$, надо найти $w$, при котором она минимальна. Аналитически решить это почти никогда нельзя, поэтому действуют итеративно:

где $\eta$ — скорость обучения (learning rate).

Геометрически это читается так: производная $L'(w_k)$ — наклон касательной. Если наклон положительный, функция растёт вправо, значит идти надо влево — и минус в формуле как раз разворачивает нас в правильную сторону. Если наклон отрицательный, минус на минус даёт плюс, и мы идём вправо. То есть алгоритм всегда движется вниз по касательной.

Почему шаг обязан быть маленьким

Здесь и живёт главная интуиция урока. Касательная описывает функцию хорошо только рядом с точкой касания — мы это только что измерили: погрешность растёт как квадрат шага. Если сделать большой шаг, ты уедешь туда, где касательная уже ничего про функцию не знает, и вместо спуска получишь подъём.

Посчитаем это точно на простейшем лоссе $L(w) = w^2$, где $L'(w) = 2w$. Подставляем в формулу шага:

Получилась геометрическая прогрессия со знаменателем $q = 1 - 2\eta$. Из урока 128 известно: она стремится к нулю тогда и только тогда, когда $|q| < 1$. Решаем:

Проверим на числах, стартуя с $w_0 = 1$:

Четыре разных поведения:

• $\eta = 0{,}1$ — спокойная монотонная сходимость, но медленная;
• $\eta = 0{,}5$ — попадание в минимум за один шаг (здесь $q = 0$, идеальный случай для этой конкретной функции);
• $\eta = 0{,}9$ — сходимость есть, но с болтанкой вокруг минимума: знак $w$ меняется каждый шаг;
• $\eta = 1{,}1$ — расходимость: $|q| = 1{,}2 > 1$, и модуль веса растёт как $1{,}2^k$. Лосс при этом не убывает, а взрывается: $1;\ 1{,}44;\ 2{,}07;\ 2{,}99;\ \ldots$

Именно эту картинку ты видишь в логах, когда лосс вместо убывания уходит в nan: learning rate превысил критический порог.

А теперь общий случай: пусть $L(w) = aw^2$ при $a > 0$. Тогда $L'(w) = 2aw$ (по нашей заготовке для трёхчлена), и

Смысл: чем круче загибается функция, тем меньше должен быть шаг. Коэффициент $a$ управляет кривизной параболы; при $a = 100$ допустимый шаг в сто раз меньше, чем при $a = 1$. Это ровно та причина, по которой learning rate приходится подбирать под задачу, а не брать «универсальный». Численная мера кривизны — вторая производная — появится позже в курсе, но геометрию ты уже видишь: у крутой параболы касательная «врёт» гораздо быстрее при удалении от точки.

Метод Ньютона: анонс

Раз касательная — это линейное приближение функции, ей можно поручить не только спуск, но и решение уравнений. Пусть надо решить $f(x) = 0$, а функция неудобная. Идея: заменим её касательной в текущей точке $x_k$ и найдём, где касательная обращается в ноль. Это будет наше следующее приближение.

Приравниваем уравнение касательной к нулю:

Так получается формула метода Ньютона:

Геометрия предельно наглядна: спускаемся по касательной до пересечения с осью $Ox$, поднимаемся оттуда вертикально на кривую, строим новую касательную, повторяем.

Посчитаем $\sqrt2$. Берём $f(x) = x^2 - 2$; её производная по определению равна $2x$ (приращение $\frac{(x+h)^2 - 2 - x^2 + 2}{h} = 2x + h \to 2x$). Формула превращается в

Стартуем с $x_0 = 1{,}5$:

Число верных знаков удваивается на каждом шаге — это и есть знаменитая квадратичная сходимость метода Ньютона, и растёт она ровно из того факта, что погрешность линеаризации квадратична. Подробный разбор метода будет в курсе оптимизации; сейчас важно увидеть, что он целиком построен на уравнении касательной из этого урока.

Сигмоида: почему на краях обучение стоит

Функция активации сигмоида $\sigma(x) = \dfrac{1}{1 + e^{-x}}$ сжимает любое число в интервал $(0;\ 1)$. Её график — вытянутая буква S: в середине круто поднимается, по краям почти горизонтален.

Посмотрим на наклон касательной численно. Возьмём точку $x = 6$ и посчитаем наклон секущей с $\Delta x = 0{,}01$:

А в нуле:

Разница — примерно в сто раз. Точнее: производная сигмоиды равна $\sigma'(x) = \sigma(x)\big(1 - \sigma(x)\big)$ (эта формула будет выведена в уроке 138, а пока проверь её численно — сходится с секущими выше). Тогда

Отношение: $\dfrac{0{,}25}{0{,}0024665} \approx 101$. При $x = 10$ производная равна $4{,}54 \cdot 10^{-5}$ — уже в 5500 раз меньше максимальной.

Что это значит для обучения. Шаг градиентного спуска пропорционален наклону касательной. Если нейрон «насыщен», то есть его вход большой по модулю, касательная почти горизонтальна, шаг умножается на $0{,}0025$ — и вес практически не двигается. Нейрон замирает. А в глубокой сети эти множители перемножаются по слоям: пять слоёв с сигмоидами дают множитель порядка $0{,}0025^5 \approx 10^{-13}$, и до первых слоёв сигнал обучения просто не доходит. Это и есть проблема затухающих градиентов, из-за которой глубокие сети до 2010-х годов почти не обучались.

Лечится она геометрически же — сменой функции активации. У ReLU $= \max(0;\ x)$ на всей положительной полуоси касательная имеет наклон ровно $1$: сколько бы слоёв ни было, множитель не тает. За эту простую геометрию ReLU и вытеснила сигмоиду из скрытых слоёв.

Почему это важно

Три сюжета выше — градиентный спуск, метод Ньютона, насыщение сигмоиды — выглядят как три разные темы из трёх разных курсов. На самом деле это одно и то же утверждение, прочитанное трижды: возле точки функция равна своей касательной, и все решения принимаются по её наклону. Кто это видит, тот отлаживает обучение осмысленно: увидел взрыв лосса — уменьшил шаг, увидел плато — проверил, не насытились ли активации. Кто не видит — крутит гиперпараметры наугад.

Практика: 30 заданий

Базовые (задания 1-10)

Задание 1: Найди угловой коэффициент секущей к графику $y = x^2$, проходящей через точки с абсциссами $x = 1$ и $x = 3$.

Задание 2: Для $f(x) = x^2$ и точки $x_0 = 1$ вычисли угловые коэффициенты секущих при $\Delta x = 1$, $\Delta x = 0{,}1$, $\Delta x = 0{,}01$. К какому числу они стремятся и что это за число?

Задание 3: Известно, что $f'(x_0)$ равна: а) $1$; б) $\sqrt3$; в) $-1$; г) $0$. Найди угол наклона касательной в каждом случае.

Задание 4: Напиши уравнение касательной к параболе $y = x^2$ в точке $x_0 = 3$.

Задание 5: В какой точке параболы $y = x^2$ касательная горизонтальна? Напиши её уравнение.

Задание 6: Напиши уравнение касательной к кубической параболе $y = x^3$ в точке $x_0 = -1$.

Задание 7: В каких точках графика $y = x^3$ касательная имеет угловой коэффициент $12$?

Задание 8: Напиши уравнение касательной к $y = \sqrt{x}$ в точке $x_0 = 4$ и найди угол её наклона.

Задание 9: Напиши уравнение нормали к параболе $y = x^2$ в точке $x_0 = 1$.

Задание 10: С помощью касательной оцени $\sqrt{4{,}04}$ и найди абсолютную погрешность (точное значение $\sqrt{4{,}04} = 2{,}0099751\ldots$).

Средние (задания 11-20)

Задание 11: Напиши уравнение касательной к гиперболе $y = \dfrac1x$ в точке $x_0 = 2$. Найди точки её пересечения с осями координат и площадь треугольника, который она отсекает от координатного угла.

Задание 12: Найди все точки графика $y = x^3$, в которых касательная параллельна прямой $y = 3x - 5$. Напиши уравнения этих касательных.

Задание 13: Найди по определению производную функции $f(x) = x^2 - 4x + 3$ и напиши уравнение касательной к её графику в точке $x_0 = 3$.

Задание 14: Под каким углом парабола $y = x^2 - 1$ пересекает ось $Ox$ в точке $x = 1$?

Задание 15: Найди угол между кривыми $y = x^2$ и $y = \sqrt{x}$ в точке их пересечения $(1;\ 1)$.

Задание 16: Напиши уравнение нормали к графику $y = \sqrt{x}$ в точке $x_0 = 9$ и найди, где она пересекает ось $Ox$.

Задание 17: Докажи, что касательная к графику $y = x^3$ в точке $x_0 = 0$ — это ось $Ox$, и определи, пересекает ли она график. Не противоречит ли это определению касательной?

Задание 18: Функция потерь модели с одним параметром: $L(w) = (w - 3)^2$. Найди $L'(w)$ по определению, напиши уравнение касательной в точке $w = 5$ и вычисли, куда сдвинется параметр после одного шага градиентного спуска с $\eta = 0{,}1$.

Задание 19: Используя касательную к $y = \dfrac1x$ в точке $x_0 = 1$, оцени $\dfrac{1}{1{,}02}$ и найди абсолютную и относительную погрешность.

Задание 20: Существует ли касательная к графику $f(x) = |x|$ в точке $x_0 = 0$? Ответ обоснуй через секущие.

Продвинутые (задания 21-30)

Задание 21: Из точки $(0;\ -1)$ проведены касательные к параболе $y = x^2$. Найди их уравнения и точки касания.

Задание 22: Найди касательную к параболе $y = x^2$, параллельную прямой $y = 4x + 7$, и вычисли расстояние между этими двумя прямыми.

Задание 23: Найди общую касательную к параболам $y = x^2$ и $y = x^2 - 2x + 2$.

Задание 24: Под каким углом пересекаются кривые $y = x^2$ и $y = \dfrac1x$?

Задание 25: Покажи, что у графика $y = \sqrt[3]{x}$ в точке $x_0 = 0$ касательная вертикальна, хотя производной там нет. Подтверди расчётом наклонов секущих при $h = 10^{-3}$, $h = 10^{-6}$, $h = 10^{-9}$.

Задание 26: Градиентный спуск на функции потерь $L(w) = w^2$ стартует из $w_0 = 1$. Выпиши три шага для $\eta = 0{,}1$, $\eta = 0{,}5$ и $\eta = 1{,}1$. При каких $\eta$ метод сходится?

Задание 27: Методом Ньютона (шаг вдоль касательной до пересечения с осью $Ox$) вычисли $\sqrt2$ с точностью до $10^{-5}$, стартуя с $x_0 = 1{,}5$.

Задание 28: Для $f(x) = x^2$ и $x_0 = 1$ докажи, что погрешность линеаризации равна точно $(\Delta x)^2$, и заполни таблицу для $\Delta x = 0{,}1$, $0{,}05$, $0{,}01$. Во сколько раз падает погрешность при уменьшении шага вдвое?

Задание 29: Для сигмоиды $\sigma(x) = \dfrac{1}{1 + e^{-x}}$ известно (это будет выведено в уроке 138), что $\sigma'(x) = \sigma(x)\big(1 - \sigma(x)\big)$. Напиши уравнение касательной в точке $x = 0$, найди наклон касательной в точке $x = 6$ и определи, во сколько раз она положе. Что это значит для обучения нейросети?

Задание 30: Касательная к графику $y = x^3$ проведена в точке с абсциссой $a \neq 0$. Докажи, что она пересекает график ещё в одной точке, и найди её абсциссу.

Частые ошибки

❌ Ошибка 1: путают производную и угол наклона

Неправильно: «$f'(x_0) = 1$, значит касательная наклонена под углом $1^\circ$».

Правильно: $f'(x_0) = \tan\alpha$, а не сам угол. Если $\tan\alpha = 1$, то $\alpha = 45^\circ$.

💡 Почему важно: производная — это отношение катетов, а не градусы. Угол $1^\circ$ соответствует производной $\tan 1^\circ \approx 0{,}0175$ — разница в 57 раз. Полезная мнемоника для маленьких наклонов: при $k < 0{,}2$ угол в градусах примерно равен $57{,}3 \cdot k$ (проверь: $k = 0{,}1$ даёт $5{,}73^\circ$, точное значение $5{,}71^\circ$).

❌ Ошибка 2: забывают слагаемое $f(x_0)$ в уравнении касательной

Неправильно: $y = f'(x_0)(x - x_0)$.

Правильно: $y = f(x_0) + f'(x_0)(x - x_0)$.

💡 Почему важно: без первого слагаемого прямая проходит через точку $(x_0;\ 0)$ вместо точки касания $(x_0;\ f(x_0))$ — наклон верный, а прямая сдвинута по вертикали. Проверка занимает пять секунд: подставь $x = x_0$; должно получиться ровно $f(x_0)$.

❌ Ошибка 3: подставляют в формулу $f'(x)$ вместо числа $f'(x_0)$

Неправильно: для $y = x^2$ в точке $x_0 = 3$ написать $y = 9 + 2x(x - 3)$.

Правильно: сначала вычислить $f'(3) = 6$, а потом подставить: $y = 9 + 6(x - 3) = 6x - 9$.

💡 Почему важно: в неправильном варианте после раскрытия скобок остаётся $2x^2 - 6x + 9$ — это парабола, а не прямая. Быстрый детектор ошибки: если в «уравнении касательной» есть $x$ в степени выше первой, где-то забыли подставить $x_0$.

❌ Ошибка 4: считают, что касательная обязана касаться графика ровно в одной точке и не пересекать его

Неправильно: «прямая $y = 0$ не может быть касательной к $y = x^3$ в нуле, ведь она проходит сквозь график».

Правильно: касательная определяется как предельное положение секущей. Про число общих точек и про пересечение в определении не сказано ничего.

💡 Почему важно: этот образ приходит из геометрии окружности, где он действительно верен, и потом мешает всю жизнь. Контрпримеры: касательная к $y = x^3$ в нуле пересекает график; касательная к синусоиде в точке максимума касается её в бесконечном числе точек; вертикальная прямая $x = 1$ имеет с параболой $y = x^2$ ровно одну общую точку, но касательной не является.

❌ Ошибка 5: путают точку касания и точку, через которую проведена касательная

Неправильно: в задаче «из точки $(2;\ -5)$ проведены касательные к $y = x^2$» взять $x_0 = 2$, посчитать $f'(2) = 4$ и написать $y = 4x - 4$.

Правильно: проверить, лежит ли точка на графике. Здесь $f(2) = 4 \neq -5$, значит точка внешняя. Абсциссу касания надо обозначить буквой $a$ и найти из условия прохождения через данную точку — получится квадратное уравнение и, как правило, два ответа.

💡 Почему важно: ошибка приводит к «касательной», которая вообще не проходит через нужную точку: $4 \cdot 2 - 4 = 4 \neq -5$. Правило: первым делом подставь координаты точки в уравнение кривой — это одна строка вычислений, которая определяет весь дальнейший ход решения.

❌ Ошибка 6: неверная формула для нормали

Неправильно: $k_{\text{норм}} = -f'(x_0)$.

Правильно: $k_{\text{норм}} = -\dfrac{1}{f'(x_0)}$ — «перевернуть и сменить знак».

💡 Почему важно: условие перпендикулярности — это $k_1k_2 = -1$, а не $k_1 = -k_2$. При $f'(x_0) = 2$ неправильная формула даёт $-2$, и произведение равно $-4$, а не $-1$. Единственный случай, когда обе формулы совпадают, — $f'(x_0) = \pm1$; именно поэтому ошибку долго не замечают, тренируясь на прямых под $45^\circ$.

❌ Ошибка 7: применяют линеаризацию на большом шаге

Неправильно: оценить $\sqrt{25}$ через касательную к $\sqrt x$ в точке $x_0 = 4$: $2 + 0{,}25 \cdot 21 = 7{,}25$.

Правильно: брать опорную точку рядом. Для $\sqrt{25}$ ответ известен точно ($5$), а промах $7{,}25$ против $5$ — это $45\%$ ошибки.

💡 Почему важно: формула $f(x_0 + \Delta x) \approx f(x_0) + f'(x_0)\Delta x$ работает только при малых $|\Delta x|$, и погрешность растёт как квадрат шага. В обучении моделей это ровно та же ошибка, что и слишком большой learning rate: шаг вдоль касательной делается туда, где касательная уже не описывает функцию, и лосс вместо убывания растёт.

❌ Ошибка 8: считают, что раз функция непрерывна, у неё всюду есть касательная

Неправильно: «$f(x) = |x|$ непрерывна в нуле, значит касательная там есть — просто её трудно найти».

Правильно: касательная существует, только если односторонние пределы разностного отношения совпадают и конечны. У $|x|$ они равны $1$ и $-1$ — касательной нет.

💡 Почему важно: непрерывность и дифференцируемость — разные свойства. Из дифференцируемости следует непрерывность, но не наоборот. Практический след этой разницы виден в каждой нейросети с ReLU: активация непрерывна, но в нуле у неё излом, и библиотекам приходится доопределять «производную» там соглашением.

Главное запомнить

📝 Ключевые понятия

✅ Секущая: прямая через две точки графика; её угловой коэффициент — это разностное отношение $k_{\text{сек}} = \dfrac{f(x_0 + \Delta x) - f(x_0)}{\Delta x}$.

✅ Касательная: предельное положение секущей при $\Delta x \to 0$. Не «прямая, касающаяся в одной точке» — она вполне может пересекать график (пример: $y = x^3$ в нуле).

✅ Геометрический смысл производной: $f'(x_0) = k_{\text{кас}} = \tan\alpha$, где $\alpha$ — угол между касательной и положительным направлением оси $Ox$.

✅ Знак производной = направление наклона: $f' > 0$ — касательная вверх (острый угол), $f' < 0$ — вниз (тупой угол), $f' = 0$ — горизонталь. Модуль производной = крутизна.

✅ Уравнение касательной: $y = f(x_0) + f'(x_0)(x - x_0)$. Алгоритм: найти $f(x_0)$, найти $f'(x)$, вычислить число $f'(x_0)$, подставить. Проверка — подстановка $x = x_0$.

✅ Уравнение нормали: $y = f(x_0) - \dfrac{1}{f'(x_0)}(x - x_0)$; при $f'(x_0) = 0$ нормаль вертикальна и записывается как $x = x_0$.

✅ Угол между кривыми — это угол между их касательными в точке пересечения: $\tan\varphi = \left|\dfrac{k_2 - k_1}{1 + k_1k_2}\right|$; при $k_1k_2 = -1$ кривые ортогональны.

✅ Особые случаи: $f'(x_0) = 0$ — горизонтальная касательная; бесконечный предел разностного отношения — вертикальная касательная (производной нет, касательная есть); разные односторонние пределы — касательной нет вовсе (излом, как у $|x|$).

✅ Линеаризация: $f(x_0 + \Delta x) \approx f(x_0) + f'(x_0)\Delta x$ — касательная как лучшее линейное приближение. Погрешность квадратична по $\Delta x$: половина шага — четверть ошибки.

✅ Градиентный спуск $w_{k+1} = w_k - \eta f'(w_k)$ — это шаг вдоль касательной вниз. Шаг обязан быть маленьким, потому что касательная описывает функцию только локально; для $L(w) = aw^2$ сходимость есть ровно при $0 < \eta < \dfrac1a$.

✅ Метод Ньютона $x_{k+1} = x_k - \dfrac{f(x_k)}{f'(x_k)}$ — это «съехать по касательной до оси $Ox$»; его квадратичная сходимость растёт из квадратичной погрешности линеаризации.

Связь с другими темами курса

Что было раньше: урок 131 ввёл предел функции, урок 132 — непрерывность, а урок 133 — производную как предел разностного отношения. Сегодняшний урок ничего нового к аппарату не добавил: он дал старому объекту геометрическое лицо. Пригодились и более ранние вещи: уравнение прямой с угловым коэффициентом и условие перпендикулярности $k_1k_2 = -1$ из курса аналитической геометрии, свойства элементарных функций (парабола, гипербола, корень) из уроков 76-90, а формула сходимости в задании 26 — прямое применение геометрической прогрессии из урока 128.

Что дальше: урок 135 даст производной второе прочтение — физическое: та же величина окажется мгновенной скоростью, и «крутизна графика пути» превратится в показание спидометра. Уроки 136-138 снимут главное текущее ограничение: появятся правила дифференцирования, производная сложной функции и таблица производных, после чего касательную можно будет строить к любой элементарной функции, а не только к шести из нашего набора. Уроки 139-144 превратят геометрию касательной в инструмент исследования: горизонтальная касательная станет признаком экстремума, знак производной — признаком возрастания и убывания, а изменение наклона — признаком выпуклости. И наконец, начиная с урока 145 производная получит обратную операцию, и весь этот аппарат замкнётся.

Где это применяется в жизни и в ML/данных:

🤖 В машинном обучении: градиентный спуск и все его варианты (SGD, Adam, RMSProp) — это шаг вдоль касательной; подбор learning rate — управление длиной этого шага; затухающие и взрывающиеся градиенты — прямое следствие того, что касательная бывает почти горизонтальной или почти вертикальной; gradient clipping — принудительное ограничение наклона; метод LIME объясняет предсказания сложной модели, строя вокруг точки локальную линейную модель — ту же касательную.

💻 В программировании: численное дифференцирование через секущие в gradcheck; метод Ньютона в решателях уравнений; трассировка лучей и расчёт освещения через нормали к поверхностям; сглаживание траекторий в анимации по касательным векторам.

📊 В анализе данных: локальная линейная аппроксимация тренда, скользящие наклоны в анализе временных рядов, приближения вида $\ln(1+x) \approx x$ при работе с малыми долями и процентами, оценка чувствительности метрики к изменению параметра.

🔬 В науке и инженерии: расширенный фильтр Калмана линеаризует нелинейную динамику вокруг текущей оценки состояния — прямая работа с касательной; в физике малые колебания маятника анализируют через приближение $\sin x \approx x$, которое есть не что иное, как касательная к синусу в нуле; в химии наклон касательной к кривой концентрации даёт мгновенную скорость реакции.

📈 В экономике: предельные величины (предельные издержки, предельная выручка) — это в точности производные, а решение «производить ещё единицу или нет» принимается по наклону касательной к кривой издержек.

Интересные факты

💡 «Касательная» и «тангенс» — буквально одно слово. Латинское tangens означает «касающийся», и в тригонометрии тангенс угла — это длина отрезка касательной к единичной окружности от точки касания до пересечения с подвижным радиусом. Так что равенство $f'(x_0) = \tan\alpha$ — это не случайное совпадение терминов, а два проявления одного и того же геометрического сюжета, разделённые полутора тысячами лет.

💡 Ферма построил касательные за 30 лет до Ньютона — и без пределов. Его метод adéquation формально был некорректен (сначала делим на $E$, потом объявляем $E$ нулём), но давал правильные ответы. Именно за это Лагранж называл Ферма подлинным изобретателем дифференциального исчисления, а Ньютон в письме признавал, что его собственный метод касательных вырос из идей Ферма.

💡 Существует функция, у которой касательной нет ни в одной точке. В 1872 году Карл Вейерштрасс построил функцию, непрерывную на всей прямой, но не дифференцируемую нигде: её график состоит из изломов на всех масштабах — сколько ни увеличивай, он не становится прямым. Современники были в шоке: до этого молчаливо считалось, что непрерывная кривая обязана «почти всюду» иметь касательную. Сегодня такие объекты называют фракталами, и на их языке описывают траектории броуновских частиц и графики котировок.

💡 Треугольник под касательной к гиперболе всегда имеет площадь 2. Проведи касательную к $y = 1/x$ в любой точке — она отсечёт от координатного угла треугольник, и его площадь окажется равной $2$ независимо от точки касания (в задании 11 это посчитано для $x_0 = 2$). Такое «сохраняющееся» свойство — редкость, и в XVII веке подобные факты воспринимались как чудо.

💡 Метод Ньютона удваивает число верных знаков за шаг — и этим пользуются процессоры. Алгоритм «быстрого обратного квадратного корня», прославившийся благодаря исходникам Quake III, состоит из хитрого начального приближения и одного шага метода Ньютона. Одного хватает, потому что каждый шаг примерно удваивает точность, а для графики нужна точность порядка $0{,}1\%$. Та же идея внутри деления и извлечения корня в современных FPU.

💡 ReLU победила сигмоиду именно геометрией касательной. Сигмоиду использовали десятилетиями, и глубокие сети из-за неё почти не обучались: касательная на краях почти горизонтальна, множители затухают по слоям. Функция $\max(0;\ x)$, у которой наклон касательной на положительной полуоси ровно $1$, выглядит примитивно — но именно эта примитивность и решила проблему, дав старт эпохе глубокого обучения после 2010 года.

Лайфхаки и полезные трюки

1. Проверяй уравнение касательной подстановкой $x = x_0$

Правильное уравнение обязано давать ровно $f(x_0)$. Это занимает пять секунд и ловит две самые частые ошибки сразу: потерянное слагаемое $f(x_0)$ и арифметику при раскрытии скобок.

Пример: нашёл $y = 6x - 9$ как касательную к $y = x^2$ в точке $x_0 = 3$. Подставляем: $18 - 9 = 9$, а $f(3) = 9$ ✅ Всё сходится.

2. Если в «уравнении касательной» остался $x^2$ — ты забыл подставить точку

Касательная — это прямая, у неё $x$ только в первой степени. Появление квадрата или корня означает, что в формулу попала функция $f'(x)$ вместо числа $f'(x_0)$.

Пример: запись $y = 9 + 2x(x-3)$ разворачивается в $2x^2 - 6x + 9$ — это парабола. Сигнал: вернись к шагу 3 алгоритма и вычисли $f'(3) = 6$.

3. Переводи производную в угол приближённо, в уме

Полезно помнить опорные значения: $k = 0{,}5 \to 27^\circ$; $k = 1 \to 45^\circ$; $k = 2 \to 63^\circ$; $k = 3 \to 72^\circ$; $k = 10 \to 84^\circ$. Для маленьких $k$ работает линейное правило: $\alpha^\circ \approx 57{,}3 \cdot k$.

Пример: $f'(x_0) = 0{,}12$. Оценка: $57{,}3 \cdot 0{,}12 \approx 6{,}9^\circ$. Точное значение $\arctan 0{,}12 = 6{,}84^\circ$ — попадание отличное.

4. Численную производную считай центральной разностью, а не односторонней

Формула $\dfrac{f(x+h) - f(x-h)}{2h}$ точнее, чем $\dfrac{f(x+h) - f(x)}{h}$: у первой погрешность порядка $h^2$, у второй — порядка $h$. Именно центральную разность используют функции проверки градиентов в ML-библиотеках.

Пример: для $f(x) = x^2$ в точке $x = 1$ с $h = 0{,}1$ односторонняя разность даёт $\frac{1{,}21 - 1}{0{,}1} = 2{,}1$ (ошибка $0{,}1$), а центральная — $\frac{1{,}21 - 0{,}81}{0{,}2} = \frac{0{,}4}{0{,}2} = 2$ (ошибка ноль).

5. Проверяй касательную численно: подставь $x_0 \pm 0{,}001$

Значения функции и касательной в точках, отстоящих на тысячную, обязаны совпасть в первых пяти-шести знаках. Если разошлись во втором знаке — ищи ошибку в производной.

Пример: касательная к $\sqrt x$ в точке $9$ — это $y = \frac{x}{6} + 1{,}5$. При $x = 9{,}001$: касательная даёт $3{,}00016\overline{6}$, функция $\sqrt{9{,}001} = 3{,}0001666\ldots$ Совпадение до шестого знака ✅

6. Нормаль: «переверни и смени знак»

Мнемоника для $k_{\text{норм}} = -\frac{1}{k_{\text{кас}}}$. И контрольный вопрос после ответа: перемножь оба коэффициента, должно получиться ровно $-1$.

Пример: касательная имеет $k = \frac16$. Нормаль: переворачиваем ($6$), меняем знак ($-6$). Проверка: $\frac16 \cdot (-6) = -1$ ✅

7. Держи в голове правило «половина шага — четверть ошибки»

Погрешность линеаризации квадратична. Значит, если приближение промахнулось на $0{,}01$ при шаге $0{,}1$, то при шаге $0{,}05$ промах будет около $0{,}0025$, а при $0{,}01$ — около $0{,}0001$. Это позволяет прикинуть точность, не считая точное значение.

Пример: оценил $\sqrt{4{,}1} \approx 2{,}025$ с погрешностью $1{,}5 \cdot 10^{-4}$. Нужна точность $10^{-6}$? Значит, шаг надо уменьшить примерно в $\sqrt{150} \approx 12$ раз, то есть считать от опорной точки не дальше чем на $0{,}008$.

8. Диагностируй обучение по геометрии касательной

Лосс скачет вверх-вниз или улетает в nan — шаг слишком велик относительно кривизны, уменьшай learning rate вдвое, пока не успокоится. Лосс замер на плато — касательная почти горизонтальна: либо ты в окрестности минимума, либо активации в насыщении.

Пример: для $L(w) = 50w^2$ допустимый диапазон — $0 < \eta < \frac{1}{50} = 0{,}02$. Стандартный «безопасный» $\eta = 0{,}1$ здесь мгновенно разваливает обучение, хотя на $L(w) = w^2$ работал бы прекрасно. Отсюда и практика нормализации входов: она делает кривизну по разным направлениям сопоставимой, и один learning rate начинает подходить всем параметрам сразу.

💡 Совет: нарисуй от руки одну картинку и держи её в голове весь оставшийся курс — кривая, точка на ней, прямая, прижатая к кривой в этой точке, и прямоугольный треугольник с катетами $\Delta x$ и $\Delta y$ под ней. Почти любую задачу с производной можно решить, глядя на этот рисунок и спрашивая себя: «что здесь наклон, и куда он показывает?» Формулы забываются, картинка — нет.

Ты только что получил переводчик между двумя мирами. Слева — пределы и приращения, вещь абстрактная. Справа — наклон, угол, прямая, которую видно глазами. Всё остальное в дифференциальном исчислении будет пользоваться этим переводом: поиск максимумов сведётся к поиску горизонтальных касательных, исследование графика — к чтению знаков наклона, а обучение нейросети — к повторению одного и того же шага вдоль касательной вниз, миллионы раз подряд.

В следующем уроке производная получит третье лицо — физическое. Тот же самый предел разностного отношения окажется мгновенной скоростью: пройденный путь вместо высоты графика, время вместо абсциссы, спидометр вместо транспортира. И станет понятно, почему Ньютон, глядя на ту же формулу, что и Лейбниц, видел не касательную, а движение. Переходи к уроку 135 — и посмотри на знакомый объект с новой стороны.