Neural Architecture Search: когда нейросети создают нейросети

🎯 Зачем это нужно?

Представь: ты создаёшь новое мобильное приложение с камерой, которое должно распознавать объекты в реальном времени 📱. Какую архитектуру нейросети выбрать? ResNet? EfficientNet? MobileNet? А сколько слоёв? Какие размеры фильтров?

🎮 В геймдеве: Procedural generation уровней в играх типа Minecraft - алгоритм создаёт контент 📊 В рекламе: TikTok автоматически подбирает оптимальную стратегию показа рекламы для каждого пользователя
🏥 В медицине: Google AutoML создал архитектуру для диагностики рака кожи лучше, чем врачи-дерматологи

📚 История вопроса

В 2017 году команда Google Brain потратила 22,400 GPU-часов (≈$250,000), чтобы найти оптимальную архитектуру для классификации изображений. Результат? Они получили NASNet - сеть, которая превзошла все архитектуры, созданные людьми! 🤯

Это был переломный момент: вместо ручного дизайна архитектур (что делали 30+ лет), мы научили компьютеры создавать нейросети самостоятельно.

Интересный факт: Архитектуры, найденные NAS, часто выглядят “странно” для человека, но работают лучше наших интуитивных решений.

💡 Интуиция

Аналогия с эволюцией 🧬:

• Популация = множество архитектур нейросетей
• Мутация = изменение количества слоёв, типов операций
• Скрещивание = комбинирование частей успешных архитектур
• Отбор = выживают архитектуры с лучшей точностью

Или как видеоигра-стратегия: Ты - главнокомандующий, строишь армию (нейросеть). У тебя есть бюджет (время обучения), разные типы юнитов (слои: conv, pooling, attention) и цель - победить в битве (dataset).

[МЕДИА: image_01] Описание: Схема эволюционного процесса поиска архитектур нейросетей Промпт: “evolutionary algorithm illustration for neural architecture search, multiple neural network diagrams evolving over generations, mutation and crossover operations, colorful modern tech style, population of networks competing”

📐 Формальное определение

Neural Architecture Search (NAS) - автоматизированный процесс поиска оптимальной архитектуры нейронной сети для конкретной задачи.

Формально: Найти архитектуру A* = argmax_{A∈𝒜} Acc(A, D), где:

• 𝒜 - пространство возможных архитектур
• D - dataset
• Acc(A, D) - точность архитектуры A на данных D

Компоненты NAS:

1. Search Space - множество возможных архитектур
2. Search Strategy - алгоритм исследования пространства
3. Performance Estimation - способ оценки качества архитектуры

🔍 Примеры с разбором

Пример 1: Простой эволюционный NAS

Задача: Найти оптимальную CNN для CIFAR-10

Шаг 1: Определяем Search Space

# Возможные операции для каждого слоя
operations = [
    "conv3x3", "conv5x5", "maxpool3x3", 
    "avgpool3x3", "identity", "zero"
]

# Кодируем архитектуру как последовательность
# [2, 0, 1, 3] = [conv5x5, conv3x3, conv5x5, avgpool3x3]

Шаг 2: Инициализируем популяцию

population_size = 50
population = [random_architecture() for _ in range(population_size)]

Шаг 3: Эволюция

for generation in range(100):
    # Оцениваем каждую архитектуру
    fitness = [evaluate(arch) for arch in population]
    
    # Селекция лучших 20
    parents = select_top_k(population, fitness, k=20)
    
    # Создаём новое поколение через мутации
    new_population = []
    for parent in parents:
        child = mutate(parent)  # Изменяем 1-2 операции
        new_population.append(child)
    
    population = new_population

Пример 2: DARTS (Differentiable Architecture Search)

Идея: Вместо дискретного поиска, сделаем архитектуру дифференцируемой!

[МЕДИА: image_02] Описание: Диаграмма DARTS showing continuous relaxation of architecture search Promпт: “DARTS algorithm visualization, mixed operations with learnable weights, continuous relaxation of discrete choices, gradient-based optimization, technical diagram with mathematical notation”

# Смешанная операция: взвешенная сумма всех возможных операций
mixed_op = sum(α_i * op_i(x) for α_i, op_i in zip(alphas, operations))

# α - веса операций, обучаются градиентным спуском
# Итоговая архитектура = операции с максимальными α

Преимущество: Работает за часы, не дни!

🎮 Практика

Базовый уровень 🟢

Задание 1: У нас есть 3 типа операций: conv3x3, maxpool, identity. Сколько различных архитектур из 4 слоёв можно создать?

Задание 2: Архитектура A показывает accuracy 92% на validation, архитектура B - 89%. Какую выберет эволюционный алгоритм?

Задание 3: Почему NAS дорого вычислительно?

Продвинутый уровень 🟡

Задание 4: Реализуй простую мутацию архитектуры:

def mutate_architecture(arch, mutation_rate=0.2):
    # arch = [0, 1, 2, 1]  # индексы операций
    # operations = ["conv3x3", "conv5x5", "maxpool"]
    # Реализуй мутацию
    pass

Задание 5: В DARTS веса операций α = [0.8, 0.15, 0.05]. Какая операция будет выбрана в финальной архитектуре?

Задание 6: Объясни, почему One-Shot NAS эффективнее классического подхода.

Челлендж 🔴

Задание 7: Спроектируй Search Space для Transformer архитектуры. Какие компоненты можно варьировать?

Задание 8: Как бы ты адаптировал NAS для поиска архитектур под мобильные устройства с ограничениями по памяти?

⚠️ Частые ошибки

❌ Ошибка: “NAS найдёт идеальную архитектуру для любой задачи” ✅ Правильно: NAS находит лучшую архитектуру в заданном Search Space 💡 Почему: Качество результата ограничено тем, какие архитектуры мы разрешили алгоритму рассматривать

❌ Ошибка: Использовать слишком маленький validation set для оценки ✅ Правильно: Нужен достаточно большой и репрезентативный validation set 💡 Почему: Иначе алгоритм может переобучиться на validation данных

❌ Ошибка: Игнорировать computational constraints ✅ Правильно: Учитывать FLOPs, latency, memory в fitness функции 💡 Почему: Самая точная модель может быть непрактичной для deployment

❌ Ошибка: Использовать одну и ту же архитектуру для разных задач ✅ Правильно: Запускать NAS для каждой новой задачи/домена 💡 Почему: Оптимальная архитектура зависит от специфики данных и задачи

🎓 Главное запомнить

✅ Суть: NAS автоматизирует дизайн архитектур нейросетей через поиск в пространстве возможных решений ✅ Ключевые компоненты: Search Space + Search Strategy + Performance Estimation
✅ Применение: Когда нужна максимальная производительность и есть вычислительные ресурсы

🔗 Связь с другими темами

Откуда пришли: Hyperparameter optimization, evolutionary algorithms, reinforcement learning Куда ведёт: AutoML, Neural ODEs, Meta-learning Практическое применение: EfficientNet, MobileNet V3, многие SOTA модели в computer vision

Современные направления:

• Hardware-aware NAS: учёт специфики железа (TPU, mobile)
• One-shot NAS: обучение суперсети вместо множества отдельных
• Predictor-based NAS: предсказание performance без полного обучения