Кросс-энтропия в Python: вычисление с использованием NumPy и применение в машинном обучении

  •   
  •   17396
  •   8 мин
  •   587

Кросс-энтропия — фундаментальное понятие в теории информации и машинном обучении, играющее ключевую роль в оценке и оптимизации моделей классификации.

Саммари статьи
ChatGPT ChatGPT
Google AI Google AI
Grok Grok
Perplexity Perplexity

Что такое кросс-энтропия? Интуитивное объяснение

Интуитивно кросс-энтропию можно понимать как меру «удивления» или «несоответствия» при использовании одного распределения вероятностей для предсказания событий, которые на самом деле следуют другому распределению. Чем лучше предсказывающее распределение (модель) соответствует истинному распределению, тем ниже кросс-энтропия.

Представьте, что у вас есть нечестная монета (истинное распределение p), но вы предполагаете, что она честная (предсказывающее распределение q). Кросс-энтропия количественно оценит, насколько «плоха» ваша гипотеза о честности монеты по сравнению с её реальным поведением.

Кросс-энтропия как мера различия между распределениями вероятностей

Формально, кросс-энтропия измеряет среднее количество бит, необходимое для кодирования событий из истинного распределения p, используя оптимальный код для распределения q. Если p и q идентичны, кросс-энтропия равна энтропии распределения p. Если они различаются, кросс-энтропия будет выше энтропии p.

Связь кросс-энтропии с энтропией и относительной энтропией (дивергенцией Кулбака-Лейблера)

Кросс-энтропия H(p, q) тесно связана с энтропией Шеннона H(p) и дивергенцией Куллбака-Лейблера D_KL(p || q):

H(p, q) = H(p) + D_KL(p || q)

  • Энтропия H(p): Мера неопределенности или среднее количество информации, содержащееся в распределении p.
  • Дивергенция Куллбака-Лейблера D_KL(p || q): Мера того, насколько одно распределение q отличается от другого, эталонного распределения p. Она неотрицательна и равна нулю только когда p = q.

Поскольку H(p) является константой для заданного истинного распределения p, минимизация кросс-энтропии H(p, q) эквивалентна минимизации дивергенции D_KL(p || q), то есть приближению распределения q к p.

Почему кросс-энтропия важна в машинном обучении?

В задачах классификации мы стремимся предсказать вероятностное распределение по классам для каждого входного объекта. Истинное распределение обычно представляет собой one-hot вектор (1 для истинного класса, 0 для остальных). Предсказанное моделью распределение — это вектор вероятностей (например, после Softmax). Кросс-энтропия используется как функция потерь (loss function), измеряющая несоответствие между предсказанными вероятностями и истинными метками. Минимизируя кросс-энтропию в процессе обучения, мы настраиваем параметры модели так, чтобы её предсказания были максимально близки к реальным данным.

Кросс-энтропия: математическая формула

Формула кросс-энтропии для дискретных распределений

Для двух дискретных распределений вероятностей p и q, определенных на одном и том же множестве событий {x_1, x_2, ..., x_n}, кросс-энтропия H(p, q) вычисляется как:

H(p, q) = - Σ [p(x_i) * log(q(x_i))] (суммирование по всем i)

Здесь log обычно обозначает натуральный логарифм (ln), хотя может использоваться и логарифм по основанию 2 или 10. Важно использовать одно и то же основание последовательно.

Пояснение переменных в формуле (p(x), q(x))

  • p(x_i): Истинная вероятность события (класса) x_i. В задачах классификации это часто 1 для верного класса и 0 для остальных.
  • q(x_i): Предсказанная моделью вероятность события (класса) x_i. Это значение обычно находится в диапазоне (0, 1).

Кросс-энтропия как функция потерь в классификации

Когда p представляет истинные метки (например, [0, 1, 0] для трех классов, где истинный класс — второй), а q — предсказанные вероятности (например, [0.1, 0.7, 0.2]), кросс-энтропия становится функцией потерь:

Loss = - Σ [p_true(i) * log(p_pred(i))]

Для примера выше: Loss = - (0 * log(0.1) + 1 * log(0.7) + 0 * log(0.2)) = -log(0.7).

Минимизация этого значения эквивалентна максимизации логарифма вероятности правильного класса, что интуитивно соответствует цели обучения классификатора.

Реализация кросс-энтропии с использованием NumPy в Python

NumPy предоставляет эффективные инструменты для вычисления кросс-энтропии.

Установка NumPy (если необходимо)

Если NumPy не установлен, используйте pip:

pip install numpy

Вычисление кросс-энтропии для двух дискретных распределений: пошаговое руководство

  1. Представление распределений: Используйте массивы NumPy для p (истинные вероятности) и q (предсказанные вероятности).
  2. Логарифмирование: Вычислите логарифм каждого элемента в q.
  3. Поэлементное умножение: Умножьте p на log(q).
  4. Суммирование: Просуммируйте результаты умножения.
  5. Смена знака: Умножьте сумму на -1.

Обработка краевых случаев: логарифм нуля и другие числовые неустойчивости

Прямое вычисление log(q(x_i)) может привести к проблемам, если q(x_i) очень близко к нулю (log(0) не определен) или единице. Распространенный прием — добавление небольшой константы (эпсилон, eps) к аргументу логарифма или использование клиппинга (ограничения значений q снизу и сверху):

q_clipped = np.clip(q, eps, 1 - eps)
H(p, q) = -np.sum(p * np.log(q_clipped))

Значение eps обычно выбирается малым, например, 1e-15.

Пример кода: функция для вычисления кросс-энтропии с использованием NumPy

import numpy as np
from typing import Union

def cross_entropy(p: np.ndarray, q: np.ndarray, eps: float = 1e-15) -> Union[float, np.ndarray]:
    """
    Вычисляет кросс-энтропию H(p, q) для дискретных распределений.

    Args:
        p (np.ndarray): Истинное распределение вероятностей (или метки).
                        Может быть вектором для одного примера или матрицей (N, C),
                        где N - количество примеров, C - количество классов.
        q (np.ndarray): Предсказанное распределение вероятностей.
                        Должно иметь ту же форму, что и p.
        eps (float): Малая константа для избежания log(0).

    Returns:
        Union[float, np.ndarray]: Значение кросс-энтропии.
                                   Если p и q - векторы, возвращает скаляр.
                                   Если p и q - матрицы, возвращает массив потерь
                                   для каждого примера (размера N) или среднее по батчу
                                   (в зависимости от реализации).
    """
    # Ограничиваем предсказанные вероятности для числовой стабильности
    q = np.clip(q, eps, 1. - eps)

    # Если p - one-hot метки, то умножение не нужно для всего вектора
    # Можно сразу взять логарифм вероятности истинного класса.
    # Но для общего случая (p - не one-hot) используем полную формулу:

    if p.ndim == 1:
        # Расчет для одного примера
        return -np.sum(p * np.log(q))
    elif p.ndim == 2:
        # Расчет для батча примеров
        # Суммируем по классам (ось 1)
        return -np.sum(p * np.log(q), axis=1)
    else:
        raise ValueError("Input arrays p and q must be 1D or 2D.")

# Пример использования для одного образца (мультиклассовая)
p_true = np.array([0., 1., 0.])
p_pred = np.array([0.1, 0.7, 0.2])
ce = cross_entropy(p_true, p_pred)
print(f"Кросс-энтропия (один пример): {ce:.4f}") # Примерно -log(0.7)

# Пример использования для батча (3 примера, 2 класса)
p_true_batch = np.array([[1., 0.], [0., 1.], [1., 0.]])
p_pred_batch = np.array([[0.9, 0.1], [0.2, 0.8], [0.6, 0.4]])
ce_batch = cross_entropy(p_true_batch, p_pred_batch)
print(f"Кросс-энтропия (батч): {ce_batch}")
print(f"Средняя кросс-энтропия по батчу: {np.mean(ce_batch):.4f}")

Векторизация вычислений для повышения эффективности

NumPy оптимизирован для векторных операций. Приведенная выше функция cross_entropy уже использует векторизованные операции (np.clip, np.log, np.sum), что значительно эффективнее, чем итерация по элементам в цикле Python, особенно для больших массивов данных.

Кросс-энтропия как функция потерь в задачах классификации

Кросс-энтропия для бинарной классификации: binary_crossentropy

В бинарной классификации есть только два класса (0 и 1). Истинная метка y может быть 0 или 1, а модель предсказывает вероятность p принадлежности к классу 1. Формула бинарной кросс-энтропии упрощается:

BCE = - [y * log(p) + (1 - y) * log(1 - p)]

Здесь p — предсказанная вероятность класса 1.

Пример: использование кросс-энтропии для оценки модели бинарной классификации

def binary_cross_entropy(y_true: np.ndarray, y_pred: np.ndarray, eps: float = 1e-15) -> Union[float, np.ndarray]:
    """
    Вычисляет бинарную кросс-энтропию.

    Args:
        y_true (np.ndarray): Истинные метки (0 или 1).
        y_pred (np.ndarray): Предсказанные вероятности принадлежности к классу 1.
        eps (float): Малая константа для числовой стабильности.

    Returns:
        Union[float, np.ndarray]: Значение(я) бинарной кросс-энтропии.
    """
    y_pred = np.clip(y_pred, eps, 1. - eps)
    return - (y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))

# Пример
y_true = np.array([1, 0, 1, 0])
y_pred_proba = np.array([0.9, 0.2, 0.8, 0.3]) # Вероятности класса 1

bce_loss = binary_cross_entropy(y_true, y_pred_proba)
print(f"Бинарная кросс-энтропия (поэлементно): {bce_loss}")
print(f"Средняя бинарная кросс-энтропия: {np.mean(bce_loss):.4f}")
Реклама

Кросс-энтропия для мультиклассовой классификации: categorical_crossentropy

Это общий случай, рассмотренный ранее. Используется, когда классы взаимоисключающие, и истинные метки представлены в формате one-hot encoding (например, [0, 0, 1, 0]). Предсказания модели — это вектор вероятностей для каждого класса (обычно после функции Softmax), сумма которых равна 1.

CCE = - Σ [p_true(i) * log(p_pred(i))]

Функция cross_entropy, приведенная выше, реализует именно категориальную кросс-энтропию.

Пример: использование кросс-энтропии для оценки модели мультиклассовой классификации

См. примеры использования функции cross_entropy выше.

Sparse categorical crossentropy

Это вариант категориальной кросс-энтропии, используемый, когда истинные метки представлены не как one-hot векторы, а как целые числа (индексы правильного класса). Например, вместо [0, 1, 0] используется просто 1.

Вычисление сводится к взятию отрицательного логарифма предсказанной вероятности для истинного класса:

SparseCCE = - log(p_pred(class_index))

Где class_index — это целочисленная метка истинного класса.

def sparse_categorical_cross_entropy(y_true_indices: np.ndarray, y_pred_proba: np.ndarray, eps: float = 1e-15) -> Union[float, np.ndarray]:
    """
    Вычисляет разреженную категориальную кросс-энтропию.

    Args:
        y_true_indices (np.ndarray): Истинные метки в виде индексов классов (целые числа).
        y_pred_proba (np.ndarray): Предсказанные вероятности (матрица N x C).
        eps (float): Малая константа.

    Returns:
        Union[float, np.ndarray]: Значение(я) разреженной категориальной кросс-энтропии.
    """
    num_samples = y_true_indices.shape[0]
    # Выбираем вероятности, соответствующие истинным классам
    p = np.clip(y_pred_proba[np.arange(num_samples), y_true_indices], eps, 1. - eps)
    return -np.log(p)

# Пример
y_true_idx = np.array([1, 0, 2]) # Классы 1, 0, 2
y_pred_p = np.array([[0.1, 0.7, 0.2], [0.9, 0.05, 0.05], [0.3, 0.3, 0.4]]) # N=3, C=3

sparse_cce_loss = sparse_categorical_cross_entropy(y_true_idx, y_pred_p)
print(f"Разреженная категориальная кросс-энтропия (поэлементно): {sparse_cce_loss}")
print(f"Средняя разреженная категориальная кросс-энтропия: {np.mean(sparse_cce_loss):.4f}")

Применение кросс-энтропии в машинном обучении: примеры

Обучение логистической регрессии с использованием кросс-энтропии

Логистическая регрессия — это модель для бинарной классификации. Она использует сигмоидную функцию для предсказания вероятности принадлежности к классу 1. Функция потерь, которая минимизируется при обучении логистической регрессии, — это именно бинарная кросс-энтропия.

Обучение нейронной сети с использованием кросс-энтропии (пример с NumPy)

В нейронных сетях для задач классификации кросс-энтропия является стандартной функцией потерь:

  • Бинарная классификация: Последний слой с одним нейроном и сигмоидной активацией + бинарная кросс-энтропия.
  • Мультиклассовая классификация: Последний слой с N нейронами (где N — число классов) и Softmax активацией + категориальная (или разреженная категориальная) кросс-энтропия.

Пример расчета градиента для обновления весов с использованием NumPy выходит за рамки простого вычисления потерь, но сама функция потерь вычисляется, как показано в разделах выше.

Сравнение с другими функциями потерь (MSE, MAE и др.)

  • Mean Squared Error (MSE) и Mean Absolute Error (MAE): Обычно используются в задачах регрессии. Применение MSE в задачах классификации с вероятностными выходами (0-1) может привести к медленному обучению или неоптимальным результатам, так как функция потерь не так хорошо «наказывает» за уверенные, но неверные предсказания, и ее градиенты могут затухать.
  • Hinge Loss: Часто используется в машинах опорных векторов (SVM).

Кросс-энтропия предпочтительнее для задач классификации, поскольку она напрямую связана с максимизацией правдоподобия и лучше отражает цель моделирования вероятностных распределений классов.

Когда кросс-энтропия является лучшим выбором?

Кросс-энтропия — стандартный и часто лучший выбор для задач классификации, особенно когда выходы модели представляют собой вероятности. Она обеспечивает хорошие градиенты для обучения и имеет прочную теоретическую основу в теории информации.

Продвинутые темы и оптимизация

Категориальная кросс-энтропия vs. разреженная категориальная кросс-энтропия

Основное различие — в формате представления истинных меток:

  • Categorical Cross-Entropy (CCE): Требует one-hot кодирования меток ([0, 1, 0]).
  • Sparse Categorical Cross-Entropy (SCCE): Работает с целочисленными индексами классов (1).

Выбор зависит от удобства и требований конкретной библиотеки или реализации. SCCE может быть эффективнее по памяти, если классов очень много. Математически они эквивалентны при правильном применении.

Softmax и кросс-энтропия: почему они часто используются вместе?

Функция Softmax преобразует выходные логиты нейронной сети (сырые оценки) в распределение вероятностей по классам, где сумма вероятностей равна 1. Кросс-энтропия затем измеряет расхождение между этим предсказанным распределением и истинным (one-hot или разреженным) распределением.

Эта комбинация особенно удобна математически: вычисление градиента кросс-энтропии по отношению к входам Softmax (логитам) имеет очень простую и вычислительно стабильную форму (p_pred - p_true), что ускоряет и стабилизирует процесс обучения нейронных сетей.

Регуляризация и кросс-энтропия

Регуляризация (L1, L2, Dropout и т.д.) добавляется к основной функции потерь (кросс-энтропии) для предотвращения переобучения. Общая функция потерь становится:

Total Loss = CrossEntropy_Loss + Regularization_Term

Минимизация этой комбинированной функции потерь заставляет модель не только хорошо соответствовать данным, но и поддерживать параметры модели «простыми» (например, с малыми весами для L2).

Оптимизация вычисления кросс-энтропии для больших наборов данных (NumPy и другие библиотеки)

  • NumPy: Используйте векторизованные операции для обработки батчей данных, как показано в примерах.
  • Специализированные библиотеки (TensorFlow, PyTorch): Эти фреймворки предоставляют высокооптимизированные реализации кросс-энтропии (часто объединенные с Softmax для числовой стабильности), которые могут выполняться на GPU/TPU, значительно ускоряя вычисления на больших датасетах.
  • Численная стабильность: Библиотеки глубокого обучения часто используют трюк log-sum-exp для стабильного вычисления Softmax и кросс-энтропии вместе.

Заключение

Краткое изложение основных моментов

  • Кросс-энтропия измеряет расхождение между двумя вероятностными распределениями.
  • В машинном обучении она является стандартной функцией потерь для задач классификации.
  • Минимизация кросс-энтропии эквивалентна минимизации KL-дивергенции между предсказанным и истинным распределениями.
  • Существуют варианты для бинарной (BCE), мультиклассовой (CCE) и мультиклассовой с целочисленными метками (Sparse CCE) классификации.
  • NumPy позволяет эффективно вычислять кросс-энтропию с помощью векторизованных операций.
  • Комбинация Softmax и кросс-энтропии является стандартной и эффективной практикой в нейронных сетях.

Дальнейшие шаги: ресурсы для изучения кросс-энтропии и NumPy

Для более глубокого понимания рекомендуется изучить:

  • Основы теории информации (энтропия, KL-дивергенция).
  • Документацию NumPy по математическим функциям и операциям над массивами.
  • Реализации функций потерь в фреймворках глубокого обучения (TensorFlow, PyTorch) для понимания оптимизаций и практического применения.
  • Статьи и учебники по машинному обучению, подробно рассматривающие функции потерь и процесс оптимизации моделей.
Метки:

Добавить комментарий

Реклама
Все, что нужно знать: Комплексный обзор фильтрации значений столбца не равных null в Python Pandas
В мире анализа данных столкновение с пропущенными значениями — это не редкость, а скорее данность.
  •  2
  •   2026
Руководство: Как добавить и сохранить данные в CSV-файл с помощью Python Pandas
В мире анализа данных и работы с информацией, данные редко существуют в одном, идеально структурированном виде.
  •  3
  •   2026
Как проверить Google Analytics 4 на сайте и убедиться в корректности сбора данных?
В эпоху цифрового маркетинга понимание того, как пользователи взаимодействуют с вашим сайтом, является не просто преимуществом, а критической необходимостью.
  •  3
  •   2026