NumPy – это краеугольный камень для научных вычислений на Python, предоставляющий мощные инструменты для работы с многомерными массивами. В машинном обучении подготовка данных является критически важным этапом, и одним из ключевых аспектов является разделение данных на обучающую и тестовую выборки. Эта статья подробно рассматривает, как эффективно разделить массив NumPy на эти выборки, используя различные подходы и инструменты.
Основы разделения данных для машинного обучения
Зачем разделять данные на обучающую и тестовую выборки?
Разделение данных на обучающую и тестовую выборки необходимо для оценки обобщающей способности модели машинного обучения.
-
Обучающая выборка используется для обучения модели.
-
Тестовая выборка используется для оценки производительности обученной модели на новых, ранее невиданных данных. Без тестовой выборки существует риск переобучения модели, когда она идеально подстраивается под обучающие данные, но плохо работает на новых данных.
Основные подходы к разделению данных (случайный, стратифицированный)
Существуют два основных подхода к разделению данных:
-
Случайное разделение: Данные разделяются случайным образом на обучающую и тестовую выборки. Это самый простой и быстрый подход.
-
Стратифицированное разделение: Данные разделяются таким образом, чтобы сохранить пропорции классов в каждой выборке. Это особенно важно, когда классы в данных несбалансированы. Например, если в наборе данных 90% объектов относятся к классу A и 10% к классу B, стратифицированное разделение обеспечит примерно такое же соотношение классов в обучающей и тестовой выборках.
Разделение массива NumPy с использованием train_test_split из Scikit-learn
Библиотека Scikit-learn предоставляет удобную функцию train_test_split для разделения массивов NumPy на обучающую и тестовую выборки. Эта функция предлагает широкие возможности настройки и является стандартным инструментом в машинном обучении.
Простой пример разделения массива NumPy
Вот простой пример разделения массива NumPy с использованием train_test_split:
import numpy as np
from sklearn.model_selection import train_test_split
# Создаем массив NumPy
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8]])
y = np.array([0, 1, 0, 1])
# Разделяем данные на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)
print('X_train:', X_train)
print('X_test:', X_test)
print('y_train:', y_train)
print('y_test:', y_test)
В этом примере X – это матрица признаков, а y – вектор целевых переменных. Функция train_test_split разделяет эти данные на обучающие (X_train, y_train) и тестовые (X_test, y_test) выборки.
Настройка параметров train_test_split: test_size, random_state
train_test_split имеет несколько важных параметров:
-
test_size: Определяет размер тестовой выборки. Может быть указан как доля от общего числа данных (например, 0.2 для 20% тестовой выборки) или как абсолютное число элементов.Реклама -
random_state: Используется для фиксации случайного состояния генератора случайных чисел. Это гарантирует, что при каждом запуске кода разделение данных будет происходить одинаково. Это важно для воспроизводимости результатов.
Продвинутые методы разделения данных
Стратифицированное разделение: что это и когда его использовать?
Стратифицированное разделение гарантирует, что пропорции классов в обучающей и тестовой выборках будут соответствовать пропорциям в исходном наборе данных. Это особенно важно, если классы в данных несбалансированы. Для выполнения стратифицированного разделения используйте параметр stratify в функции train_test_split, передав ему вектор целевых переменных y:
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)
Разделение на три выборки: обучающая, валидационная и тестовая
В некоторых случаях необходимо разделить данные на три выборки: обучающую, валидационную и тестовую.
-
Обучающая выборка используется для обучения модели.
-
Валидационная выборка используется для настройки гиперпараметров модели.
-
Тестовая выборка используется для окончательной оценки производительности обученной модели.
Это можно сделать, вызвав train_test_split дважды:
# Сначала разделяем на обучающую + валидационную и тестовую
X_train_val, X_test, y_train_val, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# Затем разделяем обучающую + валидационную на обучающую и валидационную
X_train, X_val, y_train, y_val = train_test_split(X_train_val, y_train_val, test_size=0.25, random_state=42) # 0.25 x 0.8 = 0.2
print('X_train shape:', X_train.shape)
print('X_val shape:', X_val.shape)
print('X_test shape:', X_test.shape)
Решение распространенных проблем и оптимизация разделения
Обработка несбалансированных данных при разделении
При работе с несбалансированными данными стратифицированное разделение является обязательным. Кроме того, можно использовать методы передискретизации (например, SMOTE) для увеличения количества миноритарных классов в обучающей выборке.
Разделение больших массивов NumPy для повышения производительности
При работе с очень большими массивами NumPy может потребоваться оптимизация процесса разделения. Убедитесь, что данные хранятся в оптимальном формате (например, float32 вместо float64, если это допустимо). Также можно рассмотреть возможность использования memory-mapping для работы с данными, которые не помещаются в оперативную память.
Заключение
Разделение массива NumPy на обучающую и тестовую выборки – важный шаг в процессе машинного обучения. Правильный выбор метода разделения и его параметров может существенно повлиять на производительность и обобщающую способность модели. Используйте train_test_split из Scikit-learn, учитывайте особенности ваших данных (несбалансированность классов) и оптимизируйте процесс для больших массивов, чтобы добиться наилучших результатов.