Как создать модели машинного обучения в BigQuery ML для электронной коммерции? Challenge Lab и практические примеры

10.09.2025
19017

6 мин
110

Что такое BigQuery ML и его преимущества для электронной коммерции?

BigQuery ML (BQML) позволяет специалистам по работе с данными и аналитикам создавать и запускать модели машинного обучения (ML) непосредственно в BigQuery, используя SQL. Это устраняет необходимость перемещать данные между разными системами, упрощает процесс разработки и развертывания ML моделей и существенно экономит время и ресурсы.

Для электронной коммерции это открывает широкие возможности: от прогнозирования оттока клиентов и персонализации рекомендаций до оптимизации цен и обнаружения мошеннических транзакций. Возможность быстро и эффективно анализировать огромные объемы данных о покупателях, продуктах и транзакциях позволяет принимать более обоснованные решения и улучшать бизнес-показатели.

Основные преимущества BigQuery ML для электронной коммерции:

Ускоренная разработка: Создание и обучение моделей ML происходит быстрее благодаря SQL-ориентированному подходу.
Сокращение затрат: Отсутствие необходимости перемещать данные и использовать дополнительные ML-платформы снижает затраты на инфраструктуру и разработку.
Масштабируемость: BigQuery обеспечивает высокую масштабируемость для обработки больших объемов данных электронной коммерции.
Простота использования: SQL-знакомый интерфейс позволяет аналитикам данных без глубоких знаний в программировании создавать и использовать ML модели.

Обзор Challenge Lab: задачи и цели

Challenge Lab – это практическое упражнение, предназначенное для проверки и закрепления навыков работы с BigQuery ML. В контексте электронной коммерции, Challenge Lab обычно фокусируется на решении конкретных бизнес-задач с использованием ML. Типичные задачи могут включать:

Прогнозирование вероятности покупки определенного товара.
Сегментация клиентов на основе их покупательского поведения.
Определение оптимальной цены для товара на основе данных о спросе и конкуренции.
Выявление аномальных транзакций, которые могут быть признаками мошенничества.

Цель Challenge Lab – предоставить практический опыт работы с BigQuery ML, научить выбирать подходящие алгоритмы, оценивать качество моделей и развертывать их для решения реальных задач электронной коммерции.

Необходимые навыки и инструменты для прохождения Challenge Lab

Для успешного прохождения Challenge Lab по BigQuery ML для электронной коммерции необходимы следующие навыки и инструменты:

Знание SQL: Основы SQL необходимы для работы с данными в BigQuery, создания запросов и обучения моделей ML.
Понимание основ машинного обучения: Необходимо понимать основные концепции ML, такие как supervised learning, unsupervised learning, регрессия, классификация, и метрики оценки качества моделей (accuracy, precision, recall, F1-score, ROC AUC).
Опыт работы с BigQuery: Базовое знание BigQuery, включая создание таблиц, импорт данных и выполнение запросов.
Инструменты Google Cloud Platform: Доступ к Google Cloud Platform и BigQuery. Рекомендуется использовать Jupyter Notebook или Google Colaboratory для интерактивной работы с данными и моделями.

Подготовка данных для машинного обучения в BigQuery ML

Импорт и исследование данных электронной коммерции в BigQuery

Первый шаг – импорт данных электронной коммерции в BigQuery. Данные могут поступать из различных источников, таких как:

Базы данных (например, MySQL, PostgreSQL).
Файлы CSV, JSON, Avro.
Google Analytics 360.
Другие сервисы Google Cloud Platform (например, Cloud Storage).

После импорта необходимо провести exploratory data analysis (EDA), чтобы понять структуру данных, выявить закономерности и потенциальные проблемы. Это включает в себя:

Просмотр структуры таблиц и типов данных.
Вычисление основных статистик (среднее, медиана, стандартное отклонение, минимальное и максимальное значения).
Визуализацию данных с использованием графиков и диаграмм.

-- Пример запроса для просмотра структуры таблицы
SELECT
  * EXCEPT(is_generated, generation_expression, is_stored, is_updatable)
FROM
  `your_project.your_dataset.INFORMATION_SCHEMA.COLUMNS`
WHERE
  table_name = 'your_table';

-- Пример запроса для вычисления основных статистик
SELECT
  AVG(order_total) AS average_order_total,
  STDDEV(order_total) AS stddev_order_total,
  MIN(order_total) AS min_order_total,
  MAX(order_total) AS max_order_total
FROM
  `your_project.your_dataset.orders`;

Очистка и предварительная обработка данных: обработка пропущенных значений, удаление выбросов

Данные электронной коммерции часто содержат пропущенные значения (NULLs) и выбросы (outliers), которые могут негативно повлиять на качество моделей ML. Необходимо предпринять шаги по очистке и предварительной обработке данных, чтобы обеспечить их качество и пригодность для обучения моделей.

Обработка пропущенных значений:
- Удаление строк с пропущенными значениями (если их немного).
- Заполнение пропущенных значений средним, медианой или модой (в зависимости от типа данных и распределения).
- Использование ML-алгоритмов для предсказания пропущенных значений.
Удаление выбросов:
- Идентификация выбросов с использованием статистических методов (например, Z-score, IQR).
- Удаление выбросов или замена их на более разумные значения.

-- Пример запроса для заполнения пропущенных значений средним значением
SELECT
  IFNULL(column_with_nulls, (SELECT AVG(column_with_nulls) FROM `your_project.your_dataset.your_table`)) AS column_without_nulls
FROM
  `your_project.your_dataset.your_table`;

-- Пример запроса для удаления выбросов на основе IQR
WITH
  DataWithIQR AS (
    SELECT
      value,
      PERCENTILE_CONT(value, 0.25) OVER() AS Q1,
      PERCENTILE_CONT(value, 0.75) OVER() AS Q3
    FROM
      `your_project.your_dataset.your_table`
  )
SELECT
  value
FROM
  DataWithIQR
WHERE
  value BETWEEN Q1 - 1.5 * (Q3 - Q1) AND Q3 + 1.5 * (Q3 - Q1);

Разделение данных на обучающую и тестовую выборки

Для оценки качества моделей ML необходимо разделить данные на две части: обучающую выборку (training set) и тестовую выборку (test set). Обучающая выборка используется для обучения модели, а тестовая выборка – для оценки ее производительности на новых данных.

Обычно данные разделяют в соотношении 80/20 или 70/30.

-- Пример запроса для разделения данных на обучающую и тестовую выборки
SELECT
  *
FROM
  `your_project.your_dataset.your_table`
WHERE
  MOD(FARM_FINGERPRINT(CAST(customer_id AS STRING)), 10) < 8 -- 80% для обучения

UNION ALL

SELECT
  *
FROM
  `your_project.your_dataset.your_table`
WHERE
  MOD(FARM_FINGERPRINT(CAST(customer_id AS STRING)), 10) >= 8; -- 20% для тестирования

Feature Engineering: создание новых признаков для улучшения качества моделей (например, RFM-анализ)

Feature engineering – это процесс создания новых признаков из существующих данных, которые могут улучшить качество моделей ML. В электронной коммерции, RFM-анализ (Recency, Frequency, Monetary) является одним из популярных методов feature engineering.

Recency: Как давно клиент совершил последнюю покупку.
Frequency: Как часто клиент совершает покупки.
Monetary: На какую сумму клиент совершил покупок.

-- Пример запроса для RFM-анализа
WITH
  CustomerOrders AS (
    SELECT
      customer_id,
      MAX(order_date) AS last_order_date,
      COUNT(*) AS order_frequency,
      SUM(order_total) AS total_monetary_value
    FROM
      `your_project.your_dataset.orders`
    GROUP BY
      customer_id
  ),
  Recency AS (
    SELECT
      customer_id,
      DATE_DIFF(CURRENT_DATE(), last_order_date, DAY) AS recency
    FROM
      CustomerOrders
  )
SELECT
  c.customer_id,
  r.recency,
  c.order_frequency,
  c.total_monetary_value
FROM
  CustomerOrders c
JOIN
  Recency r ON c.customer_id = r.customer_id;

Создание и обучение моделей машинного обучения в BigQuery ML

Выбор подходящей модели машинного обучения для задач электронной коммерции (например, прогнозирование оттока клиентов, оптимизация цен)

Выбор подходящей модели ML зависит от конкретной задачи электронной коммерции.

Прогнозирование оттока клиентов (Churn Prediction): Логистическая регрессия (Logistic Regression), Random Forest, Gradient Boosted Trees.
Рекомендательная система: Факторизация матрицы (Matrix Factorization), collaborative filtering.
Оптимизация цен: Линейная регрессия (Linear Regression), Random Forest, Gradient Boosted Trees.

Обучение модели: синтаксис и параметры CREATE MODEL в BigQuery ML

Для обучения модели в BigQuery ML используется команда CREATE MODEL. Синтаксис выглядит следующим образом:

CREATE OR REPLACE MODEL `your_project.your_dataset.your_model`
OPTIONS(
  model_type='logistic_reg',
  input_label_cols=['is_churned']
) AS
SELECT
  feature1,
  feature2,
  ...
  is_churned
FROM
  `your_project.your_dataset.your_training_data`;

model_type: Тип модели (например, logistic_reg, linear_reg, kmeans).
input_label_cols: Столбцы, содержащие целевую переменную (label).

Оценка качества модели: использование ML.EVALUATE и ML.ROC_CURVE

Для оценки качества модели используются функции ML.EVALUATE и ML.ROC_CURVE.

ML.EVALUATE возвращает метрики качества модели, такие как accuracy, precision, recall, F1-score, ROC AUC.

-- Пример запроса для оценки качества модели
SELECT
  *
FROM
  ML.EVALUATE(MODEL `your_project.your_dataset.your_model`,
    (SELECT
      feature1,
      feature2,
      ...
      is_churned
    FROM
      `your_project.your_dataset.your_test_data`)
  );

ML.ROC_CURVE возвращает данные для построения ROC-кривой, которая позволяет визуально оценить качество модели.

-- Пример запроса для получения данных ROC-кривой
SELECT
  *
FROM
  ML.ROC_CURVE(MODEL `your_project.your_dataset.your_model`,
    (SELECT
      feature1,
      feature2,
      ...
      is_churned
    FROM
      `your_project.your_dataset.your_test_data`)
  );

Оптимизация модели: настройка гиперпараметров для улучшения производительности

Оптимизация модели включает в себя настройку гиперпараметров для улучшения ее производительности. Это можно сделать вручную, перебирая различные значения гиперпараметров, или с использованием автоматических методов, таких как AutoML.

BigQuery ML поддерживает hyperparameter tuning с помощью опции HPARAM_TUNING_OBJECTIVES. Подробности смотрите в документации BigQuery ML.

Практические примеры использования BigQuery ML в электронной коммерции

Прогнозирование оттока клиентов (Churn Prediction): пошаговая инструкция

Подготовка данных: Сбор данных о клиентах, их транзакциях и активности на сайте. Feature engineering с использованием RFM-анализа.
Обучение модели: Использование логистической регрессии или Gradient Boosted Trees для обучения модели.
Оценка качества модели: Использование ML.EVALUATE и ML.ROC_CURVE для оценки качества модели.
Развертывание модели: Использование ML.PREDICT для получения прогнозов оттока для каждого клиента.

Рекомендательная система: как создать систему рекомендаций товаров на основе истории покупок

Подготовка данных: Сбор данных о покупках клиентов и товарах.
Обучение модели: Использование факторизации матрицы (Matrix Factorization) для обучения модели.
Развертывание модели: Использование ML.PREDICT для получения рекомендаций товаров для каждого клиента.

Оптимизация цен: прогнозирование спроса и определение оптимальной цены на товары

Подготовка данных: Сбор данных о ценах, спросе и других факторах, влияющих на спрос (например, сезонность, конкуренция).
Обучение модели: Использование линейной регрессии или Gradient Boosted Trees для обучения модели.
Оптимизация цен: Использование обученной модели для прогнозирования спроса при различных ценах и определения оптимальной цены, максимизирующей прибыль.

Развертывание и мониторинг моделей машинного обучения

Использование ML.PREDICT для получения прогнозов

Для получения прогнозов на основе обученной модели используется функция ML.PREDICT. Синтаксис выглядит следующим образом:

SELECT
  *
FROM
  ML.PREDICT(MODEL `your_project.your_dataset.your_model`,
    (SELECT
      feature1,
      feature2,
      ...
    FROM
      `your_project.your_dataset.your_new_data`)
  );

Интеграция моделей BigQuery ML с другими системами электронной коммерции

Модели BigQuery ML можно интегрировать с другими системами электронной коммерции, такими как:

CRM-системы.
Email-маркетинг.
Системы управления контентом (CMS).

Это позволяет использовать прогнозы моделей для персонализации маркетинговых кампаний, улучшения обслуживания клиентов и оптимизации цен.

Мониторинг производительности моделей и их переобучение

Важно постоянно мониторить производительность моделей ML и переобучать их по мере необходимости. Это связано с тем, что данные электронной коммерции постоянно меняются, и модель, которая хорошо работала вчера, может перестать работать сегодня.

Мониторинг производительности включает в себя отслеживание метрик качества модели и сравнение их с базовыми показателями. Если метрики ухудшаются, необходимо переобучить модель с использованием новых данных.