Какие классы хранения Cloud Storage поддерживаются в BigQuery?

30.09.2025
20494

5 мин
203

Обзор BigQuery и Cloud Storage: когда их использовать вместе

BigQuery – это полностью управляемое, бессерверное хранилище данных от Google Cloud, предназначенное для анализа больших объемов данных. Cloud Storage, с другой стороны, предлагает масштабируемое и экономичное объектное хранилище. Их совместное использование позволяет хранить большие объемы данных в Cloud Storage, а затем анализировать их с помощью BigQuery.

Саммари статьи

ChatGPT

Google AI

Grok

Perplexity

Почему важен выбор класса хранения Cloud Storage при работе с BigQuery

Выбор класса хранения в Cloud Storage напрямую влияет на стоимость и производительность ваших запросов BigQuery. Разные классы предлагают различные уровни доступности и стоимости, поэтому важно выбрать оптимальный класс, исходя из частоты доступа к данным.

Поддерживаемые классы хранения Cloud Storage в BigQuery

BigQuery может напрямую работать со всеми классами хранения Cloud Storage.

Стандартный (Standard) класс хранения: оптимален для частого доступа

Standard – класс хранения по умолчанию, предназначенный для данных, к которым требуется частый доступ. Он обеспечивает высокую производительность и доступность. Это оптимальный вариант для активных наборов данных, которые регулярно анализируются BigQuery.

Nearline: экономичное решение для нечастого доступа

Nearline – это более экономичный вариант для данных, к которым обращаются не чаще одного раза в месяц. За чтение данных из Nearline взимается дополнительная плата, поэтому его следует использовать для данных, к которым обращаются реже, чем к Standard.

Coldline: хранение данных с редким доступом

Coldline – еще более экономичный класс хранения, подходящий для данных, к которым обращаются не чаще одного раза в квартал. За чтение данных из Coldline взимается более высокая плата, чем за Nearline.

Archive: самый экономичный класс для архивирования данных

Archive – самый дешевый класс хранения, предназначенный для долгосрочного хранения данных, к которым доступ требуется крайне редко (например, раз в год или реже). За чтение данных из Archive взимается самая высокая плата.

Влияние класса хранения на стоимость и производительность BigQuery

Ценообразование BigQuery: стоимость запросов к данным в разных классах хранения

BigQuery тарифицирует запросы, основанные на объеме обработанных данных. При запросах к данным, хранящимся в Cloud Storage, BigQuery учитывает класс хранения. Более дешевые классы хранения (например, Nearline, Coldline, Archive) снижают стоимость хранения данных, но увеличивают стоимость запросов, поскольку BigQuery необходимо извлекать данные из более медленного хранилища.

Производительность BigQuery: скорость доступа к данным в зависимости от класса хранения Cloud Storage

Класс хранения напрямую влияет на скорость доступа к данным. Данные, хранящиеся в классе Standard, обрабатываются быстрее, чем данные в классах Nearline, Coldline или Archive.

Оптимизация затрат и производительности: как выбрать подходящий класс хранения

Выбор подходящего класса хранения – это компромисс между стоимостью хранения и стоимостью запросов. Определите частоту доступа к вашим данным и выберите класс, который минимизирует общую стоимость владения.

Практическое использование: загрузка данных из Cloud Storage в BigQuery

Импорт данных из Cloud Storage с учетом класса хранения

При загрузке данных из Cloud Storage в BigQuery класс хранения исходных данных не влияет на процесс загрузки. BigQuery просто считывает данные из указанного местоположения. Однако, после загрузки в BigQuery, данные будут храниться в собственном хранилище BigQuery, что отвязывает их от класса хранения Cloud Storage.

from google.cloud import bigquery

def load_data_from_gcs(project_id: str, dataset_id: str, table_id: str, gcs_uri: str) -> None:
    """Loads data from a Cloud Storage bucket into a BigQuery table.

    Args:
        project_id: The ID of the Google Cloud project.
        dataset_id: The ID of the BigQuery dataset.
        table_id: The ID of the BigQuery table.
        gcs_uri: The URI of the file in Cloud Storage.
    """
    client = bigquery.Client(project=project_id)
    table_ref = client.dataset(dataset_id).table(table_id)

    job_config = bigquery.LoadJobConfig(
        source_format=bigquery.SourceFormat.CSV,  # Adjust format as needed
        skip_leading_rows=1,
        autodetect=True,
    )

    load_job = client.load_table_from_uri(
        gcs_uri,
        table_ref,
        job_config=job_config,
    )

    load_job.result()  # Waits for the job to complete.

    print(f"Loaded data from {gcs_uri} into {dataset_id}.{table_id}")

# Example usage:
# load_data_from_gcs("your-project-id", "your_dataset", "your_table", "gs://your-bucket/your_file.csv")

Использование внешних таблиц BigQuery для доступа к данным в Cloud Storage

Внешние таблицы позволяют BigQuery напрямую запрашивать данные, хранящиеся в Cloud Storage, без необходимости загрузки данных в BigQuery. При использовании внешних таблиц важно учитывать класс хранения, так как он влияет на скорость запросов и стоимость.

from google.cloud import bigquery

def create_external_table(project_id: str, dataset_id: str, table_id: str, gcs_uri: str) -> None:
    """Creates an external table in BigQuery that points to data in Cloud Storage.

    Args:
        project_id: The ID of the Google Cloud project.
        dataset_id: The ID of the BigQuery dataset.
        table_id: The ID of the BigQuery table.
        gcs_uri: The URI of the file in Cloud Storage.
    """
    client = bigquery.Client(project=project_id)
    table_ref = client.dataset(dataset_id).table(table_id)

    external_config = bigquery.ExternalConfig(
        bigquery.SourceFormat.CSV  # Adjust format as needed
    )
    external_config.source_uris = [gcs_uri]
    external_config.options.skip_leading_rows = 1
    external_config.options.autodetect = True

    table = bigquery.Table(table_ref)
    table.external_data_configuration = external_config

    table = client.create_table(table)

    print(f"Created external table {dataset_id}.{table_id} pointing to {gcs_uri}")

# Example usage:
# create_external_table("your-project-id", "your_dataset", "your_external_table", "gs://your-bucket/your_file.csv")

Примеры SQL-запросов для анализа данных из Cloud Storage

При запросе внешних таблиц в BigQuery, синтаксис SQL остается неизменным. Однако, помните, что скорость выполнения запроса будет зависеть от класса хранения данных в Cloud Storage.

-- Пример запроса к внешней таблице
SELECT column1, column2
FROM `your-project-id.your_dataset.your_external_table`
WHERE condition;

Рекомендации и лучшие практики

Автоматизация перемещения данных между классами хранения с помощью Cloud Storage Lifecycle Management

Cloud Storage Lifecycle Management позволяет автоматически перемещать данные между классами хранения в зависимости от заданных правил. Это позволяет оптимизировать затраты, перемещая редко используемые данные в более дешевые классы хранения.

Мониторинг и оптимизация использования Cloud Storage для BigQuery

Регулярно отслеживайте затраты и производительность ваших запросов BigQuery, чтобы оптимизировать выбор класса хранения для ваших данных в Cloud Storage. Используйте инструменты мониторинга Google Cloud, чтобы выявлять возможности для улучшения.