Как предоставить доступ к таблицам BigQuery в вашей учетной записи службы?

11.09.2025
19073

3 мин
136

В BigQuery, как и в любой системе управления данными, контроль доступа играет критически важную роль. Необходимо четко определять, кто и к каким данным имеет право обращаться. Это позволяет обеспечить безопасность, конфиденциальность и соответствие нормативным требованиям.

Что такое учетная запись службы и зачем она нужна?

Учетная запись службы (Service Account) – это специальный тип учетной записи Google, предназначенный для использования приложениями или виртуальными машинами (ВМ), а не конечными пользователями. Она позволяет вашему коду (например, скрипту Python, приложению на Go) аутентифицироваться в Google Cloud и получать доступ к ресурсам, таким как BigQuery, без необходимости вводить учетные данные пользователя.

Например, если у вас есть ETL-процесс, который загружает данные в BigQuery, вам не нужно хранить чьи-то персональные учетные данные в скрипте. Вместо этого процесс будет аутентифицироваться с помощью учетной записи службы.

Обзор различных способов предоставления доступа к данным BigQuery

Существует несколько способов предоставить доступ к данным BigQuery:

IAM (Identity and Access Management): Предоставляет детализированный контроль доступа на уровне проекта, набора данных или таблицы.
ACL (Access Control Lists) для наборов данных: Более старый метод управления доступом, который все еще поддерживается, но рекомендуется использовать IAM.
Авторизованные представления: Позволяют предоставлять доступ к результатам запроса, не раскрывая базовые таблицы.
SQL GRANT statement: Предоставляет возможность управления доступом непосредственно через SQL.

Почему предоставление доступа через учетную запись службы – хорошая практика?

Использование учетных записей служб для доступа к BigQuery предоставляет несколько преимуществ:

Безопасность: Учетные данные хранятся отдельно от кода, что снижает риск утечки информации.
Управляемость: Легче отслеживать и контролировать доступ, предоставляемый приложениям.
Автоматизация: Позволяет автоматизировать процессы без вмешательства человека.
Разделение ответственности: Четкое разграничение доступа для различных приложений и пользователей.

Создание и настройка учетной записи службы для BigQuery

Создание новой учетной записи службы в Google Cloud Console

Перейдите в Google Cloud Console: https://console.cloud.google.com/.
Выберите проект Google Cloud, в котором вы используете BigQuery.
В меню навигации выберите IAM & Admin -> Service Accounts.
Нажмите кнопку + CREATE SERVICE ACCOUNT.
Укажите имя учетной записи службы, идентификатор и описание.
Нажмите CREATE AND CONTINUE.

Назначение ролей учетной записи службы для доступа к BigQuery (например, BigQuery Data Viewer, BigQuery Job User)

После создания учетной записи службы необходимо назначить ей роли, определяющие уровень доступа к BigQuery. Наиболее распространенные роли:

BigQuery Data Viewer: Позволяет просматривать данные в таблицах.
BigQuery Data Editor: Позволяет изменять данные в таблицах.
BigQuery Job User: Позволяет запускать запросы и другие задания BigQuery.
BigQuery Admin: Предоставляет полный контроль над BigQuery.

На странице создания учетной записи службы (после создания самой учетной записи) добавьте необходимые роли в разделе Grant this service account access to project. Например, вы можете добавить BigQuery Data Viewer и BigQuery Job User.

Создание ключа JSON для учетной записи службы

Для аутентификации из вашего приложения вам потребуется ключ JSON для учетной записи службы.

На странице Service Accounts в Google Cloud Console выберите созданную учетную запись службы.
Перейдите на вкладку Keys.
Нажмите ADD KEY -> Create new key.
Выберите формат JSON и нажмите CREATE.

Файл JSON с ключом будет загружен на ваш компьютер. Храните этот файл в безопасном месте и не передавайте его третьим лицам.

Предоставление доступа к определенным таблицам BigQuery учетной записи службы

Использование IAM для предоставления доступа на уровне набора данных (Dataset)

Предоставление доступа на уровне набора данных – это удобный способ предоставить доступ ко всем таблицам в этом наборе данных (включая будущие таблицы).

В Google Cloud Console перейдите в раздел BigQuery.
Выберите набор данных, к которому нужно предоставить доступ.
Нажмите Share Dataset.
В поле Add members введите адрес электронной почты учетной записи службы (например, my-service-account@my-project.iam.gserviceaccount.com).
Выберите роль (например, BigQuery Data Viewer или BigQuery Data Editor).
Нажмите SHARE.

Предоставление доступа на уровне таблицы через интерфейс BigQuery

Если вам нужно предоставить доступ только к определенным таблицам, выполните следующие действия:

В Google Cloud Console перейдите в раздел BigQuery.
Выберите таблицу, к которой нужно предоставить доступ.
Нажмите Share -> Permissions.
В поле Add members введите адрес электронной почты учетной записи службы.
Выберите роль (например, BigQuery Data Viewer или BigQuery Data Editor).
Нажмите SAVE.

Использование SQL для предоставления доступа (GRANT statement)

Вы можете использовать SQL GRANT statement для предоставления доступа к таблицам непосредственно через интерфейс BigQuery. Это особенно полезно для автоматизации.

Пример:

GRANT SELECT ON `my-project.my_dataset.my_table` TO 'serviceAccount:my-service-account@my-project.iam.gserviceaccount.com';

Где:

my-project – идентификатор вашего проекта Google Cloud.
my_dataset – имя набора данных.
my_table – имя таблицы.
my-service-account@my-project.iam.gserviceaccount.com – адрес электронной почты учетной записи службы.

Проверка доступа и устранение неполадок

Как проверить, имеет ли учетная запись службы доступ к таблице?

Самый простой способ проверить доступ – попытаться получить данные из таблицы с помощью учетной записи службы. Например, с помощью клиентской библиотеки BigQuery в Python:

from google.cloud import bigquery

# Укажите путь к файлу JSON с ключом учетной записи службы
credentials_path = "path/to/your/service_account_key.json"

# Укажите идентификатор проекта
project_id = "my-project"

# Укажите идентификатор набора данных и имя таблицы
dataset_id = "my_dataset"
table_id = "my_table"

# Создайте клиент BigQuery
client = bigquery.Client.from_service_account_json(credentials_path, project=project_id)

# Сформируйте запрос
query = f"SELECT * FROM `{project_id}.{dataset_id}.{table_id}` LIMIT 10"

# Выполните запрос
query_job = client.query(query)

# Получите результаты
results = query_job.result()

# Выведите результаты
for row in results:
    print(row)

Если запрос выполняется успешно, учетная запись службы имеет доступ к таблице. Если возникает ошибка доступа (например, google.api_core.exceptions.Forbidden), значит, необходимо проверить права доступа.

Распространенные ошибки при настройке разрешений и способы их решения

Ошибка «Access Denied» или «Forbidden»: Убедитесь, что учетной записи службы назначены необходимые роли (например, BigQuery Data Viewer, BigQuery Job User) и что у нее есть доступ к набору данных или таблице.
Неправильный идентификатор проекта: Убедитесь, что в коде используется правильный идентификатор проекта Google Cloud.
Неправильный путь к файлу JSON с ключом: Проверьте, что путь к файлу JSON с ключом учетной записи службы указан верно.
Проблемы с распространением разрешений: Изменения разрешений могут занять некоторое время, чтобы вступить в силу. Попробуйте повторить запрос через несколько минут.

Использование журналов аудита для отслеживания доступа к данным BigQuery

Журналы аудита Google Cloud (Cloud Logging) позволяют отслеживать доступ к данным BigQuery. Вы можете просматривать журналы аудита, чтобы узнать, кто и когда получал доступ к таблицам, а также выявлять потенциальные проблемы с безопасностью.

Лучшие практики по управлению доступом и безопасности в BigQuery

Принцип наименьших привилегий: предоставляйте только необходимый доступ

Предоставляйте учетным записям служб только те права доступа, которые необходимы для выполнения их задач. Не давайте избыточных прав, чтобы снизить риск несанкционированного доступа.

Регулярный аудит прав доступа учетных записей служб

Регулярно проверяйте права доступа, назначенные учетным записям служб, чтобы убедиться, что они соответствуют текущим потребностям. Удаляйте неиспользуемые учетные записи служб и права доступа.

Использование групп Google для упрощения управления доступом

Вместо предоставления доступа отдельным учетным записям служб, создайте группы Google и предоставьте доступ группам. Это упростит управление доступом, особенно если у вас много учетных записей служб.