BigQuery – это мощное и экономичное хранилище данных от Google Cloud. Одной из его особенностей является Time Travel, или перемещение во времени, позволяющее получать доступ к данным в определенный момент в прошлом. Однако, в некоторых случаях, эта функциональность может быть избыточной и приводить к неоправданным затратам на хранение. В этой статье мы рассмотрим, как безопасно отключить Time Travel в BigQuery и сэкономить на хранении, не жертвуя возможностью восстановления данных.
Что такое Time Travel в BigQuery и когда его стоит отключать
Определение и принцип работы Time Travel
Time Travel в BigQuery позволяет запрашивать данные в состоянии на определенный момент времени в прошлом. BigQuery сохраняет историю изменений данных, что позволяет восстанавливать данные после случайного удаления или обновления. По умолчанию, история изменений хранится в течение 7 дней, но этот период можно настроить.
Когда отключение Time Travel целесообразно: сценарии и причины
Отключение Time Travel может быть целесообразным в следующих случаях:
-
Сокращение затрат: Хранение истории изменений занимает место и, следовательно, увеличивает затраты на хранение данных. Если требования к восстановлению данных в прошлом невысоки, отключение Time Travel может значительно снизить расходы. Не путать с долгосрочным хранением.
-
Регуляторные требования: В некоторых случаях, сохранение истории изменений может противоречить требованиям регуляторов по защите персональных данных. В таких ситуациях отключение Time Travel может быть необходимо для соответствия требованиям.
-
Архивные данные: Для данных, которые больше не изменяются и используются только для отчетности, Time Travel не требуется. Отключение Time Travel для архивных наборов данных может сэкономить место и деньги.
Пошаговая инструкция по отключению Time Travel в BigQuery
Отключить Time Travel можно на уровне набора данных (dataset) или на уровне таблицы (table). Следует помнить, что отключение Time Travel приведет к невозможности восстановления данных к предыдущему состоянию.
Отключение Time Travel на уровне набора данных (Dataset)
-
Откройте консоль Google Cloud.
-
Перейдите в BigQuery.
-
Выберите нужный набор данных.
-
Нажмите Edit details (Изменить детали).
-
В поле Default table expiration (Срок действия таблицы по умолчанию) укажите минимальное значение – 0. Это означает, что таблицы в наборе данных не будут иметь Time Travel.
-
Сохраните изменения.
Отключение Time Travel на уровне таблицы (Table)
-
Откройте консоль Google Cloud.
-
Перейдите в BigQuery.
-
Выберите нужную таблицу.
-
Нажмите Edit details (Изменить детали).
-
В поле Table expiration (Срок действия таблицы) укажите минимальное значение – 0. Это означает, что для этой таблицы Time Travel будет отключен.
Реклама -
Сохраните изменения.
Настройка срока хранения данных как альтернатива полному отключению Time Travel
Как изменить срок хранения данных в BigQuery
Вместо полного отключения Time Travel можно изменить срок хранения данных. Это позволит сэкономить на хранении, сохранив возможность восстановления данных за определенный период.
-
Откройте консоль Google Cloud.
-
Перейдите в BigQuery.
-
Выберите набор данных или таблицу.
-
Нажмите Edit details (Изменить детали).
-
В поле Default table expiration (Срок действия таблицы по умолчанию) или Table expiration (Срок действия таблицы) укажите желаемый срок хранения данных в днях.
-
Сохраните изменения.
Оптимальный срок хранения: баланс между затратами и потребностями восстановления
Оптимальный срок хранения данных зависит от потребностей бизнеса. Необходимо учитывать частоту изменения данных, риски потери данных и затраты на хранение. Рекомендуется установить минимальный срок хранения, достаточный для восстановления данных в случае сбоев или ошибок.
Последствия отключения Time Travel и альтернативные стратегии восстановления данных
Риски и ограничения, связанные с отключением Time Travel
Отключение Time Travel означает, что вы не сможете восстановить данные к предыдущему состоянию. Это может быть критично в случае случайного удаления или обновления данных. Поэтому, перед отключением Time Travel необходимо тщательно оценить риски и принять меры для защиты данных.
Альтернативные методы резервного копирования и восстановления данных в BigQuery
В качестве альтернативы Time Travel можно использовать следующие методы резервного копирования и восстановления данных:
-
Создание резервных копий в Cloud Storage: Регулярно экспортируйте данные из BigQuery в Cloud Storage. Это позволит восстановить данные в случае сбоев или ошибок.
-
Использование моментальных снимков (snapshots): Делайте моментальные снимки таблиц BigQuery. Это обеспечивает быстрое восстановление данных на определенный момент времени.
-
Репликация данных в другой регион: Реплицируйте данные в другой регион для обеспечения отказоустойчивости.
Заключение
Отключение Time Travel в BigQuery может значительно сэкономить на хранении, но важно учитывать риски и ограничения. Перед отключением Time Travel необходимо тщательно оценить потребности бизнеса и принять меры для защиты данных. Настройка оптимального срока хранения данных или использование альтернативных методов резервного копирования и восстановления данных могут быть лучшим решением, чем полное отключение Time Travel.