Руководство: Пошаговое подключение Apache Airflow к кластеру Kubernetes

В современном мире больших данных и микросервисной архитектуры эффективная оркестрация рабочих процессов становится ключевым фактором успеха. Apache Airflow зарекомендовал себя как мощный инструмент для программного создания, планирования и мониторинга сложных потоков данных, предлагая гибкость и надежность для управления ETL/ELT задачами, машинными обучением и другими аналитическими пайплайнами.Одновременно с этим Kubernetes утвердился как стандарт де-факто для развертывания, масштабирования и управления контейнеризированными приложениями, обеспечивая высокую доступность и эффективное использование инфраструктуры.Интеграция Airflow с Kubernetes открывает новые горизонты для управления рабочими процессами, предлагая беспрецедентную масштабируемость, отказоустойчивость и оптимизацию использования ресурсов. В этом руководстве мы подробно рассмотрим, как подключить Apache Airflow к кластеру Kubernetes, используя различные подходы, и как настроить KubernetesExecutor для эффективного выполнения DAGs, используя всю мощь вашей контейнерной платформы.

Саммари статьи

ChatGPT

Google AI

Grok

Perplexity

Что такое Apache Airflow и Kubernetes?

Краткий обзор Apache Airflow: возможности и назначение

Apache Airflow — это открытая платформа для программного создания, планирования и мониторинга рабочих процессов (workflow). Она позволяет определять потоки задач в виде ориентированных ациклических графов (DAGs), написанных на Python. Основное назначение Airflow — обеспечить надежное и масштабируемое выполнение сложных последовательностей задач, таких как ETL-процессы, формирование отчетов или обучение моделей машинного обучения, предоставляя при этом богатые возможности для визуализации и мониторинга.

Основы Kubernetes: оркестрация контейнеров и преимущества

Kubernetes (сокращенно K8s) — это открытая система для автоматизации развертывания, масштабирования и управления контейнеризированными приложениями. Она предоставляет механизм для декларативного управления жизненным циклом приложений, обеспечивая их высокую доступность, устойчивость к сбоям и эффективное использование ресурсов. Ключевые преимущества Kubernetes включают: оркестрацию контейнеров, автоматическое развертывание и откат, самовосстановление, балансировку нагрузки и управление конфигурацией, что делает его стандартом для современных распределенных систем.

Краткий обзор Apache Airflow: возможности и назначение

Apache Airflow — это мощная платформа с открытым исходным кодом, предназначенная для программного создания, планирования и мониторинга рабочих процессов. Его ключевая особенность заключается в определении рабочих процессов в виде направленных ациклических графов (DAGs), написанных на Python. Такой подход позволяет инженерам использовать привычные инструменты разработки для создания сложных последовательностей задач.

Основные возможности и назначение Airflow включают:

• Программное создание DAGs: Рабочие процессы определяются как Python-код, что обеспечивает гибкость, версионность и тестируемость.

• Надежное планирование: Airflow позволяет задавать расписания выполнения DAGs, поддерживает сложные зависимости между задачами и повторные попытки в случае сбоев.

• Мониторинг и управление: Интуитивно понятный веб-интерфейс предоставляет централизованное место для отслеживания статуса выполнения задач, просмотра логов, управления DAGs (запуск, остановка, очистка).

• Расширяемость: Благодаря системе операторов, сенсоров и хуков, Airflow легко интегрируется с множеством внешних систем и сервисов (базы данных, облачные хранилища, API).

Airflow активно используется для автоматизации ETL-процессов, построения конвейеров данных, управления задачами машинного обучения и любых других последовательностей операций, требующих надежной оркестрации.

Основы Kubernetes: оркестрация контейнеров и преимущества

Kubernetes (часто сокращаемый как K8s) — это открытая система для автоматизации развёртывания, масштабирования и управления контейнерными приложениями. Она позволяет абстрагироваться от базовой инфраструктуры, предоставляя унифицированный интерфейс для управления ресурсами. В своей основе Kubernetes решает проблему оркестрации контейнеров, обеспечивая их жизненный цикл, от запуска и мониторинга до перезапуска при сбоях и масштабирования.Основные преимущества Kubernetes включают:

• Масштабируемость: Автоматическое масштабирование приложений в зависимости от нагрузки, что позволяет эффективно управлять ресурсами.

• Самовосстановление: Kubernetes автоматически перезапускает вышедшие из строя контейнеры, заменяет их, уничтожает неработающие и обеспечивает доступность сервисов.

• Управление конфигурацией и секретами: Позволяет безопасно хранить и управлять чувствительными данными и конфигурациями приложений.

• Портативность: Обеспечивает согласованную среду выполнения для приложений в различных облаках и локальных центрах обработки данных.

Зачем интегрировать Airflow с Kubernetes?

Интеграция Apache Airflow с Kubernetes является логичным шагом для тех, кто стремится к максимальной эффективности и надежности в управлении рабочими процессами. Использование KubernetesExecutor открывает новые горизонты для оркестрации DAGs, предлагая значительные преимущества перед традиционными подходами.

Преимущества использования KubernetesExecutor: масштабируемость и оптимизация ресурсов

KubernetesExecutor позволяет каждому экземпляру задачи Airflow запускаться в отдельном Pod’е Kubernetes. Это обеспечивает:

• Изоляцию ресурсов: Каждая задача получает свои собственные ресурсы (CPU, RAM), предотвращая влияние одной задачи на другие.

• Масштабируемость по требованию: Airflow может динамически запускать новые Pod’ы для каждой задачи, эффективно масштабируясь под нагрузку и освобождая ресурсы после завершения.

• Оптимизация затрат: Ресурсы потребляются только тогда, когда задачи активно выполняются, что снижает накладные расходы.

• Гибкость: Возможность использования различных Docker-образов для разных задач, что удобно для работы с разнообразными зависимостями.

Сравнение с другими Executor’ами Airflow (Local, Celery)

• LocalExecutor: Подходит для небольших инсталляций, запускает все задачи на одном узле, что является узким местом для масштабирования и изоляции.

• CeleryExecutor: Обеспечивает распределенное выполнение задач с помощью брокера сообщений (например, RabbitMQ или Redis). Хотя он масштабируем, управление инфраструктурой Celery может быть сложнее, а изоляция задач менее гранулирована по сравнению с Kubernetes. CeleryExecutor требует постоянной работы воркеров, тогда как KubernetesExecutor создает их по мере необходимости.

Преимущества использования KubernetesExecutor: масштабируемость и оптимизация ресурсов

KubernetesExecutor кардинально меняет подход к выполнению задач в Airflow, предлагая беспрецедентную масштабируемость и оптимизацию ресурсов. Каждая задача DAG запускается в собственном, изолированном Pod’е Kubernetes. Это позволяет динамически выделять ресурсы только на время выполнения задачи, что значительно сокращает операционные издержки и предотвращает конфликты зависимостей.

Ключевые преимущества:

• Эластичная масштабируемость: Kubernetes автоматически создает и уничтожает Pod’ы для каждой задачи, обеспечивая горизонтальное масштабирование в зависимости от нагрузки. Нет необходимости поддерживать фиксированный пул воркеров.

• Оптимизация ресурсов: Ресурсы (CPU, RAM) потребляются только активными задачами. Как только задача завершается, ее Pod удаляется, освобождая ресурсы кластера.

• Изоляция задач: Каждая задача выполняется в чистой, изолированной среде, что предотвращает "загрязнение" среды одной задачи другими и упрощает управление зависимостями через Docker-образы.

• Гибкость: Позволяет использовать разные Docker-образы для разных задач, предоставляя точный контроль над их окружением.

Сравнение с другими Executor’ами Airflow (Local, Celery)

Ранее мы уже упоминали о преимуществах KubernetesExecutor, теперь сравним его с другими популярными исполнителями Airflow.

• LocalExecutor: Это самый простой исполнитель, запускающий все задачи локально в отдельных потоках или процессах на одной машине. Идеален для разработки и тестирования, но абсолютно не масштабируем и не подходит для продакшн-сред.

• CeleryExecutor: Предназначен для распределенного выполнения задач. Он использует Celery брокер (например, RabbitMQ или Redis) и пул воркеров Celery. Каждый воркер запускает несколько задач. CeleryExecutor масштабируем, но требует ручного управления пулом воркеров и может привести к неоптимальному использованию ресурсов из-за фиксированного количества воркеров, ожидающих задач. Управление Celery-кластером также добавляет операционной сложности.

В отличие от них, KubernetesExecutor динамически выделяет ресурсы, создавая новые Pod’ы для каждой задачи, что обеспечивает превосходную изоляцию, масштабируемость и оптимизацию использования кластерных ресурсов по сравнению с фиксированными пулами воркеров Celery.

Предварительные требования и подготовка

Для успешного развертывания Apache Airflow на Kubernetes необходимо выполнить ряд предварительных шагов. Это обеспечит стабильную и управляемую среду.

Настройка кластера Kubernetes

Прежде всего, вам понадобится работающий кластер Kubernetes. Для целей тестирования и разработки можно использовать локальные решения, такие как Minikube или Kind. Для продуктивных сред рекомендуется использовать управляемые сервисы, такие как Google Kubernetes Engine (GKE), Amazon Elastic Kubernetes Service (EKS) или Azure Kubernetes Service (AKS).

Подготовка Docker Registry и необходимых инструментов

1. Docker Registry: Airflow, развернутый на Kubernetes, будет использовать Docker-образы для своих компонентов (веб-сервер, шедулер, воркеры). Вам потребуется доступ к Docker Registry (например, Docker Hub, Google Container Registry, Amazon ECR или приватный репозиторий) для хранения и извлечения этих образов. Убедитесь, что ваш кластер Kubernetes имеет необходимые права для доступа к этому реестру.

2. kubectl: Это стандартный инструмент командной строки для взаимодействия с кластером Kubernetes. Убедитесь, что он установлен и настроен для доступа к вашему кластеру.

3. Helm: Helm – это менеджер пакетов для Kubernetes, который упрощает развертывание и управление сложными приложениями. Он будет использоваться для установки Airflow с помощью официального Helm Chart.

Настройка кластера Kubernetes

Прежде чем приступить к развертыванию Airflow, необходимо убедиться в наличии работоспособного кластера Kubernetes. Для целей разработки и тестирования подойдет локальный кластер, такой как Minikube или k3s. Для продуктовой среды рекомендуется использовать управляемые сервисы облачных провайдеров, например, Amazon EKS, Google GKE или Azure AKS, которые обеспечивают высокую доступность и упрощают администрирование.

Важно, чтобы кластер имел достаточное количество ресурсов (CPU, RAM) и поддерживал динамическое выделение хранилищ через StorageClass для обеспечения персистентности данных Airflow (например, для базы данных PostgreSQL). Также убедитесь, что ваш кластер настроен с соответствующими сетевыми политиками и имеет доступ к интернет-ресурсам для скачивания образов Docker. Доступ к кластеру должен быть настроен через kubectl.

Подготовка Docker Registry и необходимых инструментов (kubectl, Helm)

Для эффективной работы Airflow в кластере Kubernetes необходимо обеспечить доступ к репозиторию для образов Docker. Это может быть общедоступный Docker Hub или частный реестр (например, Amazon ECR, Google Container Registry, Azure Container Registry или собственный Harbor). Убедитесь, что ваш кластер Kubernetes имеет необходимые разрешения для извлечения образов из выбранного реестра.

Далее установите клиентские инструменты:

1. kubectl: Это официальный инструмент командной строки для управления кластерами Kubernetes. Он позволяет взаимодействовать с кластером, развертывать приложения и инспектировать его состояние. Инструкции по установке доступны в официальной документации Kubernetes.

2. Helm: Являясь пакетным менеджером для Kubernetes, Helm упрощает развертывание сложных приложений, таких как Airflow. Он использует так называемые "чарты" (Helm Charts), которые представляют собой предопределенные пакеты конфигурации. Установка Helm также подробно описана в его официальной документации.

Пошаговое развертывание Airflow на Kubernetes

Имея подготовленный кластер Kubernetes и необходимые инструменты, можно приступать к развертыванию Airflow. Наиболее простым и рекомендуемым способом является использование официального Helm Chart.

1. Развертывание через Helm Chart:

   • Добавьте репозиторий Airflow Helm: helm repo add apache-airflow https://airflow.apache.org/charts helm repo update

   • Установите Airflow, настраивая значения через values.yaml или флаги --set. Например, для включения KubernetesExecutor и настройки PostgreSQL: helm install airflow apache-airflow/airflow --namespace airflow --create-namespace -f values.yaml Это значительно упрощает развертывание всех необходимых компонентов: веб-сервера, планировщика, базы данных (PostgreSQL), Redis и, конечно, настройку для KubernetesExecutor.

2. Ручная настройка с помощью YAML-файлов: Для более глубокого контроля или специфических сценариев можно развернуть Airflow, используя набор YAML-файлов. Это потребует создания Deployment для планировщика и веб-сервера, ConfigMap для airflow.cfg, Service для доступа, а также ServiceAccount и RoleBinding для RBAC, чтобы Airflow мог взаимодействовать с API Kubernetes.

Использование Helm Chart для установки Airflow

Использование Helm Chart — это наиболее рекомендуемый и эффективный способ развертывания Apache Airflow на Kubernetes. Helm автоматизирует процесс установки, управления и обновления всех компонентов Airflow, включая базы данных, планировщики, веб-серверы и воркеры, а также интеграцию с KubernetesExecutor. Это значительно сокращает время на настройку и минимизирует вероятность ошибок.

Для установки Airflow с помощью Helm выполните следующие шаги:

1. Добавьте репозиторий Airflow Helm Chart:

   helm repo add apache-airflow https://airflow.apache.org/charts
   helm repo update
   

2. Установите Airflow, используя Chart:

   helm install airflow apache-airflow/airflow --namespace airflow --create-namespace \
       --set executor=KubernetesExecutor \
       --set webserver.service.type=LoadBalancer \
       --set ingress.enabled=false
   

Этот пример устанавливает Airflow в пространство имен airflow, активирует KubernetesExecutor и настраивает веб-сервер для доступа извне кластера. Доступно множество других параметров для точной настройки базы данных, персистентности, ресурсов и других аспектов.

Ручная настройка с помощью YAML-файлов (Deployment, ConfigMap, Service, RBAC)

Для тех, кто предпочитает полный контроль над каждой деталью развертывания, ручная настройка с использованием YAML-файлов является оптимальным выбором. Этот подход позволяет точно определить каждый компонент Airflow в кластере Kubernetes.

Ключевые объекты Kubernetes, которые потребуются:

• Deployment: Определяет количество реплик для основных компонентов Airflow, таких как airflow-webserver, airflow-scheduler и, при использовании KubernetesExecutor, динамически создаваемых airflow-worker подов.

• ConfigMap: Используется для хранения конфигурационного файла airflow.cfg, переменных окружения и других настроек, доступных для всех подов Airflow.

• Service: Обеспечивает сетевой доступ к веб-интерфейсу Airflow и внутренним службам. Обычно создаются ClusterIP для внутреннего взаимодействия и LoadBalancer или NodePort для внешнего доступа к веб-серверу.

• RBAC (Role-Based Access Control): Включает ServiceAccount, Role и RoleBinding, которые предоставляют необходимый набор прав для подов Airflow, чтобы они могли взаимодействовать с API Kubernetes, например, для создания и мониторинга воркер-подов при использовании KubernetesExecutor.

Конфигурация и использование KubernetesExecutor

Для использования KubernetesExecutor необходимо внести соответствующие изменения в файл airflow.cfg. Ключевым шагом является установка параметра executor в секции [core].

[core]
executor = KubernetesExecutor

[kubernetes]
# Namespace, где будут запускаться поды задач Airflow
namespace = airflow
# Установите в 'True', если Airflow развернут внутри кластера Kubernetes
in_cluster = True
# Образ контейнера, который будет использоваться для запуска задач-воркеров
worker_container_repository = apache/airflow
worker_container_tag = 2.x.x-python3.x
# Здесь также можно настроить другие параметры, такие как requests/limits ресурсов, 
# service account для подов, образы для sidecar-контейнеров и т.д.

После применения этих настроек, каждый раз, когда задача (Task) запускается в DAG, KubernetesExecutor динамически создает новый под Kubernetes. Этот под выполняет назначенную задачу и автоматически завершается по её выполнении. Такой подход обеспечивает высокую степень изоляции задач, эффективное использование ресурсов и масштабирование по требованию, что является одним из главных преимуществ интеграции Airflow с Kubernetes.

Настройка airflow.cfg для работы с Kubernetes

Для полноценной работы с KubernetesExecutor требуется тщательная настройка файла airflow.cfg. Основные изменения касаются секций [core] и [kubernetes_executor]. В секции [core] необходимо установить:

executor = KubernetesExecutor

Далее, секция [kubernetes_executor] позволяет тонко настроить создание подов для задач. Вот ключевые параметры:

• namespace: Пространство имен Kubernetes, где будут запускаться поды задач.

• worker_container_repository: Репозиторий образа Docker для контейнера рабочего процесса Airflow.

• worker_container_tag: Тег образа Docker.

• worker_container_image_pull_policy: Политика загрузки образа (например, IfNotPresent, Always).

• service_account_name: Имя учетной записи службы Kubernetes для запуска подов.

• affinity, tolerations, node_selectors: Используются для планирования подов на определенные узлы кластера.

Пример конфигурации:

[kubernetes_executor]
namespace = airflow-tasks
worker_container_repository = apache/airflow
worker_container_tag = 2.7.2-python3.9
worker_container_image_pull_policy = IfNotPresent
service_account_name = airflow-worker-sa

Эти настройки гарантируют, что каждая задача Airflow будет запускаться в изолированном поде в указанном пространстве имен, используя заданный образ и параметры безопасности.

Создание и запуск DAGs, выполняющихся в Pods Kubernetes

После настройки KubernetesExecutor в airflow.cfg, создание DAGs не требует кардинальных изменений по сравнению с обычными DAGs. Каждый оператор, определенный в DAG, будет порождать отдельный под Kubernetes для выполнения своей задачи.

Для примера, рассмотрим простой DAG:

from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime

with DAG(
    dag_id='kubernetes_executor_example',
    start_date=datetime(2023, 1, 1),
    schedule_interval=None,
    catchup=False
) as dag:
    start_task = BashOperator(
        task_id='start_task',
        bash_command='echo "Начинаем выполнение в поде Kubernetes!"'
    )

    process_data = BashOperator(
        task_id='process_data',
        bash_command='sleep 5 && echo "Обработка данных завершена."'
    )

    end_task = BashOperator(
        task_id='end_task',
        bash_command='echo "DAG успешно выполнен."'
    )

    start_task >> process_data >> end_task

При запуске этого DAG, каждый BashOperator будет создавать новый под в указанном namespace кластера Kubernetes, выполнять команду и затем завершать работу. Вы можете отслеживать создание и статус этих подов с помощью kubectl get pods -n <your-airflow-namespace>.

Заключение

Мы подробно рассмотрели пошаговый процесс успешной интеграции Apache Airflow с кластером Kubernetes. Использование KubernetesExecutor представляет собой мощное решение, значительно повышающее масштабируемость, гибкость и отказоустойчивость ваших рабочих процессов. Динамическое выделение ресурсов для каждой задачи позволяет оптимизировать затраты и эффективно управлять нагрузкой. Эта связка обеспечивает современную, надежную и эффективную платформу для оркестрации сложных конвейеров данных в любой среде, что критически важно для современного DevOps.