Практическое руководство: запуск Apache Airflow в Docker и настройка с Docker Compose

Apache Airflow — это мощная платформа с открытым исходным кодом для программного создания, планирования и мониторинга рабочих процессов. Она стала стандартом де-факто для оркестрации ETL-процессов, обработки данных и автоматизации задач в различных областях, позволяя инженерам данных и разработчикам эффективно управлять сложными конвейерами.

Саммари статьи

ChatGPT

Google AI

Grok

Perplexity

Однако развертывание и настройка Airflow, особенно с учетом его многочисленных компонентов (планировщик, веб-сервер, база данных, исполнители) и зависимостей, может быть непростой задачей. Именно здесь на помощь приходят Docker и Docker Compose, предлагая элегантное решение для создания изолированных, воспроизводимых и легко управляемых сред.

Использование контейнеров значительно упрощает процесс установки, позволяет избежать конфликтов зависимостей и обеспечивает переносимость вашей среды Airflow. В этом практическом руководстве мы шаг за шагом рассмотрим, как запустить Apache Airflow в Docker, детально настроить его с помощью Docker Compose и эффективно управлять им для разработки и тестирования.

Подготовка окружения и базовый запуск Airflow в Docker

После того как мы убедились в преимуществах использования Docker и Docker Compose для развертывания Apache Airflow, пришло время перейти от теории к практике. В этом разделе мы подробно рассмотрим, как подготовить ваше рабочее окружение и выполнить базовый запуск Airflow, используя контейнеризацию. Это позволит быстро развернуть функциональную среду для разработки и тестирования.

Мы начнем с установки необходимых инструментов – Docker и Docker Compose, которые являются фундаментом для нашей работы. Затем мы покажем, как получить официальный файл docker-compose.yaml и инициализировать среду Airflow, чтобы вы могли быстро поднять все ключевые компоненты и начать работу с DAG-файлами.

Установка Docker и Docker Compose: предварительные требования

Для успешного развертывания Apache Airflow в контейнерах Docker, первым шагом является обеспечение наличия установленных Docker Engine и Docker Compose в вашей системе. Docker Engine предоставляет среду для запуска и управления контейнерами, тогда как Docker Compose позволяет определять и запускать многоконтейнерные приложения. Это фундаментальные инструменты, необходимые для оркестрации компонентов Airflow.

Убедитесь, что Docker и Docker Compose установлены и доступны, выполнив следующие команды в терминале:

• docker --version

• docker compose version (для Docker Compose V2, который интегрирован в Docker CLI) или docker-compose --version (для старой версии V1)

Если эти команды не возвращают информацию о версии или указывают на отсутствие программ, вам потребуется установить их. Рекомендуется использовать официальные руководства по установке Docker Desktop для macOS и Windows, или Docker Engine для Linux, которые включают Docker Compose. Это обеспечит стабильную и актуальную среду для дальнейших шагов.

Получение docker-compose.yaml и инициализация среды Airflow

После успешной установки Docker и Docker Compose, следующим шагом является получение официального файла docker-compose.yaml, который определяет все необходимые сервисы для работы Apache Airflow. Рекомендуется загружать его из официального репозитория Airflow для актуальных конфигураций.

Для загрузки файла выполните:

curl -LfO "https://airflow.apache.org/docs/apache-airflow/2.8.4/docker-compose.yaml"

Примечание: Замените 2.8.4 на последнюю стабильную версию Airflow, если это необходимо.

Перед первым запуском создайте необходимые директории для DAG-файлов, логов и плагинов, а также установите AIRFLOW_UID для корректной работы с файлами внутри контейнеров:

mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)" > .env

Далее инициализируйте базу данных Airflow, которая будет хранить метаданные:

docker compose up airflow-init

После инициализации запустите все сервисы Airflow в фоновом режиме:

docker compose up -d

Это развернет планировщик, веб-сервер, базу данных и другие компоненты, подготавливая среду к работе.

Детальная конфигурация Apache Airflow через Docker Compose

После успешного развертывания базовой среды Apache Airflow с помощью Docker Compose, следующим критически важным этапом является ее детальная конфигурация. Хотя стандартный запуск позволяет быстро ознакомиться с системой, для полноценной разработки или, тем более, для производственной эксплуатации требуется более тонкая настройка каждого компонента. Docker Compose предоставляет мощные инструменты для адаптации Airflow под специфические требования вашего проекта.

В этом разделе мы углубимся в возможности docker-compose.yaml для настройки различных сервисов Airflow, включая выбор и подключение к внешним базам данных, а также эффективное управление переменными окружения и монтирование томов для обеспечения персистентности данных и гибкости развертывания.

Настройка компонентов Airflow и выбор базы данных (PostgreSQL/MySQL)

После успешного базового запуска, углубленная настройка Airflow начинается с детального изучения файла docker-compose.yaml. Здесь определяются ключевые компоненты Airflow как отдельные сервисы: airflow-scheduler (планировщик), airflow-webserver (веб-интерфейс), airflow-worker (исполнитель задач) и airflow-init (сервис инициализации базы данных). Каждый из них имеет свои настройки, такие как образ Docker, порты и зависимости.

Выбор базы данных для метаданных Airflow критичен. Для локальной разработки часто используется SQLite, но для более стабильных сред рекомендуется PostgreSQL или MySQL. В docker-compose.yaml вы найдете сервисы postgres или mysql, которые предоставляют базу данных. Airflow подключается к ней через переменную окружения AIRFLOW__CORE__SQL_ALCHEMY_CONN. Например, для PostgreSQL это будет postgresql://airflow:airflow@postgres/airflow, где postgres — это имя сервиса базы данных в Docker Compose. Убедитесь, что учетные данные и имя базы данных соответствуют конфигурации вашего сервиса БД.

Работа с переменными окружения и монтирование томов (DAGs, логи, плагины)

Продолжая настройку, важно понимать, как переменные окружения и монтирование томов влияют на поведение Airflow. Переменные окружения позволяют динамически конфигурировать Airflow без изменения airflow.cfg. Как было упомянуто, AIRFLOW__CORE__SQL_ALCHEMY_CONN — яркий пример. Общий формат для любой настройки [section] key в airflow.cfg — это AIRFLOW__SECTION__KEY.

Пример в docker-compose.yaml:

services:
  airflow-webserver:
    environment:

      - AIRFLOW__CORE__EXECUTOR=LocalExecutor

      - AIRFLOW__WEBSERVER__AUTHENTICATE=True

Монтирование томов критически важно для:

• DAGs: Чтобы Airflow мог обнаруживать и выполнять ваши DAG-файлы, необходимо смонтировать локальную директорию с DAGs в контейнеры webserver и scheduler.

  volumes:
  
    - ./dags:/opt/airflow/dags
  

• Логи: Для сохранения логов задач вне контейнеров и упрощения отладки.

  volumes:
  
    - ./logs:/opt/airflow/logs
  

• Плагины: Если вы используете пользовательские плагины Airflow.

  volumes:
  
    - ./plugins:/opt/airflow/plugins
  

Эти настройки обеспечивают гибкость и персистентность данных, что особенно важно для разработки и отладки.

Управление Airflow в контейнерах и повседневные задачи

После успешной настройки и запуска Apache Airflow с помощью Docker Compose, как было описано в предыдущих разделах, следующим логичным шагом является освоение повседневных задач по управлению этой мощной платформой. Теперь, когда все компоненты работают, важно понимать, как эффективно взаимодействовать с Airflow, чтобы контролировать выполнение рабочих процессов и поддерживать стабильность системы.

В этом разделе мы подробно рассмотрим, как получить доступ к веб-интерфейсу Airflow для мониторинга и управления DAG-файлами, как использовать команды командной строки для выполнения административных задач, а также как интерпретировать логи и отслеживать состояние исполнителей. Эти знания критически важны для любого инженера, работающего с Airflow в контейнеризированной среде.

Доступ к веб-интерфейсу, выполнение CLI-команд и запуск DAG-файлов

После успешного запуска Airflow с Docker Compose, доступ к его ключевым функциям становится интуитивно понятным.

Доступ к веб-интерфейсу

Веб-интерфейс Airflow, основной инструмент для управления DAG-файлами и мониторинга задач, доступен по адресу http://localhost:8080 (или другому порту, если вы его изменили в docker-compose.yaml). Используйте стандартные учетные данные airflow / airflow для входа, если вы не настроили их иначе. Здесь вы можете просматривать DAG-файлы, их статус, историю запусков и логи.

Выполнение CLI-команд

Для взаимодействия с Airflow через командную строку используйте docker compose exec. Например, чтобы выполнить команду airflow dags list внутри контейнера airflow-webserver:

docker compose exec airflow-webserver airflow dags list

Это позволяет управлять переменными, соединениями, пользователями и запускать DAG-файлы напрямую из терминала.

Запуск DAG-файлов

DAG-файлы, размещенные в смонтированной директории dags (например, ./dags в корне проекта), автоматически обнаруживаются планировщиком Airflow. После появления DAG в веб-интерфейсе вы можете:

• Включить его с помощью переключателя в списке DAG-файлов.

• Запустить вручную через кнопку "Trigger DAG" в веб-интерфейсе.

• Запустить через CLI: docker compose exec airflow-webserver airflow dags trigger <dag_id>.

Мониторинг задач, логирование и обзор исполнителей (Executors)

После успешного запуска DAG-файлов критически важно уметь отслеживать их выполнение. Веб-интерфейс Airflow предоставляет мощные инструменты для мониторинга: на странице "DAG Runs" вы можете видеть статус всех запусков, а в "Graph View" или "Gantt Chart" — детализацию по отдельным задачам, включая их текущее состояние и продолжительность.

Логирование задач в Airflow также доступно через веб-интерфейс, где для каждой Task Instance можно просмотреть stdout/stderr. В Docker-окружении логи обычно монтируются в тома, что позволяет получить к ним прямой доступ на хост-машине (например, в dags/logs). Также можно использовать команду docker logs <container_name> для просмотра логов конкретного контейнера.

Исполнители (Executors) определяют, как задачи будут выполняться. По умолчанию в Docker Compose для разработки используется LocalExecutor, который запускает задачи в отдельных процессах на той же машине, что и планировщик. Для более сложных или производственных сред часто применяют CeleryExecutor, позволяющий распределять задачи между несколькими рабочими узлами, что обеспечивает масштабируемость и отказоустойчивость.

Масштабирование и оптимизация Airflow в Docker

После того как мы освоили базовый запуск, мониторинг и управление Apache Airflow в Docker-контейнерах, а также получили представление о различных исполнителях, пришло время рассмотреть более сложные сценарии. Для развертывания Airflow в производственной среде или для обработки значительных объемов задач требуется не только стабильная работа, но и возможность масштабирования и оптимизации ресурсов.

В этом разделе мы сосредоточимся на том, как адаптировать Airflow для высоконагруженных систем, используя продвинутые конфигурации Docker Compose, а также как эффективно управлять жизненным циклом вашей Airflow-инсталляции, включая ее обновление без простоев.

Настройка Airflow для производственных сред (CeleryExecutor) и масштабирование

Для производственных сред, где требуется высокая доступность и масштабируемость, CeleryExecutor является предпочтительным выбором по сравнению с LocalExecutor. Он позволяет распределять выполнение задач между несколькими рабочими процессами (Celery Workers), которые могут работать на разных узлах, обеспечивая горизонтальное масштабирование.

Для реализации CeleryExecutor в Docker Compose необходимо добавить следующие компоненты:

• Брокер сообщений: Обычно Redis или RabbitMQ. Он служит для обмена сообщениями между планировщиком Airflow и Celery Workers.

• Celery Workers: Один или несколько контейнеров, которые фактически выполняют задачи DAG.

Ваш файл docker-compose.yaml будет расширен, чтобы включить сервисы для брокера сообщений (например, redis) и сервисы для Celery Workers. Планировщик Airflow будет отправлять задачи в очередь брокера, а Celery Workers будут их оттуда забирать и выполнять. Масштабирование достигается путем увеличения количества контейнеров airflow-worker.

Пример конфигурации в docker-compose.yaml будет включать сервис redis и сервис airflow-worker, где переменная окружения AIRFLOW__CORE__EXECUTOR установлена в CeleryExecutor.

Обновление Apache Airflow в Docker-контейнерах

Обновление Apache Airflow в Docker-контейнерах — это важный процесс для получения новых функций, исправлений безопасности и улучшения производительности. Перед началом обновления всегда рекомендуется ознакомиться с Release Notes для целевой версии, чтобы быть в курсе потенциальных изменений, требующих ручной настройки или миграции.

Процесс обновления обычно включает следующие шаги:

1. Обновление образа Airflow: Измените версию образа Airflow в вашем docker-compose.yaml файле на желаемую (например, с apache/airflow:2.7.3 на apache/airflow:2.8.1).

2. Остановка текущих сервисов: docker compose down.

3. Выполнение миграций базы данных: Новые версии Airflow часто требуют обновления схемы метаданных. Запустите docker compose run airflow-init airflow db upgrade (или аналогичную команду, если у вас нет отдельного сервиса airflow-init). Это обновит схему базы данных до актуального состояния.

4. Запуск обновленных сервисов: docker compose up -d.

Важные рекомендации:

• Резервное копирование: Всегда создавайте резервную копию базы данных метаданных Airflow перед любым крупным обновлением.

• Тестирование: Проводите обновление сначала в тестовой среде, чтобы убедиться в совместимости ваших DAG-файлов и конфигураций с новой версией.

• Простой: Учитывайте потенциальный простой во время обновления, особенно при выполнении миграций базы данных.

Устранение распространенных проблем и лучшие практики

Даже при тщательной настройке и регулярном обновлении Apache Airflow в Docker-контейнерах, как мы рассмотрели ранее, могут возникать непредвиденные проблемы. Эффективная диагностика и быстрое устранение неполадок являются ключевыми навыками для поддержания стабильной и производительной среды оркестрации.

В этом разделе мы сосредоточимся на практических аспектах решения распространенных проблем, с которыми сталкиваются пользователи при работе с Airflow в Docker. Мы также рассмотрим лучшие практики, которые помогут не только оперативно реагировать на инциденты, но и предотвращать их, а также оптимизировать безопасность и производительность вашей Airflow-инсталляции.

Диагностика и решение ошибок при запуске и работе Airflow в Docker

При работе с Apache Airflow в Docker неизбежно возникают ситуации, требующие диагностики и устранения проблем. Ключевым инструментом здесь является просмотр логов контейнеров. Всегда начинайте с команды docker compose logs <service_name>, где <service_name> может быть airflow-webserver, airflow-scheduler, airflow-worker или postgres.

Распространенные проблемы и их решения:

• Контейнер не запускается или перезапускается циклически:

  • Занятые порты: Сообщение "Address already in use" указывает на конфликт портов. Измените проброс портов в docker-compose.yaml или остановите процесс, занимающий порт.

  • Проблемы с зависимостями: Убедитесь, что база данных (PostgreSQL/MySQL) полностью запущена и доступна, прежде чем Airflow попытается к ней подключиться. Используйте depends_on и healthcheck в docker-compose.yaml для корректного порядка запуска.

  • Ошибки инициализации базы данных: Если вы видите ошибки подключения к БД, убедитесь, что команды airflow db migrate и airflow users create были успешно выполнены при первом запуске или после обновления Airflow.

• Веб-интерфейс Airflow недоступен:

  • Проверьте, запущен ли контейнер airflow-webserver (docker compose ps).

  • Убедитесь, что порт 8080 (или другой настроенный) корректно проброшен и не блокируется фаерволом.

• DAG-файлы не отображаются или не запускаются:

  • Проблемы с монтированием томов: Убедитесь, что директория с DAG-файлами правильно смонтирована в контейнеры airflow-webserver и airflow-scheduler через секцию volumes в docker-compose.yaml.

  • Ошибки в DAG-файлах: Проверьте логи airflow-scheduler на наличие синтаксических ошибок или проблем с импортом в ваших DAG-файлах. Планировщик не будет загружать DAG с ошибками.

  • Права доступа: Убедитесь, что у пользователя Airflow внутри контейнера есть права на чтение директории с DAG-файлами.

Рекомендации по безопасности и оптимизации производительности

После успешного устранения проблем, критически важно уделить внимание безопасности и производительности вашей среды Airflow в Docker. Это обеспечит стабильность и защиту данных.

Рекомендации по безопасности:

• Управление учетными данными: Используйте надежные пароли для базы данных, веб-интерфейса Airflow и других сервисов. Храните конфиденциальные данные (API-ключи, пароли) с помощью механизмов секретов (например, Docker Secrets или Airflow Connections с шифрованием).

• Изоляция сети: Ограничьте сетевой доступ к компонентам Airflow. Открывайте только необходимые порты (например, 8080 для веб-интерфейса) и используйте внутренние сети Docker для взаимодействия между сервисами.

• Регулярные обновления: Своевременно обновляйте образы Docker и версии Apache Airflow для получения последних исправлений безопасности и новых функций.

• Принцип наименьших привилегий: Запускайте контейнеры Airflow от имени пользователя с минимальными необходимыми правами, а не от root.

Рекомендации по оптимизации производительности:

• Выбор исполнителя (Executor): Для производственных сред используйте CeleryExecutor или KubernetesExecutor для масштабирования и параллельного выполнения задач. LocalExecutor подходит для разработки и тестирования.

• Оптимизация базы данных: Убедитесь, что ваша база данных метаданных (PostgreSQL/MySQL) настроена для оптимальной производительности, включая индексирование и адекватное выделение ресурсов.

• Мониторинг ресурсов: Отслеживайте потребление CPU, RAM и дискового пространства компонентами Airflow. При необходимости увеличивайте выделенные ресурсы в docker-compose.yaml.

• Очистка логов и метаданных: Регулярно удаляйте старые логи и записи о выполнении DAG, чтобы предотвратить разрастание базы данных и дискового пространства.

Заключение

В этом практическом руководстве мы подробно рассмотрели процесс запуска и настройки Apache Airflow с использованием Docker и Docker Compose. Мы начали с базовой установки, перешли к детальной конфигурации компонентов, управлению повседневными задачами и масштабированию для производственных сред. Особое внимание было уделено устранению распространенных проблем и лучшим практикам по безопасности и оптимизации производительности.

Использование Docker значительно упрощает развертывание, изоляцию и управление Airflow, делая его доступным как для локальной разработки, так и для более сложных продакшн-сценариев. Надеемся, что это руководство предоставило вам все необходимые инструменты и знания для эффективной работы с Apache Airflow в контейнеризированной среде.