Apache Airflow: Руководство по удаленной отладке с PyCharm и Docker для эффективной разработки

Apache Airflow – мощная платформа для оркестрации рабочих процессов, широко используемая в области Data Engineering. Однако, разработка и отладка DAG (Directed Acyclic Graph) файлов может быть сложной задачей, особенно при работе в распределенной среде. В этой статье мы рассмотрим, как настроить удаленную отладку Airflow с использованием PyCharm и Docker, чтобы упростить процесс разработки и повысить эффективность.

Саммари статьи

ChatGPT

Google AI

Grok

Perplexity

Мы разберем пошаговую настройку Docker-окружения для Airflow, интеграцию PyCharm с Docker для удаленной отладки, типичные проблемы и их решения, а также лучшие практики настройки IDE для работы с Airflow и Docker. Этот подход позволяет разработчикам отлаживать код Airflow непосредственно в контейнере, используя возможности PyCharm, такие как breakpoints и пошаговое выполнение.

Настройка Docker для Apache Airflow

Для начала необходимо настроить Docker-окружение для Airflow. Это включает в себя создание Dockerfile и Docker Compose файла.

Подготовка Dockerfile для Airflow: Выбор базового образа и установка зависимостей

Dockerfile определяет, как будет собран Docker-образ Airflow. Важно выбрать подходящий базовый образ и установить все необходимые зависимости.

Пример Dockerfile:

FROM apache/airflow:2.7.1-python3.9

USER root
RUN pip install --no-cache-dir apache-airflow[cncf.kubernetes,celery,postgres,ssh,statsd,virtualenv]==2.7.1

USER airflow

В этом примере мы используем официальный образ Airflow apache/airflow:2.7.1-python3.9 и устанавливаем дополнительные зависимости, такие как cncf.kubernetes, celery, postgres, ssh, statsd, virtualenv.

Создание Docker Compose файла: Определение сервисов Airflow (webserver, scheduler, worker, postgres/mysql, redis) и настройка зависимостей

Docker Compose позволяет определить и запустить несколько контейнеров, образующих приложение Airflow. Необходимо определить сервисы Airflow (webserver, scheduler, worker, postgres/mysql, redis) и настроить их зависимости.

Пример Docker Compose файла:

version: '3.7'
services:
  postgres:
    image: postgres:13
    environment:

      - POSTGRES_USER=airflow

      - POSTGRES_PASSWORD=airflow

      - POSTGRES_DB=airflow
    ports:

      - "5432:5432"
  
  redis:
    image: redis:6.2
    ports:

      - "6379:6379"
  
  webserver:
    image: apache/airflow:2.7.1-python3.9
    depends_on:

      - postgres

      - redis
    environment:

      - AIRFLOW__CORE__EXECUTOR=CeleryExecutor

      - AIRFLOW__CELERY__RESULT_BACKEND=redis://redis:6379/0

      - AIRFLOW__CELERY__BROKER_URL=redis://redis:6379/0
    volumes:

      - ./dags:/opt/airflow/dags

      - ./logs:/opt/airflow/logs
    ports:

      - "8080:8080"
    command: webserver
    healthcheck:
      test: ["CMD-SHELL", "airflow db check"]
      interval: 30s
      timeout: 30s
      retries: 3
  
  scheduler:
    image: apache/airflow:2.7.1-python3.9
    depends_on:

      - webserver
    environment:

      - AIRFLOW__CORE__EXECUTOR=CeleryExecutor

      - AIRFLOW__CELERY__RESULT_BACKEND=redis://redis:6379/0

      - AIRFLOW__CELERY__BROKER_URL=redis://redis:6379/0
    volumes:

      - ./dags:/opt/airflow/dags

      - ./logs:/opt/airflow/logs
    command: scheduler
  
  worker:
    image: apache/airflow:2.7.1-python3.9
    depends_on:

      - scheduler
    environment:

      - AIRFLOW__CORE__EXECUTOR=CeleryExecutor

      - AIRFLOW__CELERY__RESULT_BACKEND=redis://redis:6379/0

      - AIRFLOW__CELERY__BROKER_URL=redis://redis:6379/0
    volumes:

      - ./dags:/opt/airflow/dags

      - ./logs:/opt/airflow/logs
    command: worker

В этом файле мы определяем сервисы postgres, redis, webserver, scheduler и worker. Важно настроить зависимости между сервисами с помощью depends_on. Также, мы монтируем локальные директории dags и logs в контейнеры, чтобы иметь доступ к DAG файлам и логам.

Интеграция PyCharm и Docker для удаленной отладки

После настройки Docker-окружения необходимо интегрировать PyCharm для удаленной отладки.

Настройка удаленного интерпретатора Python в PyCharm через Docker Compose

1. Откройте PyCharm и перейдите в File -> Settings -> Project: [Your Project Name] -> Python Interpreter.

   Реклама

2. Нажмите на значок шестеренки и выберите Add....

3. Выберите Docker Compose.

4. Укажите путь к вашему docker-compose.yml файлу.

5. Выберите сервис webserver (или любой другой сервис, в котором вы планируете отлаживать код).

6. PyCharm автоматически настроит удаленный интерпретатор Python.

Настройка путей: Маппинг локальных директорий DAGs и logs в Docker контейнер

Убедитесь, что локальные директории dags и logs правильно смаплены в Docker контейнер. Это необходимо для того, чтобы PyCharm мог находить DAG файлы и устанавливать breakpoints.

В Docker Compose файле это делается с помощью секции volumes:

volumes:

  - ./dags:/opt/airflow/dags

  - ./logs:/opt/airflow/logs

Отладка DAGs в PyCharm с использованием Docker

Теперь можно приступить к отладке DAGs в PyCharm с использованием Docker.

Настройка breakpoint’ов в PyCharm и запуск отладки

1. Откройте DAG файл в PyCharm.

2. Установите breakpoint’ы в тех местах, где вы хотите остановить выполнение кода.

3. Запустите DAG в Airflow Web UI.

4. PyCharm автоматически подключится к Docker контейнеру и остановится на установленных breakpoint’ах.

5. Используйте Python Debugger в PyCharm для пошагового выполнения кода, просмотра значений переменных и т.д.

Использование Python Debugger (pdb) внутри контейнера Airflow для отладки задач

В качестве альтернативы, можно использовать Python Debugger (pdb) непосредственно внутри контейнера Airflow. Для этого добавьте строку import pdb; pdb.set_trace() в код DAG файла в том месте, где вы хотите остановить выполнение.

Когда Airflow дойдет до этой строки, выполнение остановится, и вы сможете использовать команды pdb для отладки кода.

Распространенные проблемы и решения при удаленной отладке Airflow

При удаленной отладке Airflow могут возникнуть различные проблемы. Рассмотрим некоторые из них и способы их решения.

Проблемы с подключением к Docker контейнеру и их устранение

• Проблема: PyCharm не может подключиться к Docker контейнеру.

• Решение: Убедитесь, что Docker запущен, и что PyCharm правильно настроен для работы с Docker Compose. Проверьте настройки удаленного интерпретатора Python.

Решение проблем с зависимостями Python в Docker окружении

• Проблема: DAG не может быть импортирован из-за отсутствующих зависимостей.

• Решение: Убедитесь, что все необходимые зависимости установлены в Dockerfile. Используйте pip freeze > requirements.txt для создания файла зависимостей и добавьте COPY requirements.txt /opt/airflow/requirements.txt и RUN pip install --no-cache-dir -r /opt/airflow/requirements.txt в Dockerfile.

Оптимизация процесса разработки и отладки Airflow

Рассмотрим несколько советов по оптимизации процесса разработки и отладки Airflow.

Использование виртуальных окружений Python для локальной разработки

Используйте виртуальные окружения Python для изоляции зависимостей вашего проекта Airflow. Это поможет избежать конфликтов между разными проектами.

Автоматизация развертывания и отладки Airflow с помощью Docker Compose

Используйте Docker Compose для автоматизации развертывания и отладки Airflow. Это позволит вам быстро и легко создавать и запускать окружение Airflow для разработки.

Заключение

В этой статье мы рассмотрели, как настроить удаленную отладку Apache Airflow с использованием PyCharm и Docker. Этот подход позволяет упростить процесс разработки и повысить эффективность отладки DAG файлов. Следуя инструкциям и рекомендациям, вы сможете легко настроить окружение для разработки Airflow и избежать распространенных проблем. Удачной отладки!