Fri, 03 April 2020, 10:00 (GMT)
	Russia, Moscow, ул.Илимская д5. корп.2 офис 303
	Free

Программа курса
Введение в Data Flow
История появления,на чем написан (python)
Основной объект (DAG)
Операторы и таски
Worker
Scheduler, schedule interval и execution date
Pool’ы
Приоритезация
Метаданные
Airflow UI и Webserver
Мониторинг (средства Airflow и кастомные варианты)
Алерты Введение в AirFlow
Логирование
Разработка Data Flow с Apache AirFlow
Создание и основные параметры DAG
Operators и plugins
Hooks, connections, и variables
Работающие из коробки и уже написанные community операторы, хуки и т.п.
Создание тасков
Макросы (Jinja)
Управление зависимостями (внутри DAG, внешние зависимости, timedelta)
Визуализация в Web UI
Настройка расписания
Контекст (выполнения task)
Обмен сообщениями между tasks, DAGS (xcom)
Добавление настраиваемых операторов, сенсоров, хуков и т.п.
Развертывание и настройка Airflow
Установка Apache Airflow в конфигурации по умолчанию (SQLite, SequentialExecutor)
Установка Redis, Celery
Настройка airflow.cfg (PostgreSQL, Celery, Redis, parallel degree…)
Запуск (service,н—рsystemctl, doker)
Кластеризация (масштабируемость, безотказность)
Особенности и проблемы в Airflow
Версии python(2 или 3)
Debug
Тестирование
Логирование
https://www.bigdataschool.ru/bigdata/data-flow-with-apache-airflow.html