Мастер-класс посвящен базовым принципам работы с Apache Airflow 3: от понимания концепции ETL и ключевых элементов архитектуры (DAG, Operators, Tasks) до развертывания полноценной локальной песочницы в Docker. Мероприятие проводит студент онлайн-магистратуры «Аналитика больших данных» для будущих специалистов, которые хотят сделать уверенный первый шаг в оркестрации пайплайнов.
Мастер-класс для всех, кто хочет — познакомиться с Airflow 3 и понять его роль в индустрии — освоить концепцию ETL на простых примерах — научиться разворачивать локальный инстанс в Docker для личных экспериментов
На мастер-классе вы сможете разобраться в архитектуре Airflow 3, вместе со спикером развернуть локальный Airflow через Docker Compose и запустить ваш первый DAG.
Что вас ждет: Что такое ETL в работе инженера данных? Разберетесь, как устроены извлечение, преобразование и загрузка данных и зачем нужен этот процесс.
Знакомство с Airflow 3 Узнаете, зачем нужен дирижер скриптов и из каких блоков он состоит.
Две архитектуры Airflow: один сервер или несколько Сравните простую и распределённую архитектуры, их преимущества и сценарии применения.
Основные сущности Airflow на практике Поймете, что такое DAG, оператор и экземпляр задачи и как они связаны между собой.
Вредные советы Узнаете, в каких случаях не стоит использовать Airflow
Практика Развернете Airflow с помощью Docker Compose, познакомитесь с веб-интерфейсом и запустите первый DAG.
Кратко о мероприятии
- Для кого
- инженеры данных, аналитики данных, начинающие специалисты по данным
- Основные темы
- Apache Airflow 3, ETL-конвейеры, оркестрация данных, развертывание Docker
- Что получите
- понимать архитектуру Airflow, развернуть Airflow с помощью Docker Compose, запустить первый DAG, знать, когда использовать Airflow
- Формат программы
- практический, воркшоп, руководство