Обсудим, как Modern Data Stack изменил подход к ETL-процессам и поговорим про неожиданные возможности оркестратора Airflow. Спикерами выступят опытные дата-инженеры, поэтому будет полезно специалистам уровня Middle+ и выше.
Подробнее про темы:
🟢 Data Engineer Unirest Никита Целищев разберет подходы старой школы к построению ETL и сравнит их с современными методами. Также он расскажет, как изменилась роль разработчика DWH и дата-инженера c появлением Modern Data Stack.
🟢 Data Engineer ASTON Расим Гарипов расскажет про полезные возможности Airflow, которыми редко пользуются дата-инженеры и другие специалисты, научит писать DAG-и в едином, читаемом и понятном виде. Кроме того, он поделится опытом работы с Data-aware Scheduling и разметкой Data Lineage, и объяснит, зачем нужен triggerer в Airflow и как его задействовать.
Теги: meetup data engineering
Мероприятия сообщества
Кратко о мероприятии
- Для кого
- инженеры данных, архитекторы данных
- Основные темы
- инженерия данных, ETL, Modern Data Stack, Airflow
- Что получите
- изучить концепции Modern Data Stack, освоить продвинутые функции Airflow, улучшить проектирование DAG
- Формат программы
- глубокие технические доклады