AIRF: КУРС APACHE AIRFLOW
| Mon, 18 October 2021, 07:00 (GMT) | |
| Russia, Moscow | |
| Free |
3-хдневный практический курс Data Pipeline на Apache Airflow и Apache Hadoop для аналитиков и инженеров данных, архитекторов и специалистов по настройке и сопровождению потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и AirFlow.
ЧТО ТАКОЕ APACHE AIRFLOW И ГДЕ ЭТО ИСПОЛЬЗУЕТСЯ Apache Airflow — это open-source набор библиотек для разработки, планирования и мониторинга рабочих процессов. Этот инструмент написан на языке программирования Python и позволяет создавать и настраивать цепочки задач как в визуальном режиме с помощью наглядного web-GUI, так и писать программный код на Python.
AirFlow принято называть ETL-средством для пакетов Big Data, он не является классической ETL-системой, а лишь помогает представить процесс извлечения-преобразования-загрузки данных в виде единого проекта на Python, чтобы удобно и эффективно управлять им.
На практике Apache Airflow используется в следующих случаях:
интеграция множества информационных систем и данных из различных источников (внутренние и внешние базы, файловые хранилища, облачные приложения и пр.); загрузка информации в корпоративное озеро данных (Data Lake); организация уникальных конвейеров доставки и обработки больших данных (data pipeline); управление конфигурацией конвейеров данных как кодом в соответствии с DevOps-подходом; автоматизация разработки, планирования и мониторинга batch-процессов обработки Data Flow. Все эти и другие примеры прикладного использования Apache Airflow для управления batch-процессами обработки больших данных разбираются в рамках нашего практического курса.
ПРОГРАММА КУРСА КОМУ НУЖНЫ КУРСЫ ПО AIRFLOW Наши курсы обучения по Airflow ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов, DevOps-инженеров, разработчиков Hadoop и прочих Big Data систем, которые хотят получить практические знания и навыки по работе с batch-процессами и конвейерами обработки больших данных:
понять, что такое Apache Airflow; уяснить отличия Airfow от NiFi; освоить принципы работы с задачами, операторами и DAG’ами; научиться настраивать рабочее окружение для Airflow; освоить методы администрирования и мониторинга кластера Airflow; интегрировать Apache Aiflow с другими Big Data фреймворками (Hadoop, Spark) и внешними системами. Подробное описание курса https://www.bigdataschool.ru/courses/data-flow-with-apache-airflow