Mon, 28 June 2021, 07:00 (GMT)
	Russia, Moscow, ул.Илимская д5. корп.2 офис 303
	Free

3x дневный практический курс по установке и настройке кластера Apache Kafka, распределенной потоковой обработки событий (Event Stream Processing), конфигурации безопасности Kerberos, интеграция с Apache NiFi, Spark, Flume, Zookeeper.

Программа курса "Администрирование кластера Kafka"

Введение в Apache Kafka Что такое Kafka? Сценарии использования Kafka Компоненты Kafka и Kafka экосистемы Архитектура Kafka Кластер Zookeeper Потоковая Обработка Событий(Event Stream Processing): — Терминология и основные концепции. Сравнение Hadoop и Spark Основные концепции Kafka Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных. Брокеры (Brokers): Развертывание. Конфигурация Multibroker Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting). Установка кластера Kafka Требования по установке кластера Kafka Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper. Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka. Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners. Отказоусточивость кластера Kafka. Kafka менеджер. Установка кластера Kafka на AWS Базовые операции в Kafka Операции с Топиками (Topic) Публикация данных с консольного Producer Получение данных с консольного Consumer Пользовательские интерфейсы топика Kafka (Topics UI) Написание кода producer Написание кода consumer Оптимизация кластера Apache Kafka Оптимизация производительности компонент кластера Масштабирование кластера Балансировка разделов(partition) и использование Partition Reassignment Tools Best Practices Мониторинг кластера Kafka Настройка мониторинга кластера Apache Kafka (Confluent) с использованием Prometheus + Grafana Интеграция с Kafka Интеграция Spark и Spark Streaming Интеграция потоковой обработки Spark Streaming и Kafka Использование Apache NiFi Интеграция Apache Flume с Kafka Расширенная конфигурация кластера Apache Kafka Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing(количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах. Пользовательский интерфейс Landoop Kafka Topics Confluent REST Proxy Настройка Confluent Schema Registry Архитектура Kafka Connect Безопасность в Kafka Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов Аутентификация SSL/SASL Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos Авторизация в Kafka Управление списками управления доступом (ACL) Зарегистрироваться на курс https://www.bigdataschool.ru/bigdata/apache-kafka-cluster-administrator-course.html или по телефону +7 915 307 00 74

Add to calendar