🟢Кому Spark Meetup полезен?
🔹инженерам данных и аналитикам данных
🔹программистам со знанием Spark и Scala
🔹всем смежным специальностям из телекома, банков, промышленности и ретейла
Программа:
18:30 – 19.00 Welcome: регистрация участников, кофе и снеки
19:00 – 19:40 Доклад 1: Особенности работы различных spark commiters при работе с S3. Спикер: Андрей Лобастов, руководитель группы контроля процессов обработки данных, «Криптонит»
19:40 – 20.20 Доклад 2: Будущее Spark: Dynamic Allocation в Kubernetes с Uniffle, Gluten и Comet. Спикер: Дмитрий Зуев, руководитель отдела инжиниринга данных в Positive Technologies
20:20 – 21.00 Доклад 3: Spark и Trino когда вместе, когда нет. Спикер: Дмитрий Лахвич, руководитель платформы данных m2.ru
21:00 – 21.30 Дискуссия о трендах развития Spark. Модератор: Иван Попович, руководитель направления обработки данных, «Криптонит»
21:30 – 22:00 Нетворкинг и свободное общение
Кратко о мероприятии
- Для кого
- Инженеры данных, Аналитики данных, Разработчики Spark, Разработчики Scala
- Основные темы
- Apache Spark, Инженерия данных, Большие данные
- Что получите
- Понять паттерны коммиттеров Spark с S3, Узнать о динамическом выделении ресурсов Spark на K8s, Сравнить варианты использования Spark и Trino
- Формат программы
- Глубокие технические доклады, Производственные кейсы