Вебинар «Как использовать Spark в Kubernetes для обработки данных: практические аспекты и особенности эксплуатации»
| вт, 05 декабрь 2023, 17:00 (GMT+03:00) | |
| Бесплатно | |
| Есть трансляция |
Теги: online webinar spark kubernetes k8s
Если вы решили работать с большими данными в облаке, привычный Hadoop — не лучшее решение. Архитектура этого инструмента не заточена под работу в облаках. Альтернативный вариант — запуск Apache Spark в Kubernetes.
На вебинаре 5 декабря, взяв в качестве примера сервис Cloud Spark, мы рассмотрим возможности, ограничения и специфические особенности эксплуатации популярного инструмента обработки данных Apache Spark, развернутого на базе Kubernetes.
Александр Волынский, технический менеджер продукта VK Cloud, расскажет об особенностях обработки данных в облаке, и о чем надо помнить при работе со Spark в Kubernetes.
Приглашаем на вебинар дата- и ML-инженеров, тимлидов и руководителей платформ данных, специалистов из команд DWH.
Что будет на вебинаре:
- Настроим и запустим первое Spark-приложение в Kubernetes.
- Рассмотрим различные сценарии запуска кода, в том числе с использованием S3.
- Разберем основные методы отладки, поиска ошибок и работы с логами в сервисе Cloud Spark.
- Ответим на вопросы.
Спикер:
Александр Волынский, технический менеджер продукта VK Cloud.
- Комьюнити