Обложка мероприятия 'Moscow DrinkUp #5'

Moscow DrinkUp #5

Москва, Россия, 19.12.2024 19:00 (+03:00)

Вебинар «Как использовать Spark в Kubernetes для обработки данных: практические аспекты и особенности эксплуатации»

вт, 05 декабрь 2023, 17:00 (GMT+03:00)
Бесплатно
Есть трансляция
Vk

Теги:

Если вы решили работать с большими данными в облаке, привычный Hadoop — не лучшее решение. Архитектура этого инструмента не заточена под работу в облаках. Альтернативный вариант — запуск Apache Spark в Kubernetes.

На вебинаре 5 декабря, взяв в качестве примера сервис Cloud Spark, мы рассмотрим возможности, ограничения и специфические особенности эксплуатации популярного инструмента обработки данных Apache Spark, развернутого на базе Kubernetes.

Александр Волынский, технический менеджер продукта VK Cloud, расскажет об особенностях обработки данных в облаке, и о чем надо помнить при работе со Spark в Kubernetes.

Приглашаем на вебинар дата- и ML-инженеров, тимлидов и руководителей платформ данных, специалистов из команд DWH.

Что будет на вебинаре:

  • Настроим и запустим первое Spark-приложение в Kubernetes.
  • Рассмотрим различные сценарии запуска кода, в том числе с использованием S3.
  • Разберем основные методы отладки, поиска ошибок и работы с логами в сервисе Cloud Spark.
  • Ответим на вопросы.

Спикер:
Александр Волынский, технический менеджер продукта VK Cloud.