VK Data Meetup

Расписание

Время показано в часовом поясе: Europe/Moscow

Как быстро мигрировать хранилище на Greenplum и сохранить уровень SLA#

Москвина СветланаSenior Data Engineering, Axenix
Алмаз РахиевTeamlead команды разработки, Axenix

В рамках доклада расскажем про опыт миграции хранилища данных с зарубежного облака на Greenplum в условиях ограниченных сроков и требований к SLA. Обсудим технические проблемы, которые возникали в процессе миграции: базовая настройка Greenplum, распределение ресурсов, оптимизация запросов. Поговорим о подходе к рефакторингу существующего хранилища и о сложностях перехода от концепции Data Lake к классическому DWH. Затронем организационные вопросы: что позволило команде успешно выполнить проект и сохранить уровень SLA.

Как разделить Compute & Storage в Hadoop и не утонуть в лавине миграций#

Игорь ДмитриевКорпоративный архитектор, Сбер
Ермекбаев ЗаурТехлид направления SDP Hadoop (Compute & Storage), Сбер

Игорь и Заур расскажут о проблемах монолитного Compute&Sorage в Hadoop и о том, как их команда пришла к идее физического разделения Hadoop для снижения негативного влияния монолита. Речь пойдет о том, какие технологии и принципы легли в основу проекта разделения Compute&Storage, чем пришлось пожертвовать и чему пришлось научиться, а также какой положительный эффект был получен, а где – появились дополнительные сложности.

Что предстоит делать с данными в 2024 году?#

Николай КарловДиректор инновационных проектов, VK Tech

Вы знали, что мы живем в будущем? Несколько лет назад возможности генеративного AI казались фантастикой. Но будущее наступило, и сделало это внезапно. В докладе вы узнаете о применении колоночных In-Memory СУБД для realtime-задач, что такое HTAP, зачем нужны графовые и векторные движки для ранжирования, скоринга и друих задач AI и ML. Также будет рассказно, чем из этого можно пользоваться уже сейчас, а чего ожидать в скором времени