Tver.io Platform Meetup

чт, 28 октябрь 2021, 16:00 (GMT)
Россия, Тверь, Studencheskiy Pereulok, 28
Бесплатно
Есть трансляция

Теги:

Подробности
Ведущие инженеры топовых технологических компаний поделятся секретами построения платформенных решений:

Константин Евтеев, X5 FoodTech — Запуск платформенных команд

Главный архитектор X5 FoodTech. EX DBA Unit Leader Avito. Активно участвует в жизни PostgreSQL community.
https://twitter.com/kevteev

Вопрос перегруженности инфраструктурой команды в современных проектах крайне актуален. Одним из решений данной проблемы является выделение технических продуктов и, как следствие, формирования команд, которые будут их развивать. Все это приводит к необходимости реализовать продуктовый подход в платформенной разработке. В докладе будут раскрыты подобных подходов:

  • Team Topologies;
  • метод OKR — Objectives and Key Results;
  • портфель технических проектов.

Николай Голов, ManyChat — Этапы построения платформы аналитических данных в облаках и на своем железе

Глава Data Engineering в ManyChat, отвечает за все пайплайны и платформу данных для аналитики (хранилище, BI, ETL, интеграционные сервисы). Раньше был руководителем Data Platform в Avito. В область ответственности Data Platform входили системы больших данных, OLTP-базы (PostgreSQL), NoSQL-базы (MongoDB, Redis, Tarantool, VoltDB), а также системы очередей и потоковой обработки данных (RabbitMQ, NSQ, Spark). Также Николай преподает в НИУ ВШЭ, где занимается научными исследованиями в области современных методологий построения хранилищ данных (Data Vault и Anchor Modeling) и изучает BlockChain.
https://www.linkedin.com/in/golov-nikolay-b8898145

Представьте, что компании нужно выстроить аналитическую платформу, включающую сбор данных с сервисов, доставку до слоев хранения (Data Lake, детализированные данные, витрины), выполнение расчетов (batching, streaming) и интеграцию с BI-инструментами (отчетность, ML).

За полтора года ManyChat решил эту задачу полностью в облаках (AWS), выбирая новейшие инструменты исходя из максимального удобства и минимизации стоимости владения. Победившая конфигурация основана на новейшей бессерверной базе Snowflake, а также ElastiCashe Redis, RDS PostgreSQL, Tableau, интегрированных посредством Python.

В этом докладе Николай планирует описать процесс выбора на каждом этапе построения платформы, возможные риски и итоговый опыт использования. Итоговая платформа содержит более 100 Тб данных, регулярно получает данные из десятков сервисов и поддерживает работу сотни пользователей аналитики.

--
Важно! На мероприятии действуют меры по ограничению распространения коронавирусной инфекции:

  • Обязательно ношение масок
  • Просьба воздержаться посещения мероприятия при наличии температуры
    --

😎 Tver.IO в соц. сетях

Youtube: http://go.tver.io/youtube (трансляции и записи докладов)

VK: https://go.tver.io/vk

Twitter: https://go.tver.io/twitter

Instagram: https://go.tver.io/instagram

🙏 Благодарности

Дизайн обложек - Валерия Лесик https://go.tver.io/valeria-lesik

Присоединяйся в команду активистов https://go.tver.io/telegram

Happy coding!
\o/