Tver.io Platform Meetup
чт, 28 октябрь 2021, 16:00 (GMT) | |
Россия, Тверь, Studencheskiy Pereulok, 28 | |
Бесплатно | |
Есть трансляция |
Подробности
Ведущие инженеры топовых технологических компаний поделятся секретами построения платформенных решений:
Константин Евтеев, X5 FoodTech — Запуск платформенных команд
Главный архитектор X5 FoodTech. EX DBA Unit Leader Avito. Активно участвует в жизни PostgreSQL community.
https://twitter.com/kevteev
Вопрос перегруженности инфраструктурой команды в современных проектах крайне актуален. Одним из решений данной проблемы является выделение технических продуктов и, как следствие, формирования команд, которые будут их развивать. Все это приводит к необходимости реализовать продуктовый подход в платформенной разработке. В докладе будут раскрыты подобных подходов:
- Team Topologies;
- метод OKR — Objectives and Key Results;
- портфель технических проектов.
Николай Голов, ManyChat — Этапы построения платформы аналитических данных в облаках и на своем железе
Глава Data Engineering в ManyChat, отвечает за все пайплайны и платформу данных для аналитики (хранилище, BI, ETL, интеграционные сервисы). Раньше был руководителем Data Platform в Avito. В область ответственности Data Platform входили системы больших данных, OLTP-базы (PostgreSQL), NoSQL-базы (MongoDB, Redis, Tarantool, VoltDB), а также системы очередей и потоковой обработки данных (RabbitMQ, NSQ, Spark). Также Николай преподает в НИУ ВШЭ, где занимается научными исследованиями в области современных методологий построения хранилищ данных (Data Vault и Anchor Modeling) и изучает BlockChain.
https://www.linkedin.com/in/golov-nikolay-b8898145
Представьте, что компании нужно выстроить аналитическую платформу, включающую сбор данных с сервисов, доставку до слоев хранения (Data Lake, детализированные данные, витрины), выполнение расчетов (batching, streaming) и интеграцию с BI-инструментами (отчетность, ML).
За полтора года ManyChat решил эту задачу полностью в облаках (AWS), выбирая новейшие инструменты исходя из максимального удобства и минимизации стоимости владения. Победившая конфигурация основана на новейшей бессерверной базе Snowflake, а также ElastiCashe Redis, RDS PostgreSQL, Tableau, интегрированных посредством Python.
В этом докладе Николай планирует описать процесс выбора на каждом этапе построения платформы, возможные риски и итоговый опыт использования. Итоговая платформа содержит более 100 Тб данных, регулярно получает данные из десятков сервисов и поддерживает работу сотни пользователей аналитики.
--
Важно! На мероприятии действуют меры по ограничению распространения коронавирусной инфекции:
- Обязательно ношение масок
- Просьба воздержаться посещения мероприятия при наличии температуры
--
😎 Tver.IO в соц. сетях
Youtube: http://go.tver.io/youtube (трансляции и записи докладов)
VK: https://go.tver.io/vk
Twitter: https://go.tver.io/twitter
Instagram: https://go.tver.io/instagram
🙏 Благодарности
Дизайн обложек - Валерия Лесик https://go.tver.io/valeria-lesik
Присоединяйся в команду активистов https://go.tver.io/telegram
Happy coding!
\o/