DUC meetup #1: приручаем Cilium и строим домашний LLM-кластер на Deckhouse
| вт, 20 май 2025, 18:15 (GMT+03:00) | |
| Бесплатно | |
| Есть трансляция | |
|
Deckhouse User Community
|
20 мая приглашаем DevOps-инженеров, SRE и системных администраторов на первый митап Deckhouse User Community в Москве. Спикеры из «Фланта» и «Московского кредитного банка» расскажут про работу Cilium, а также распределённый инференс LLM с использованием K8s в домашних условиях. После докладов будет расширенная Q&A-сессия, а в конце митапа — время для неформального общения. Приезжайте лично или подключайтесь онлайн!
Программа
Cilium: всё, о чём вы догадывались, но боялись спросить — Дмитрий Попков, «Флант»
В основе работы сетевой подсистемы в Deckhouse Kubernetes Platform лежит модуль cni-cilium. Как несложно догадаться из названия, он основан на проекте Cilium.
Из доклада Дмитрия вы узнаете, что такое Container Network Interface и как Cilium реализует этот стандарт. Мы разберём, как Cilium устроен «под капотом», а также его функциональные возможности и особенности. Отдельно поговорим о процессе обработки трафика и подходах к диагностике и выявлению неисправностей при использовании Cilium в продакшене.
Разделяй и шардируй: бюджетный домашний GPU-кластер для распределённого инференса с vLLM, Deckhouse и Ray — Александр Подмосковный, «Московский кредитный банк»
В своём докладе Александр поделится, как сделать вход в мир ИИ проще и доступнее, нацелившись на запуск крупных языковых моделей без внушительных бюджетов. Используя Proxmox для проброса GPU, Kubernetes-кластер под управлением Deckhouse и инструменты вроде vLLM и Ray Serve, он покажет, как организовать эффективный и масштабируемый инференс, не переплачивая за инфраструктуру.
Вы узнаете, как подключить удобный веб-интерфейс (OpenWebUI) и обеспечить безопасность через CDN/WAF. А в итоге увидите, что выделить домашний кластер под серьёзные AI-задачи — вполне реальная, захватывающая и экономная авантюра.
Q&A-сессия
После докладов проведём расширенную сессию вопросов и ответов. Для неё к спикерам присоединятся коллеги из «Фланта» и МКБ: Павел Тишков, технический директор Deckhouse Virtualization Platform, и Александр Шишко, техлид DevOps.