Prefill, decode и узкие места: практика оптимизации LLM-инференса
16 октября 2026 г.
Время показано в часовом поясе: Europe/Moscow
Модели и инфраструктура
О докладе
Поиск узких мест LLM-инференса: метрики, настройки vLLM, KV-cache и CUDA-ядра. Практические результаты ускорения, задержки и компромиссы с качеством.
Спикеры
Владимир Ловцов
Старший Data Science инженер, Cloud.ru
Алексей Павлов
Data Science инженер, Cloud.ru