Prefill, decode и узкие места: практика оптимизации LLM-инференса

16 октября 2026 г.
Время показано в часовом поясе: Europe/Moscow
Модели и инфраструктура

О докладе

Поиск узких мест LLM-инференса: метрики, настройки vLLM, KV-cache и CUDA-ядра. Практические результаты ускорения, задержки и компромиссы с качеством.

Спикеры

Владимир Ловцов

Старший Data Science инженер, Cloud.ru

Алексей Павлов

Data Science инженер, Cloud.ru