Вывести в продакшен real-time LLM-based TTS модель и не потратить сотни H100 на инференс

18 июля 2026 г.
Время показано в часовом поясе: Europe/Moscow
Зал 3

О докладе

Переход на human-like TTS на тяжелых transformer-моделях улучшает качество, но требует сотен GPU H100 и сильно нагружает инфраструктуру. Рассмотрим подходы к оптимизации инференса: как мы переработали пайплайн сервинга, уложились в требования по latency и сократили объем железа в несколько раз

Спикеры

Никита Панков

Т-Банк