Вывести в продакшен real-time LLM-based TTS модель и не потратить сотни H100 на инференс
18 июля 2026 г.
Время показано в часовом поясе: Europe/Moscow
Зал 3
О докладе
Переход на human-like TTS на тяжелых transformer-моделях улучшает качество, но требует сотен GPU H100 и сильно нагружает инфраструктуру. Рассмотрим подходы к оптимизации инференса: как мы переработали пайплайн сервинга, уложились в требования по latency и сократили объем железа в несколько раз
Спикеры
Никита Панков
Т-Банк