Tinkoff.AI Speech Meetup #3

В Тинькофф есть своя платформа голосовых технологий VoiceKit, которая используется не только для оптимизации внутренних процессов компании, но и для запуска продуктов, которыми пользуются миллионы клиентов.

При разработке такой платформы возникают разные задачи: от генерации гипотез и ML-исследований до построения эффективных пайплайнов обработки данных и интеграции моделей в высоконагруженные сервисы. И на каждом этапе мы сталкиваемся со сложными инженерными задачами, находим компромиссы и принимаем архитектурные решения.

На митапе поделимся некоторыми из них и расскажем:
⁃ какие алгоритмы лежат в основе text normalization — важного компонента NLP-пайплайна синтеза речи;
⁃ почему обновление модели, обрабатывающей десятки тысяч часов речи в сутки, — это сложно. Как ускорить релизный цикл, избавить инженеров от рутины и не обвалить продуктовые метрики команд-клиентов;
⁃ как при конвертации голоса добиться максимальной похожести на целевой голос, сохранив всю лингвистическую информацию исходной речи.

● Структурированная нормализация текста с использованием недетерминированных FST — Владимир Марков, Тинькофф

Владимир расскажет про нормализацию текста через конечные автоматы (FST), подчеркивая их роль в обработке текста и синтезе речи. Затронет тему оптимизации FST и принципы построения сложных автоматов для улучшения нормализации. И все это будет на практических примерах.

● Как улучшить похожесть голосов при конвертации голоса — Илья Карпов, Тинькофф

Похожесть голоса является одной из важнейших метрик при оценке качества сервиса конвертации голоса. В своем докладе Илья расскажет о том, какие подходы к ее улучшению пробовала команда и каких результатов удалось достичь.

● MLOps in Speech Recognition — Александр Мисевич, Тинькофф

Разработку высоконагруженного сервиса на базе ML-моделей невозможно представить без MLOps — набора процедур, направленных на последовательное и эффективное внедрение и поддержку ML-моделей, используемых в продакшене. MLOps помогают автоматизировать все процессы жизненного цикла модели машинного обучения: от сбора данных для обучения до мониторинга на продакшене. Позволяют своевременно находить баги, снижая стоимость их исправления, повышают эффективность работы всей команды. В своем докладе Александр расскажет про инструменты MLOps, используемые в Тинькофф при разработке сервиса по распознаванию речи.