Расскажем о деталях нашей новой модели, обсудим сбор данных для предобучения и метрики, которых достигают 7B и 29B модели. Поговорим о планах на будущее и улучшениях для новых высот в обработке естественного языка.

Поделимся нашим путем в развитии Alignment и покажем, как мы делаем основной его шаг — SFT (Supervised Fine-tuning). Расскажем, как улучшали качество модели, а также наши стратегии для дальнейшего совершенствования.

Покажем перспективный путь создания моделей распознавания: speech-only self-supervised learning. Поделимся опытом обучения Wav2Vec2-like моделей, рассмотрим подводные камни подхода. Обсудим дообучение для задач распознавания речи и эмоций.

Рассмотрим задачу детекции направленной в устройство речи. Обсудим важность компоненты для взаимодействия пользователя с устройством. Расскажем, как улучшить качество production-системы на десятки процентов с помощью transfer learning, semi-supervised и multi-task подходов.

Доклад об архитектуре VITS. И о том, какие модификации мы сделали в обучении, архитектуре и инференсе модели, чтобы победить прод и научить модель разговаривать лучше.