Sber Devices Салют, GigaChat!

Schedule

Что мы улучшили в процессе pre-training LLM

Григорий Лелейтнер Исполнительный директор, Lead ML Engineer SberDevices

Расскажем о деталях нашей новой модели, обсудим сбор данных для предобучения и метрики, которых достигают 7B и 29B модели. Поговорим о планах на будущее и улучшениях для новых высот в обработке естественного языка.

Наш путь в процессе Alignment для совершенства моделей глубокого обучения

Эмиль Шакиров Старший разработчик, SberDevices Никита Сидоров Руководитель направления, SberDevices

Поделимся нашим путем в развитии Alignment и покажем, как мы делаем основной его шаг — SFT (Supervised Fine-tuning). Расскажем, как улучшали качество модели, а также наши стратегии для дальнейшего совершенствования.

Speech-only Pre-training: обучение универсального аудиоэнкодера

Александр Максименко Data Scientist, SberDevices

Покажем перспективный путь создания моделей распознавания: speech-only self-supervised learning. Поделимся опытом обучения Wav2Vec2-like моделей, рассмотрим подводные камни подхода. Обсудим дообучение для задач распознавания речи и эмоций.

Intended Query Detection: распознаем только нужные запросы

Григорий Федоров ML Engineer, SberDevices

Рассмотрим задачу детекции направленной в устройство речи. Обсудим важность компоненты для взаимодействия пользователя с устройством. Расскажем, как улучшить качество production-системы на десятки процентов с помощью transfer learning, semi-supervised и multi-task подходов.

Как мы заставили модель синтеза речи 2023 года говорить лучше модели 2018 года

Гриша Стерлинг

Доклад об архитектуре VITS. И о том, какие модификации мы сделали в обучении, архитектуре и инференсе модели, чтобы победить прод и научить модель разговаривать лучше.