Языковые модели учатся генерировать текст, похожий на человеческий, при этом такие аспекты, как полезность, безопасность и правдивость, за исключением фильтрации датасетов, никак не регулируются. Методы обучения с подкреплением позволяют обучить не просто модель, способную генерировать правдоподобный текст, а модель, чьи генерации будут высоко оценены человеком по вышеприведённым аспектам. В этом докладе мы рассмотрим один из таких алгоритмов: DPO и то, как мы применяли его в Яндексе для обучения YandexGPT.

Расскажу, какую задачу решает поиск по товарам, как придумать метрику, которую можно вырастить и как среди миллиардов предложений найти похожие. Обсудим этапы задачи матчинга предложений на товары и потери на разных стадиях. Поделюсь историей о том, как у нас долго ничего не получалось и мы не знали почему, и только когда сделали все части проекта хорошо — увидели профит.

Поговорим про прикладной проект на стыке технологий машинного обучения и ecom-продукта. Подробно рассмотрим многостадийную систему обучения дискриминативных и генеративных нейронных сетей семейства BERT и GPT соответственно: от подготовки датасета до использования reinforcement learning для улучшения качества генерации. Обсудим подходы к асессорским разметкам и их роль в системе, а также офлайн- и онлайн-механизмы оценки эффективности разработанной системы.