Spicy Product Meetup

В этом докладе — четыре реальных кейса из работы над системами автоматической модерации контента.

Расскажу, как переобучение модели для борьбы с нежелательным контентом неожиданно затронуло совсем другие категории, как идея масштабирования проверок на новые сущности потребовала пересмотра подхода после первых тестов, как эволюционировала функция блюра на изображениях — от первых попыток до рабочего решения, и что случилось, когда при запуске новой модели временно «потерялся» важный список контактов.

Коротко, по делу и с акцентом на том, как каждая ошибка помогла нам сделать систему надёжнее.

Неловкие вопросы пользователей — лучший стресс-тест для ИИ.

На реальных примерах покажем, как ИИ-сервисы Яндекса справляются с чувствительными запросами: от кейса, где Нейросаппорт начал объяснять правописание мата, до ситуации, когда модель ответила на запрещённый запрос из-за одной необычно написанной буквы.

Расскажем, где чаще всего ломаются фильтры, как мы быстро исправляем такие сбои, и чему вообще можно научиться на подобных ошибках.

А еще разберём, почему не каждый кринжовый ответ ИИ стоит считать катастрофой: иногда из такого фейла можно сделать вирусный кейс и привлечь внимание к продукту.

Будет коротко, честно и с кейсами.

На реальных обезличенных кейсах из Авито покажем, почему антифрод — это не про охоту на очевидных злодеев, а про работу с неопределенностью, серыми зонами и очень дорогими ошибками. Потому что подозрительно может вести себя и нормальный пользователь, а по-настоящему опасный сценарий часто выглядит совершенно обычно.

Разберем, как из слабых сигналов, правил, моделей, ручных проверок и продуктовых ограничений собирается большая антифрод-система, и как все ее части работают вместе, чтобы снижать мошенничество, не превращая нормальный пользовательский опыт в допрос с пристрастием.

Это разговор о том, почему в антифроде почти никогда не бывает простых ответов и почему именно в этом месте начинаются самые интересные продуктовые решения.

Бонусом побудем в роли детективов и попытаемся найти настоящих жуликов.