Конференция завершена. Ждем вас на РИТ++ в следующий раз!

Учет данных о прошлом поведении пользователя в метриках A/B-тестированияОбщая программа

Доклад принят в программу конференции
Роман Поборчий
JetBrains

В числе мест работы Романа — Sun Microsystems, где он делал Java; Intel, где он опять делал Java (проект Apache Harmony, части которого впоследствии были включены в платформу Android) и Яндекс, где он занимался оценкой качества поиска, в том числе и пользовательскими экспериментами. С середины 2015 года Роман изменил род деятельности и занимается тренингами по презентациям для IT'шников, но накопленный опыт-то никуда не девается, и поделиться им хочется.

Никита Поваров
JetBrains

Специалист по анализу данных, статистике и машинному обучению. В прошлом занимался системой онлайн-экспериментов в Яндексе.

Тезисы

Когда мы проводим онлайн-эксперименты, нам всегда не хватает пользователей. При росте количества разработчиков и запускаемых ими экспериментов, мы всё чаще сталкиваемся с ситуацией, когда победителя выявить не удалось. Это особенно актуально в ситуациях, когда приходится использовать метрики с низкой чувствительностью, связанные с лояльностью пользовательской базы.

Учёт данных о прошлом поведении даёт возможность проводить эксперименты меньшего объёма с теми же результатами. В докладе мы рассмотрим алгоритм, который включает эти данные в статистику, и обсудим некоторые тонкости и подводные камни его применения. Вероятно, мы даже увидим одну или две формулы.

Алгоритмы и их сравнение
,
A/B-тестирование

Другие доклады секции Общая программа