Учет данных о прошлом поведении пользователя в метриках A/B-тестированияОбщая программа
В числе мест работы Романа — Sun Microsystems, где он делал Java; Intel, где он опять делал Java (проект Apache Harmony, части которого впоследствии были включены в платформу Android) и Яндекс, где он занимался оценкой качества поиска, в том числе и пользовательскими экспериментами. С середины 2015 года Роман изменил род деятельности и занимается тренингами по презентациям для IT'шников, но накопленный опыт-то никуда не девается, и поделиться им хочется.
Специалист по анализу данных, статистике и машинному обучению. В прошлом занимался системой онлайн-экспериментов в Яндексе.
Когда мы проводим онлайн-эксперименты, нам всегда не хватает пользователей. При росте количества разработчиков и запускаемых ими экспериментов, мы всё чаще сталкиваемся с ситуацией, когда победителя выявить не удалось. Это особенно актуально в ситуациях, когда приходится использовать метрики с низкой чувствительностью, связанные с лояльностью пользовательской базы.
Учёт данных о прошлом поведении даёт возможность проводить эксперименты меньшего объёма с теми же результатами. В докладе мы рассмотрим алгоритм, который включает эти данные в статистику, и обсудим некоторые тонкости и подводные камни его применения. Вероятно, мы даже увидим одну или две формулы.