Учет данных о прошлом поведении пользователя в метриках A/B-тестированияОбщая программа
Работал:
* в разработке в Sun Microsystems, где делал Java;
* в Intel, где опять делал Java (проект Apache Harmony, части которого впоследствии были включены в платформу Android);
* в поиске Яндекса, где оценивал качество поиска, в том числе и пользовательскими экспериментами;
* занимался маркетингом в JetBrains и аналитикой данных во ВК.
С середины 2015 года Роман изменил род деятельности и занимается тренингами по презентациям для IT'шников и подготовкой докладов на технологических конференциях. За это время успел поработать более чем с двумя тысячами спикеров. Накопленный опыт никуда не девается, и поделиться им хочется.
Специалист по анализу данных, статистике и машинному обучению. В прошлом занимался системой онлайн-экспериментов в Яндексе.
Когда мы проводим онлайн-эксперименты, нам всегда не хватает пользователей. При росте количества разработчиков и запускаемых ими экспериментов, мы всё чаще сталкиваемся с ситуацией, когда победителя выявить не удалось. Это особенно актуально в ситуациях, когда приходится использовать метрики с низкой чувствительностью, связанные с лояльностью пользовательской базы.
Учёт данных о прошлом поведении даёт возможность проводить эксперименты меньшего объёма с теми же результатами. В докладе мы рассмотрим алгоритм, который включает эти данные в статистику, и обсудим некоторые тонкости и подводные камни его применения. Вероятно, мы даже увидим одну или две формулы.