Вопросы на собеседовании: Growth-маркетолог

Последовательный эксперимент допускает запланированные промежуточные решения, а тест с фиксированным горизонтом рассчитан на один анализ после набора целевой выборки.

• Валидный последовательный дизайн заранее определяет моменты проверки и границу, которая разрешает остановку.
• Его доверительная последовательность или тестовая статистика сохраняет корректность при всех запланированных проверках.
• За гибкость обычно приходится платить частью мощности или более строгим требованием к доказательствам по сравнению с однократным анализом.

Alpha spending распределяет допустимый риск ложноположительного результата между промежуточными анализами.

• На раннюю проверку выделяется только часть общей alpha, поэтому граница остановки обычно строгая.
• Функции вроде O'Brien-Fleming сохраняют больше alpha для поздних проверок, а правила в стиле Pocock распределяют её равномернее.
• Расписание и правило расходования нужно выбрать до просмотра результатов.

Каждая дополнительная гипотеза даёт ещё один шанс случайно найти выигрыш, поэтому общая ошибка семейства превышает порог отдельного теста.

• Для 20 независимых нулевых тестов с alpha 0,05 вероятность хотя бы одного ложноположительного результата составляет около 64 процентов.
• Поправка Бонферрони контролирует общую ошибку, деля alpha между тестами, а метод Холма обычно менее консервативен.
• Семейство поправки должно совпадать с семейством решений, например со всеми тестовыми вариантами, сравниваемыми для одного запуска.

False discovery rate полезен при проверке множества гипотез, когда допустима контролируемая доля ложных находок.

• Метод Бенджамини-Хохберга контролирует ожидаемую долю ложных находок при независимости или подходящей положительной зависимости; при произвольной зависимости нужна более консервативная гарантия вроде Бенджамини-Йекутиели.
• Он менее строг, чем контроль ошибки семейства, поэтому сохраняет больше мощности при широком скрининге креативов или аудиторий.
• Для важного решения о запуске обычно всё равно нужен подтверждающий тест с более строгим контролем ошибок.

Байесовский результат обновляет априорное распределение наблюдаемыми данными и получает апостериорное распределение эффекта.

• В 95-процентном credible interval напрямую содержится 95 процентов апостериорной вероятности в рамках модели.
• По апостериорному распределению можно оценить вероятность того, что lift превысит практически важный порог в два процентных пункта.
• Результат зависит от функции правдоподобия, априорного распределения и качества данных, а не свободен от предположений.

Анализ чувствительности показывает, насколько решение зависит от предположений, заданных до теста.

• Слабо информативное априорное распределение может стабилизировать редкие данные, не подавляя большую выборку.
• Оптимистичное историческое распределение нужно ослабить, если изменились аудитория, поверхность или определение метрики.
• Сравнение скептического, нейтрального и информированного вариантов показывает устойчивость апостериорного вывода.

Обоснованное байесовское правило сопоставляет апостериорные исходы со стоимостью запуска, задержки и возможного вреда.

• Вероятности 70 процентов для небольшого lift может хватить для обратимой правки текста, но не для дорогой перестройки.
• Ожидаемые потери связывают каждый возможный эффект с бизнес-последствием соответствующего решения.
• Практический порог не позволяет назвать ценным эффект, который с высокой вероятностью остаётся ничтожным.

Bandit по ходу обучения направляет больше трафика сильным вариантам, а стандартный A/B-тест сохраняет плановое распределение ради более чистой оценки эффекта.

• Bandit подходит для повторяющихся краткосрочных решений вроде ротации офферов, когда награда приходит быстро.
• Наивный анализ может быть некорректным, если игнорирует адаптивное распределение по результатам, остановку или временной дрейф, поэтому нужно сохранять вероятности назначения и применять подходящий метод вывода.
• Фиксированный рандомизированный тест обычно лучше, когда нужна понятная причинная оценка или отложенный retention-результат.

Regret обозначает совокупную награду, потерянную из-за выборов алгоритма по сравнению с постоянным выбором лучшего варианта задним числом.

• Выбор слабых вариантов создаёт краткосрочный regret, но даёт сведения для поиска более сильных.
• Совокупный regret отражает полную цену во времени, а не только победителя в конце.
• Алгоритмы с низким regret балансируют скорость обучения и ценность, которой жертвуют при исследовании.

Оба подхода предпочитают перспективные варианты и продолжают исследование за счёт неопределённости, но выражают её по-разному.

• Thompson sampling берёт случайную оценку награды из апостериорного распределения каждого варианта и выбирает максимум.
• Метод upper confidence bound выбирает вариант с самой высокой оптимистичной оценкой, учитывающей среднее и бонус за неопределённость.
• Редкие и новые варианты получают исследовательский трафик, потому что их неопределённость шире, чем у хорошо измеренных вариантов.

Сетевые эффекты создают интерференцию, потому что воздействие на одного пользователя может изменить результат другого.

• Referral-стимул для одного участника может повлиять на регистрации его друзей из контрольной группы.
• Это нарушает предположение, что результат каждой единицы зависит только от назначенного ей воздействия.
• Загрязнение может ослабить, развернуть или иначе исказить оценку эффекта на уровне пользователя.

Кластерная рандомизация назначает связанным единицам один вариант, чтобы воздействие реже перетекало между группами.

• Кластерами могут быть домохозяйства, компании, школы или регионы в зависимости от места взаимодействия.
• Пользователи внутри кластера коррелируют, поэтому эффективный размер выборки сильнее зависит от числа кластеров, чем от общего числа пользователей.
• Анализ должен учитывать кластеры в стандартных ошибках и проверять баланс между рандомизированными кластерами.

Guardrail-метрики должны защищать от правдоподобного механизма вреда и иметь заранее заданный порог действия.

• Для ускоренной регистрации можно контролировать платёжное мошенничество или качественную активацию, а не каждую метрику дашборда.
• Порог не меньшей эффективности задаёт допустимое ухудшение, после которого тестовый вариант отклоняется.
• Избыток шумных guardrail-метрик создаёт проблему множественных сравнений и делает почти каждый тест неоднозначным.

Долгосрочный holdout сохраняет стабильную группу без воздействия, чтобы измерять накопительные эффекты, пропущенные короткими тестами.

• Он может выявить отложенный churn, каннибализацию каналов или усталость от повторных сообщений после раннего роста конверсии.
• Правила участия и назначения должны оставаться стабильными, чтобы пользователи не переходили между holdout и тестом.
• Holdout имеет цену упущенной возможности, потому что часть аудитории не получает улучшения.

Exposure должен отмечать первую точку, где участник может испытать воздействие, а не фоновое назначение, которое может не дойти до пользователя.

• Запись всех назначенных пользователей как увидевших вариант размывает оценку, если многие не загрузили или не открыли изменённую поверхность.
• Запись только после взаимодействия тоже создаёт смещение, потому что вариант может повлиять на достижение этого события.
• В точке воздействия записывают эксперимент, вариант, участника и время, а повторные проверки удаляют по единице анализа.
• Назначение можно хранить отдельно для intention-to-treat анализа и отладки.

Фильтрация после рандомизации создаёт SRM, когда воздействие меняет состав назначенных пользователей, оставшихся в анализе.

• Intention-to-treat сохраняет рандомизацию, оставляя пользователей в назначенных группах независимо от того, дошли ли они до конца сценария.
• Triggered analysis достоверен, только когда триггер возникает до возможного влияния воздействия и логируется симметрично для вариантов.
• Сбалансированное число назначений может сочетаться с несбалансированным exposure, если сбой загрузки одного варианта исключает его пользователей.

CUPED использует связанную с результатом доэкспериментальную ковариату, чтобы убрать предсказуемую вариативность метрики.

• Частота покупок за прошлую неделю может повысить точность текущей метрики покупок, если измерена до назначения.
• Более сильная корреляция даёт большее снижение дисперсии и может сократить выборку для того же MDE.
• Ковариата не должна зависеть от воздействия, а скорректированная оценка должна сохранять несмещённость.

Новизна меняет поведение из-за непривычности опыта, а перенос позволяет прошлому воздействию влиять на поздние наблюдения.

• Обновлённый дашборд может вызвать временное любопытство и завысить engagement первой недели.
• Воздействие через сообщения может сохраняться после перехода пользователя в другую группу, особенно если изменились привычки или ожидания.
• Полные бизнес-циклы, стабильное назначение и периоды вымывания там, где они уместны, помогают отделить устойчивый эффект от временного артефакта.

Stock представляет величину в определённый момент, а flow добавляет её или вычитает за интервал.

• Активные клиенты являются stock, а новые, ушедшие и реактивированные клиенты за месяц являются flows.
• Конечный stock равен начальному плюс притоки минус оттоки за тот же период.
• Смешивание месячного flow с дневным stock создаёт модель с несогласованными единицами и вводящими в заблуждение темпами.

Growth accounting объясняет активную базу через удержанных, новых, реактивированных и ушедших пользователей в двух периодах.

• Конечная база равна удержанным плюс новым и реактивированным пользователям; ушедшие в неё не входят.
• Предыдущая база равна удержанным плюс пользователям, ушедшим за период.
• Поэтому чистое изменение равно новым плюс реактивированным минус ушедшие, если категории не пересекаются.