Вопросы на собеседовании: Growth-маркетолог

AARRR описывает пять этапов клиентского пути, которые измеряет growth-команда.

• Acquisition показывает, как люди впервые приходят в продукт.
• Activation измеряет, получили ли они первую ценность продукта.
• Retention, referral и revenue отражают, возвращаются ли они, приглашают ли других и приносят ли деньги.

North Star metric служит единым показателем ценности, которую клиенты регулярно получают от продукта.

• Он должен расти, когда больше пользователей получает основную ценность, например совершает поездки за неделю в транспортном приложении.
• Он обычно полезнее числа регистраций или просмотров страниц, потому что они не доказывают получение ценности.
• Вспомогательные входные метрики показывают, какие действия, например использование продукта в первую неделю, двигают North Star.

Воронка проводит пользователей через этапы, а growth loop возвращает результат на вход нового цикла.

• Воронка помогает увидеть конверсию и потери между acquisition, activation и последующими этапами.
• В referral loop активированный пользователь приглашает человека, который тоже может стать активированным пользователем.
• Циклы могут ускорять рост за счёт повторения, но для оценки всё равно нужны конверсия и длительность цикла.

Acquisition обозначает этап, на котором подходящий пользователь впервые приходит из измеримого источника.

• Источниками могут быть платный поиск, реклама в соцсетях, органический поиск, партнёрства или рекомендации.
• Охват и клики описывают работу канала, а целевые визиты или регистрации показывают переход в продуктовую воронку.
• UTM-параметры и идентификаторы рекламных платформ помогают связать визит с источником и кампанией.

Activation означает, что новый пользователь достиг раннего момента, демонстрирующего ценность продукта.

• Событие активации должно отражать продукт, например публикацию первой формы, а не простое создание аккаунта.
• Activation rate равен числу активированных новых пользователей, делённому на число подходящих новых пользователей за то же заданное окно.
• Time to value измеряет время до этого события и помогает увидеть трение в онбординге.

Retention измеряет, возвращается ли заданная группа пользователей к значимому действию в продукте с течением времени.

• Событие возврата должно отражать реальное использование, например завершение тренировки, а не простое открытие письма.
• Retention седьмого дня или четвёртой недели берёт исходную когорту за знаменатель и проверяет активность в более поздний период.
• Retention нужно сравнивать по когортам, потому что общий процент может скрыть улучшение или ухудшение.

Referral измеряет, приводят ли существующие пользователи новых людей в продукт.

• Referral-механика включает отправку приглашения, реакцию получателя и целевую конверсию, например регистрацию или покупку.
• Referral rate может означать долю приглашающих среди подходящих пользователей, поэтому определение нужно указывать точно.
• Регистрации по рекомендации следует отслеживать отдельно от отправленных приглашений, потому что многие приглашения не конвертируются.

Revenue обозначает этап, на котором действия пользователей приносят бизнесу измеримый доход.

• Часто измеряют конверсию в покупку, средний доход на пользователя, регулярную выручку и долю продлений.
• Валовая выручка может вводить в заблуждение, если существенны возвраты, скидки или неуспешные платежи.
• Revenue следует связывать с источником привлечения и удержанными клиентами, а не рассматривать как отдельный итог.

Конверсия шага равна числу пользователей, завершивших следующий шаг, делённому на число завершивших предыдущий.

• Если 1 000 посетителей дали 200 регистраций, конверсия из визита в регистрацию равна 20 процентам.
• Доля отсева на этом шаге равна 80 процентам, потому что это единица минус конверсия.
• В числителе и знаменателе нужно использовать одно определение пользователя, временное окно и порядок событий.

Хорошая гипотеза связывает одно изменение с измеримым результатом для заданной аудитории и объясняет причину.

• Понятный шаблон: изменение X для аудитории Y сдвинет метрику Z по причине R.
• Ожидаемое направление и основную метрику нужно задать до просмотра результатов.
• Изменение должно быть достаточно конкретным, чтобы контроль и тест отличались одним понятным фактором.

Базовый A/B-тест случайно распределяет подходящих пользователей между контролем и тестом и сравнивает заранее выбранный результат.

• Контроль видит текущую версию, а тестовая группа видит предлагаемое изменение.
• Случайное распределение в среднем делает группы сопоставимыми, поэтому единственным систематическим различием остаётся тестовое воздействие.
• До запуска тесту нужны плановый размер выборки, основная метрика и правило принятия решения.
• В результатах нужно показать оценку эффекта и неопределённость, а не только вариант с большим числом.

Рандомизация уменьшает системные различия между тестовыми группами до применения воздействия.

• Она случайно распределяет между вариантами такие факторы, как устройство, география и намерение пользователя.
• Чередование пользователей или отправка всех мобильных пользователей в один вариант может создать смещение отбора.
• Распределение должно быть стабильным, чтобы один пользователь не переключался между вариантами.

Статистическая значимость означает, что наблюдаемый результат был бы достаточно необычным при предположении об отсутствии эффекта и выбранном пороге.

• Часто используют порог 0,05, но его нужно выбрать до просмотра результата.
• Значимость не доказывает, что тест вызвал большое или ценное улучшение.
• Для решения всё ещё важны размер эффекта, доверительный интервал, качество данных и guardrail-метрики.

P-value показывает вероятность получить такой же или более экстремальный результат, если нулевая гипотеза и допущения теста верны.

• P-value 0,03 не означает, что тестовый вариант лучше с вероятностью 97 процентов.
• Меньшее p-value даёт более сильное свидетельство против нулевой гипотезы, но не измеряет размер эффекта.
• Интерпретация зависит от корректной рандомизации, запланированного анализа и отсутствия нескорректированных повторных проверок.

Доверительный интервал задаёт диапазон оценок эффекта, совместимых с данными в рамках выбранной статистической процедуры.

• Например, 95-процентный интервал для прироста может идти от 1 до 5 процентных пунктов вместо одной оценки в 3 пункта.
• Узкий интервал даёт более точную оценку, чем широкий.
• Если интервал включает ноль, данные не исключают отсутствие эффекта на соответствующем двустороннем уровне значимости.

Minimum detectable effect, или MDE, обозначает наименьшее реальное изменение, которое запланированный тест должен надёжно обнаружить.

• Меньший MDE требует больше наблюдений, потому что небольшой эффект сложнее отличить от шума.
• Его выбирают по минимальному улучшению, ради которого стоит действовать, а не меняют после получения результатов.
• Базовая конверсия, уровень значимости и статистическая мощность влияют на размер выборки для этого MDE.

Необходимый размер выборки в основном зависит от исходной вариативности, MDE, уровня значимости и желаемой статистической мощности.

• Для бинарной конверсии базовый уровень влияет на дисперсию: при фиксированном абсолютном MDE она максимальна около 50 процентов, а при фиксированном относительном MDE более низкая конверсия обычно требует больше наблюдений.
• Поиск меньшего эффекта или требование более высокой мощности тоже увеличивает выборку.
• Выборку рассчитывают до запуска и переводят в длительность по подходящему трафику, а не по всему трафику сайта.

Основная метрика определяет успех гипотезы, а guardrail-метрики выявляют существенный вред в других частях продукта.

• В тесте регистрации основной метрикой может быть доля завершённых регистраций.
• Guardrail-метриками могут быть ошибки оплаты, доля отписок или скорость страницы в зависимости от изменения.
• Оба типа метрик и пороги решения нужно задать заранее, чтобы не выбирать удобный результат после теста.

Если останавливать обычный тест с фиксированным горизонтом при первом привлекательном p-value, частота ложноположительных результатов растёт.

• Случайное колебание может рано пересечь порог значимости и исчезнуть после накопления данных.
• Базовый безопасный подход состоит в ожидании запланированной выборки и длительности до решения.
• Последовательные методы допускают наблюдение и остановку только тогда, когда их правила встроены в анализ.

Событие представляет собой запись с меткой времени о конкретном действии пользователя или системы.

• Примеры событий: signup_completed, report_created и subscription_started.
• Каждое событие должно отражать одно наблюдаемое действие, а не размытое состояние вроде engaged_user.
• Чёткое определение события указывает момент отправки, инициатора и возможность дублей при повторной попытке.