Вопросы на собеседовании: Growth-маркетолог

Модель роста компании представляет собой количественное описание того, как бизнес со временем привлекает, удерживает и монетизирует клиентов.

• Она задает единицу роста, границы системы, период расчета и итоги, с которыми должна сходиться.
• Она связывает рыночные входы, например квалифицированный трафик, с продуктовыми действиями, например активацией и повторным использованием.
• Она явно показывает механизмы накопительного роста и дает проверяемые прогнозы, не выдавая исторические связи за доказательство причинного эффекта.

Я записываю модель роста как систему запасов и потоков для заданной единицы учета, аудитории и периода.

• Каждый запас на конец периода равен запасу на начало плюс входящие потоки минус исходящие, а поток, рассчитанный через коэффициент, равен подходящей базе, умноженной на этот коэффициент.
• Я сверяю каждое уравнение с фактическими данными хранилища и проверяю тождества, определения когорт и временные окна, чтобы арифметика сходилась.
• Калибровку прогноза проверяю на отложенных или будущих периодах, а причинный эффект рычага подтверждаю рандомизированным или убедительным квазиэкспериментом, а не одной исторической чувствительностью.

Стратегия роста выбирает накопительную систему, которую должна строить компания, а performance-маркетинг оптимизирует платное привлечение внутри нее.

• Performance-маркетинг обычно отвечает за расходы, ставки, креативы и CAC канала на относительно коротком окне окупаемости.
• Стратегия роста также охватывает активацию, удержание, цены, рекомендации, продажи и продуктовые изменения, влияющие на LTV.
• Платный канал может выполнить цель по CPA, но навредить росту, если приводит клиентов с низким удержанием или вытесняет более сильную петлю.

Учет роста сверяет изменение за период: новые и вернувшиеся клиенты увеличивают активную базу, ушедшие уменьшают ее, а для регулярной выручки отдельно учитываются расширение и сокращение.

• Он отделяет валовое привлечение от чистого роста, поэтому сильный месяц по регистрациям не скрывает ухудшение оттока.
• Когортные срезы показывают, связано ли улучшение с качеством клиентов, удержанием или благоприятным изменением структуры.
• Для подписочной выручки новый MRR плюс расширение и возврат минус сокращение и отток напрямую дают чистый новый MRR.

Главное ограничение представляет собой рычаг, реалистичное улучшение которого вызывает наибольший устойчивый прирост итогового показателя.

• Я объединяю чувствительность модели с реальным запасом роста, чтобы найти кандидата на главное ограничение, а не объявить причинный эффект.
• Проверяю когорты, сегменты, экономику и пропускную способность, чтобы сдвиг структуры или следующий узкий участок не создали ложный приоритет.
• Где возможно, подтверждаю эффект вмешательства рандомизированным или убедительным квазиэкспериментом и пересматриваю диагноз, если прироста нет.

Хорошая north star metric измеряет регулярно создаваемую ценность для клиента в форме, предсказывающей устойчивый рост бизнеса.

• Она считает значимое получение ценности, например число команд, завершающих процесс каждую неделю, а не поверхностные открытия приложения.
• Она меняется достаточно быстро для продуктовых и growth-решений, но остается связанной с удержанием или выручкой в разных когортах.
• Ею сложно манипулировать, ее можно сегментировать, а защитные метрики не дают наращивать объем за счет качества или маржи.

Выручка не должна быть north star metric, когда она запаздывает или может расти без соответствующего увеличения ценности для клиента.

• Из-за годовых контрактов текущая выручка может отражать решения отдела продаж многомесячной давности, а не сегодняшнее здоровье продукта.
• Повышение цены способно увеличить выручку, пока активация, удержание и глубина использования ухудшаются.
• Я сохраняю выручку как итоговый показатель, но для еженедельной growth-работы использую проверенную опережающую метрику ценности.

Я строю дерево драйверов из тождества запасов и потоков, где все величины имеют одну единицу учета и один период.

• Активные платные команды на конец периода равны удержанным активным командам плюс реактивированным командам плюс новым активированным командам.
• Новые активированные команды равны числу подходящих аккаунтов, умноженному на долю активации, а удержание и реактивация остаются отдельными непересекающимися потоками в итоговый запас.
• Для каждого элемента задаю определение, ответственного, временное окно и исходную таблицу, а тождество сверяю с наблюдаемым числом активных команд на конец периода.

Опережающие метрики быстро дают направление, а запаздывающие подтверждают устойчивую ценность изменения для бизнеса.

• Завершение онбординга меняется за несколько дней, а 90-дневное удержание или окупаемость CAC могут созревать квартал.
• Я использую исторические когорты, чтобы проверить способность опережающей метрики предсказывать итог в нужном сегменте.
• Если эта связь ослабевает, я пересматриваю прокси, а не объявляю успех по более удобному показателю.

Защитные метрики не дают оптимизации основного результата причинить неприемлемый ущерб в другой части системы.

• В тесте активации ими могут быть удержание, обращения в поддержку, задержка и возвраты при оптимизации завершенного онбординга.
• Для них заранее задают пороги решения из допустимого для бизнеса риска, а не ищут любое ухудшение после получения результата.
• Набор должен быть небольшим, иначе каждый результат становится неоднозначным и полезный риск незаметно исчезает.

Программа экспериментов в большом масштабе требует общей системы принятия решений, а не просто большего количества A/B-тестов.

• Нужен портфель, связанный с ограничениями дерева драйверов, с явными гипотезами, правилами решений и целями обучения.
• Платформа должна надежно выполнять распределение, журналирование экспозиции, расчет метрик и долгосрочные контрольные группы, например через Statsig.
• Для суммарного эффекта я использую фактически реализованные результаты с учетом темпа раскатки, не складываю автоматически эффекты пересекающихся тестов, подтверждаю инкрементальность постоянной контрольной группой и сверяю оценку с фактическими финансовыми результатами.

Скорость экспериментов должна показывать, насколько быстро компания получает надежные решения, а не сколько флагов она запускает.

• Я отслеживаю время от утвержденной гипотезы до решения и долю тестов, дошедших до достоверного вывода.
• Пропускную способность дополняю долей побед и инкрементальным эффектом, чтобы дробление идеи на мелкие тесты не выглядело продуктивностью.
• Также считаю повторное использование знаний, потому что задокументированный нулевой результат, предотвративший три повтора, имеет ценность.

Я ставлю эксперименты в порядок по ожидаемой экономической ценности с учетом доказательств, стоимости и времени до надежного решения.

• Ожидаемая ценность объединяет доступную аудиторию, правдоподобное изменение метрики, последующую ценность и вероятность верности гипотезы.
• Часть ресурсов сохраняю для фундаментальных тестов и новых поверхностей, чтобы скоринг не отдавал все дешевым правкам воронки.
• Учитываю зависимости и риск взаимодействия, потому что одновременные тесты на одной аудитории могут задержать или исказить оба результата.

Мощность и минимально обнаружимый эффект определяют, способен ли тест надежно заметить изменение, достаточно крупное для бизнеса.

• Я задаю минимальный эффект из экономики, а затем по базовому уровню, дисперсии, распределению и допустимым ошибкам определяю выборку и срок.
• Смена метрики, аудитории или дизайна может изменить оцениваемый эффект и не обеспечивает автоматически достаточную мощность для исходного решения.
• Я предпочитаю снижение дисперсии, например CUPED, с сохранением целевой аудитории и исхода; если надежной мощности все равно нет, тест не запускаю или считаю результат только ориентировочным.

Подглядывание означает многократную проверку теста с фиксированным горизонтом и остановку при первом значимом результате, что увеличивает ложные срабатывания.

• Простой способ защиты состоит в предварительном расчете выборки и анализе только в запланированной точке.
• Когда нужны частые решения, я использую корректный последовательный метод или документированный sequential testing в Statsig, а не неформальные ежедневные проверки.
• Минимальная длительность все равно покрывает недельный цикл, чтобы корректный формально результат не зависел от одной календарной аномалии.

Множественные сравнения повышают шанс найти внешне положительный результат при отсутствии реального эффекта.

• Риск растет, когда команды смотрят много вариантов, сегментов и метрик, но показывают только лучший срез.
• Я заранее указываю одну основную метрику и немного запланированных срезов, затем контролирую ложные открытия в настоящих семействах тестов.
• Исследовательские находки полезны как гипотезы, но до выделения бюджета или продуктового обязательства их подтверждают на новых данных.

Сетевые эффекты нарушают допущение, что воздействие на одного участника не меняет результат другого.

• В маркетплейсе, командном продукте или реферальном цикле рандомизация пользователей может смешать группы, потому что участники теста взаимодействуют с контролем.
• Я рандомизирую подходящие кластеры, например команды, сообщества или рынки, и учитываю уменьшение эффективной выборки из-за сходства результатов внутри кластера.
• Если нужно измерить перетекание эффекта, двухэтапный дизайн может менять долю участников под воздействием между кластерами и оценивать прямой и косвенный эффекты.

Я покупаю, когда зрелая платформа закрывает основные задачи вывода и управления, а разрабатываю только отличающий слой вокруг нашей модели данных.

• Statsig или GrowthBook быстрее дадут распределение, feature flags, логи экспозиции и статистические методы, чем внутренняя платформа.
• Полное сравнение включает поддержку инженерами, доверие аналитиков, стоимость хранилища, контроль приватности и цену зависимости от поставщика.
• Своя разработка оправданна, когда идентификацию, рандомизацию маркетплейса или собственные метрики нельзя безопасно представить в продукте.

Здоровая культура экспериментов поощряет верные решения и повторно используемые знания, а не положительные результаты.

• Гипотезы и правила решений записывают до экспозиции, поэтому сочинение объяснений после результата становится заметным.
• Нулевые и отрицательные результаты остаются доступными для поиска с контекстом, чтобы слабая идея не возвращалась каждый квартал.
• Изменения с серьезными последствиями требуют более сильных доказательств, а обратимые идеи с низким риском проверяются легче и быстрее.

Метаанализ объединяет сопоставимые эксперименты, чтобы получить более устойчивую оценку общего эффекта и объяснить различия результатов.

• Я стандартизирую определения исходов и храню размеры эффектов с неопределенностью, а не только победы и поражения.
• Моделирую значимые различия между каналами, сегментами, интенсивностью воздействия и новизной, а не слепо смешиваю все данные.
• Результат формирует априорные ожидания и распределение портфеля, но новое решение все равно учитывает свою аудиторию и реализацию.