Вопросы на собеседовании: Data Scientist

В RideNow есть 2 миллиарда событий поездок и приложения, а для модели отмены нужны признаки пассажира за 7 и 30 дней на 120 миллионах заказов. Как в Spark выбрать между оконными функциями, диапазонными соединениями и предварительными агрегатами, сохранив корректность на момент времени?

В ShopGrid есть 80 миллионов обучающих строк, 12 миллионов ID продавцов и целевая конверсия с задержкой обратной связи 21 день. Выберете ли вы one-hot, hashing, частотное или target encoding для ID продавца и как исключите утечку на 6 месячных валидационных фолдах?

SupportFlow должна классифицировать 600 миллионов сообщений поддержки с помощью энкодера размерности 384, но хранение float32-эмбеддингов займёт около 922 ГБ без учёта реплик. Будете ли вы заранее считать эмбеддинги, вычислять их в каждом обучении или оставите разреженные текстовые признаки?

AdAtlas обучает модель кликов на 3 миллиардах примеров с 8 миллионами возможных токенов запросов и 250 плотными числовыми признаками. Плотная матрица не помещается в Spark-кластер на 1,5 ТБ, поэтому какое разреженное представление и путь моделирования вы выберете?

CarePath предсказывает повторную госпитализацию за 30 дней по 90 лабораторным признакам на 45 миллионах визитов; 38 процентов значений пропущены, а одна больница назначает ключевой тест 82 процентам тяжёлых пациентов и лишь 24 процентам остальных. Как представить пропуски без утечки решений после поступления?

В FinCredit есть 40 миллионов заявок и 50 000 признаков от вендоров, агрегатов и текстовых пайплайнов, но недельный бюджет обучения равен 6 часам. Как сократить набор примерно до 2 000 признаков, не выполняя отбор на финальном тестовом периоде?

StreamBox нужны агрегаты просмотров за 1 час, 1 день, 7 и 28 дней для 140 миллионов пользователей из 2 миллиардов ежедневных событий. Будете ли вы читать сырую историю в каждом Spark-запуске или поддерживать составные таблицы агрегатов и с какой гранулярностью?

У FreshCart есть 200 базовых признаков и гипотеза, что взаимодействия пользователь-магазин, пользователь-категория и цена-промоакция определяют замены в 70 миллионах корзин. Полный перебор пар создаёт 19 900 кандидатов ещё до расширения категорий; какие взаимодействия вы материализуете?

LakeCart ежедневно строит 300 признаков для 100 миллионов клиентов из 4 ТБ новых событий; пересчёт 30 дней читает около 120 ТБ за запуск, а материализация всех дневных клиентских признаков добавляет 18 ТБ в месяц. Как решить, что считать один раз, временно кешировать или хранить постоянно?

MegaPlay агрегирует 2 миллиарда ежедневных событий в Spark, но 6 процентов используют единый ID анонимного пользователя, а на крупнейший реальный аккаунт приходится 14 миллионов событий. Как построить пользовательские агрегаты, чтобы эти ключи не доминировали в перемешивании на 4 000 задач?

Вы моделируете дефолт в течение 90 дней по 1,2 млн заявок на кредит с долей дефолтов 6%. Логистическая регрессия с регуляризацией дает PR-AUC 0,41, а XGBoost дает 0,44, при этом политика требует стабильных кодов причин, p95 скоринга ниже 20 мс и месячного бюджета на обучение $2 000. Какую модель вы запустите?

В модели возврата товаров есть 8 млн размеченных заказов, 3% положительных примеров, 220 табличных признаков и нет изображений или текста. XGBoost дает PR-AUC 0,36, а четырехслойная нейросеть после 48 GPU-часов дает 0,365; p95 при обработке запроса должен быть ниже 10 мс, а месячные расходы на GPU не должны превышать $3 000. Какое семейство моделей вы выберете для следующего релиза?

Для 250 000 записей скрининга рака с долей положительных случаев 1,5% логистическая регрессия дает AUROC 0,86, а XGBoost дает 0,90, но обе модели должны обеспечивать чувствительность не ниже 92%. Пропущенный случай оценивается в $20 000, проверка специалистом стоит $80, регулятор требует проверяемого обоснования, а p95 задержки должен оставаться ниже 50 мс. Как вы разрешите противоречие между интерпретируемостью и точностью?

XGBoost для выявления мошенничества обучен на 600 000 транзакций с долей мошенничества 0,7% и после 800 деревьев показывает PR-AUC 0,92 на обучении и 0,48 на валидации; предыдущая модель достигала PR-AUC 0,51 на валидации. Бюджет переобучения ограничен $300 в неделю, а p95 инференса составляет 25 мс. Как вы диагностируете и исправите переобучение?

У вас есть 10 млн карточных транзакций с долей мошенничества 0,08%, целевой полнотой не ниже 70% при точности 20%, стоимостью $900 за пропущенное мошенничество, стоимостью $3 за проверку сигнала и ограничением p95 скоринга в 15 мс. Как вы учтете дисбаланс при обучении модели?

Разреженная логистическая модель захвата аккаунтов использует 4 млн сессий, 120 млн хешированных признаков и долю положительных примеров 0,25%. Обучение на всех данных помещается в 32 ГБ, целевой PR-AUC равен 0,30, ложноотрицательная ошибка стоит $500, ложноположительная стоит $1, а p95 инференса должен быть ниже 8 мс. Вы выберете веса классов или сокращение отрицательных примеров?

Нейросеть для оттока с 3 млн параметров обучается на 180 000 клиентах с долей оттока 12%. Log loss на обучении падает до 0,18, а на валидации после 12-й эпохи растет с 0,31 до 0,44; целевой AUROC на валидации равен 0,82, GPU-время ограничено 12 часами в неделю, а p95 скоринга должен быть ниже 5 мс. Какой план регуляризации вы проверите?

Вам нужно настроить XGBoost для прогноза конверсии на 3 млн сессий с долей положительных примеров 2%. Критерий приемки равен как минимум 0,24 PR-AUC на валидации, бюджет поиска составляет 120 CPU-часов, ложноположительная ошибка стоит $0,20, ложноотрицательная стоит $8, а итоговая модель должна выдавать прогноз не медленнее 12 мс p95. Как вы выберете гиперпараметры?

Модель XGBoost для страхования обучена на 900 000 полисах с долей страховых случаев 4% и достигает AUROC 0,89, но среди полисов с прогнозом вероятности страхового случая 10% реальная доля составляет только 6%. Ее Brier score равен 0,061 против 0,054 у логистической регрессии, смещение вероятности на один процентный пункт приводит примерно к $150 000 годовой ошибки в тарифах, калибровка может добавить не более 2 мс к бюджету p95 в 20 мс, и доступно 120 000 свежих меток. Как вы ее откалибруете?

Модель безопасности контента оценили на 2 млн размеченных публикаций с долей нарушений 0,4%, а обслуживает она 5 млн публикаций в день. Оценки откалиброваны, пропущенное нарушение стоит $40, ложное удаление стоит $2, ручная проверка ограничена 60 000 публикаций в день, целевая ожидаемая стоимость ниже $0,12 на публикацию при полноте не менее 85%, а скоринг модели занимает 18 мс из бюджета p95 в 25 мс. Как вы выберете пороги решений?

В эксперименте с регистрацией базовая конверсия равна 10%, а минимально полезный рост составляет 1 процентный пункт. Какой размер выборки и длительность вы выберете при мощности 80%, двустороннем уровне значимости 5%, 4 000 подходящих пользователей в день и ожидаемой потере 10% наблюдений до анализа?

Вы тестируете среднюю стоимость заказа, которая сейчас равна $48 при стандартном отклонении $30, и считаете важным рост на $2. Сколько наблюдений нужно при мощности 80% и двустороннем уровне значимости 5% и что вы сделаете с тяжёлым хвостом метрики?

Обучение сотрудников магазина нужно назначать целиком на магазин, поскольку сотрудники используют общий новый процесс. Индивидуальный расчёт дал по 2 500 покупателей на вариант, в магазине в среднем 120 покупателей, а внутрикластерная корреляция равна 0,04. Как вы рассчитаете размер и проведёте рандомизацию?

Тест цен в доставке создаёт интерференцию на маркетплейсе, поэтому водителей и заказы нельзя рандомизировать независимо. У вас есть 12 городов и 28 дней. Спроектируйте switchback-тест с конкретными временными блоками, периодом вымывания и единицей анализа.

Эксперимент с фиксированным горизонтом по выручке требует по 20 000 пользователей на вариант, но корреляция предэкспериментальной выручки с результатом равна 0,60. Какой выигрыш вы ожидаете от CUPED и какие условия должны выполняться до уменьшения выборки?

Вы хотите сравнить три варианта оформления заказа с одним контролем. Базовая конверсия равна 8%, MDE составляет 0,8 процентного пункта, мощность равна 80%, а семейный уровень значимости равен 5%. Как вы распределите трафик и учтёте множественные проверки?

Команда планирует максимальную выборку 60 000 пользователей, но хочет каждый день смотреть на значимость и останавливаться при p меньше 0,05. Замените этот план конкретным последовательным дизайном.

Эксперимент с заявленным распределением 50/50 назначил 51 200 пользователей в тест и 48 800 в контроль из 100 000. Рассчитайте проверку SRM и решите, будете ли вы оценивать эффект.

Редизайн рекомендаций повышает клики на 4% в дни 1-3, но только на 0,8% в дни 4-14, а тест начался за пять дней до Чёрной пятницы. Вы запустите вариант, продлите тест или остановите его и какой анализ обоснует решение?

У продукта 12 000 подходящих пользователей в неделю, базовая конверсия равна 3%, а эксперимент можно проводить не более шести недель. Какой MDE достижим при равном распределении, мощности 80% и двустороннем уровне значимости 5% и что делать, если бизнес ценит рост всего на 0,2 процентного пункта?

Через 30 минут после выпуска рекомендательной модели CTR падает на 14%, а трафик и p95 задержки остаются в пределах 2% от базового уровня. Какое решение по инциденту вы примете и как ограничите ущерб?

PSI признака дохода в кредитной модели достигает 0,34 при пороге оповещения 0,20, но на последней зрелой семидневной когорте AUC составляет 0,81 против базовых 0,812, а ошибка калибровки остается равной 0,03. Новые метки приходят с задержкой 21 день. Вы откатываете модель, переобучаете ее или продолжаете наблюдение, и какие ограничения вводите?

Антифрод-модель одобряет на 18% больше транзакций, чем обычно, но метки по возвратным платежам приходят через 14 дней; при этом доля отказов после ручной проверки выросла с 6% до 15%. Как ограничить инцидент, не ожидая две недели?

Оператор снижает порог антифрод-модели с 0,72 до 0,58, число заблокированных платежей растет на 31%, а число пойманных подтвержденных мошеннических операций за шесть часов увеличивается только на 4%. Что вы измените сначала и как решите, нужно ли вмешиваться в саму модель?

Доля пропусков в признаке дохода кредитной модели прыгает с 2% до 27%, число одобрений падает на 16%, а метки по дефолтам появятся только через 30 дней. Как вы ограничите инцидент в первый час?

Модель-претендент показывает на 7% более высокий офлайн PR-AUC, но на 10% производственного трафика за три дня снижает конверсию на 4,5% и увеличивает число жалоб на 22%. Вы продвигаете ее, настраиваете или останавливаете?

После обновления классификации погоды PSI соответствующего признака в модели времени доставки достигает 0,29, но MAE меняется только с 6,2 до 6,3 минуты, а ошибка p95 остается равной 18 минутам на 1,5 млн доставок. Как вы решите, безвреден ли этот дрейф?

Глобальный AUC модели риска продавцов падает только на 1%, но полнота для новых продавцов снижается на 18%, а они составляют 12% трафика. Какие ограничения и решение по модели вы примените?

Во время общенациональной транспортной забастовки MAPE прогноза спроса растет с 11% до 23%; воспроизведение показывает, что предыдущий чемпион получил бы 22% на тех же часах. Вы откатываете или переобучаете модель и как сегодня ограничите ошибки планирования?

Переобученная модель риска имеет офлайн AUC выше на 9%, но на канарейке с 20% трафика ошибка калибровки ухудшается с 0,04 до 0,13, а доля одобрений падает на 11%; метки результатов созревают 30 дней. Вы откатываете, калибруете или переобучаете модель?

В 09:20 признак purchase_count_30d стал равен нулю для 93% запросов вместо 4%, а ранжирующая модель обслуживает 38% трафика. Как вы поведете этот инцидент?

У новой модели offline AUC равен 0,86, но precision в продакшене падает на 19%, а выборочная проверка паритета находит разные признаки в 7,8% запросов. Что вы сделаете?

Через три дня после запуска модели чарджбэков вы обнаружили, что dispute_status обновлялся в течение 14 дней после момента прогноза и помог получить offline AUC 0,94. Как вы отреагируете?

Join в feature store использовал последний customer tier вместо значения на момент решения, что затронуло 11,6% из 2,3 миллиона решений за шесть дней. Как вы поступите?

После релиза источника 41% значений merchant_category попадают в unknown вместо 2%, доля авторизаций падает на 9%, а модель маршрутизации платежей уже оценила 68 000 транзакций. Каков ваш план инцидента?

После релиза поставщика package_weight меняется с килограммов на граммы, и медиана растет с 1,8 до 1 800 для 18% трафика. Как вы локализуете и исправите проблему?

Релиз рекомендаций подает query embeddings из encoder v8 в индекс каталога, построенный на v7, и recall@20 падает на 31%. Что вы сделаете?

Обучение использует tokenizer v3 с Unicode-нормализацией, а сервинг все еще использует v2; 14% запросов с не-ASCII символами дают другие тензоры, и moderation F1 падает на 12 пунктов. Как вы возглавите исправление?

Повторная попытка ETL дублирует 6,4 миллиона событий, увеличивая 8,7% обучающих строк и live-признак order_count для 180 000 пользователей. Как вы отреагируете?

Три из 12 шардов пайплайна признаков перестали продвигаться, поэтому данные 27% сущностей устарели в медиане на 47 минут, хотя prediction endpoint продолжает отвечать 200. Как вы управляете частичным отказом?

Эксперимент с оформлением заказа охватил 240 000 пользователей и показал относительный lift завершенных покупок -3,8% при p = 0,012; доля ошибок оплаты также выросла с 1,6% до 2,1%. Как вы интерпретируете результат и какое решение примете сегодня?

Тест страницы тарифов увеличивает заранее зарегистрированную основную метрику, начало платной подписки, на 2,4% при p = 0,018, но доля возвратов за 14 дней растет с 4,9% до 5,8%, то есть на 18,4% при p = 0,031, а маржа на посетителя падает на 1,2%. Как вы интерпретируете результат и решаете вопрос запуска?

Тест рекомендаций заканчивается раньше срока после остановки партнерской кампании, набрав 90 000 из запланированных 200 000 пользователей. Выручка на пользователя выросла на 1,1% при p = 0,28 и 95% доверительном интервале от -0,9% до +3,1%, а все защитные метрики нейтральны. Как вы интерпретируете нулевой результат и решаете, что будет работать дальше?

Новый формат уведомлений дает lift кликов +8,5% в дни 1-3, +1,2% в дни 4-14 и +2,6% в целом при p = 0,040; p-value взаимодействия варианта со временем равно 0,009. Отписки не изменились. Как вы интерпретируете эту картину и решаете вопрос раскатки?

Через три дня после запуска эксперимент с ожидаемым делением 50/50 содержит 518 400 пользователей в варианте и 481 600 в контроле, что дает p-value SRM ниже 0,00000001; основная метрика показывает +4,1% при p = 0,020. Какой вывод вы делаете и что предпринимаете?

Тест онбординга показывает рост активации на 1,6% в целом при p = 0,040, но у новичков в категории рост составляет 6,4% при p = 0,003, а у опытных пользователей падение равно 2,8% при p = 0,010; p-value взаимодействия варианта с сегментом равно 0,002. Как вы интерпретируете результат и решаете вопрос релиза?

Мобильный тест оформления заказа сообщает lift покупок +12,0% при p < 0,001, но аудит обнаруживает, что путь повторной попытки создает дубли событий покупки для 7,4% заказов варианта против 0,3% в контроле. Финансы не видят соответствующего роста списаний. Как вы интерпретируете и исправляете ситуацию?

Тест поискового ранжирования повышает CTR результатов на 7,8% при p = 0,001 и добавления в корзину на 3,2% при p = 0,020, но покупки падают на 2,4% при p = 0,043, а маржа на поиск падает на 3,0% при p = 0,028. Задержка не изменилась. Как вы согласуете метрики и примете решение?

Эксперимент с промо идет с 20 декабря по 10 января и показывает рост выручки на посетителя +4,8% в целом при p = 0,030. Lift равен +12,0% с 20 по 26 декабря при p = 0,004, но -3,1% со 2 по 10 января при p = 0,040, причем 70% наблюдений пришлись на праздничную неделю. Какой вывод вы делаете и что запускаете?

Тест удержания не достигает заранее зарегистрированной основной метрики: -1,7% при p = 0,21. Среди 20 сегментов по стране и платформе, изученных после результата, пользователи iOS в Канаде показывают +14,0% при p = 0,030, и стейкхолдер просит показать только этот сегмент и запустить вариант для него. Что вы ответите и решите?

После 12 400 решений по фроду VIP-клиенты составляют 3% объема, но дают 28% ложноположительных решений, и стейкхолдер заявляет, что модель ошибается. Как вы отреагируете?

Порог 0,42 находит 89% фрода, но создает 1 600 проверок в день при мощности операционной команды 900, поэтому команда отвергает вашу рекомендацию. Что вы сделаете?

Среди 20 000 кандидатов модель найма выбирает 18% мужчин и 11% женщин, а recall квалифицированных кандидатов равен 82% против 61%, хотя общая accuracy совпадает с текущим процессом. Что вы сделаете?

Кредитная модель одобряет 79% городских заявителей и только 54% сельских. Как вы решите, нужно ли вмешательство?

Модель удержания отправляет предложения 32% клиентов младше 55 лет и только 14% клиентов в возрасте 55 лет и старше. Как вы отреагируете?

У медицинской модели триажа общая доля ложноотрицательных решений 6%, но для женщин от 65 лет она равна 19%. Что вы предпримете?

На 60 000 кредитных заявок почтовый индекс, расстояние до отделения и стоимость недвижимости предсказывают аудируемую защищенную группу с AUC 0,88, а у сопоставимых заявителей сохраняется разрыв одобрений 12 пунктов. Как вы исследуете и исправите proxy discrimination?

В 8,2 млн строк датчиков объяснения модели показывают рост риска при низкой температуре, но 74% предупреждений высокого риска приходят от firmware v3, а инженеры по надежности говорят, что направление противоречит физике. Что вы сделаете?

Руководитель просит одно число для запуска после 21-дневного теста рекомендаций на 18 млн показов: прирост валовой прибыли равен $1,24 на 1 000 показов с 95% интервалом от $0,40 до $2,05, а жалобы выросли на 0,3 пункта. Что вы представите?

Фрод-модель улучшила offline AUC с 0,86 до 0,94, но возвращенные потери не изменились, а аналитики отменяют 64% ее предупреждений. Как вы отреагируете?

Младший дата-сайентист обучил модель оттока на 1,8 млн строк по подпискам и за два дня до ревью сообщил AUC 0,99 на валидации. Вы замечаете, что среди признаков есть cancellation_date и refund_status, хотя модель должна оценивать пользователей за 14 дней до отмены. От этого результата зависит запуск шестинедельного пилота по удержанию. Что вы сделаете?

Дата-сайентист уровня middle строит классификатор мошенничества на 420 000 транзакций, среди которых только 1 900 подтвержденных случаев. После 60 запусков Optuna PR AUC на обучении вырос с 0,71 до 0,94, но на временной валидации упал с 0,69 до 0,61, а ревью модели состоится через три дня. Что вы сделаете?

Коллега предлагает заменить логистическую модель кредитного риска ансамблем со стекингом на 3,2 млн кредитных записей. AUC обнаружения дефолта офлайн растет с 0,842 до 0,845, но p95 задержки скоринга увеличивается с 18 до 140 мс, а ежемесячная стоимость инфраструктуры вырастет примерно на 11 000 долларов; архитектурное решение нужно принять к пятнице. Что вы сделаете?

Во вторник в 10:00 продуктовая команда просит проанализировать редизайн оформления заказа по 12 млн событий и дать рекомендацию к встрече о запуске в среду в 15:00. Данные о попадании в эксперимент надежны, но в таблице выручки отсутствует около 8% мобильных покупок, а полное исправление займет четыре дня; запуск затрагивает примерно 600 000 долларов недельной выручки. Что вы сделаете?

Команду просят за две недели запустить модель риска неявки, обученную на 900 000 визитов в больницу. Аудит показывает, что на предложенном пороге она отмечает 34% пациентов из одного района с низкими доходами против 12% в среднем, а отмеченные пациенты могут потерять доступ к удобным слотам; измеренный прирост полноты составляет 6 процентных пунктов. Что вы сделаете?

Во время ревью презентации для совета директоров, которую нужно отправить завтра, вы видите утверждение, что рекомендательная модель повысила удержание на 30-й день на 9%. Анализ охватывает 46 000 пользователей, но распределение зависело от поддержки устройства, а не от рандомизации, базовое удержание различалось на 7 пунктов, и указанный p-value не учитывает этот дисбаланс. Что вы сделаете?

Сильному дата-сайентисту уровня middle нужен пример самостоятельного владения для повышения через шесть месяцев. У команды есть устаревший пайплайн прогноза спроса для 1 200 магазинов с недельным MAPE 18%, примерно 2 млн долларов ежегодных потерь из-за отсутствия товара и без назначенного владельца; два инженера могут выделять по одному дню в неделю. Как вы будете менторить этот проект?

За шесть часов до запуска праздничной кампании на 4 млн клиентов маркетинг хочет снизить порог склонности с 0,62 до 0,48, чтобы заполнить все 700 000 слотов для сообщений. Вы не согласны, потому что контрольная группа прошлого месяца показывает отрицательную ожидаемую маржу у дополнительных 180 000 получателей после учета стоимости отправки 0,09 доллара, но владелец кампании говорит, что инвентарь уже оплачен. Что вы сделаете?

Через четыре месяца пилот модели времени доставки, обученной на 28 млн заказов, провалился: медианная ошибка улучшилась на 6%, но ошибка p95 ухудшилась на 22%, жалобы клиентов выросли на 4%, и операционная команда не хочет расширять охват свыше 5% трафика. Вы руководили проектом, а квартальное ревью состоится на следующей неделе. Что вы сделаете?

Младший дата-сайентист отвечает за мониторинг ETA-модели с 9 млн прогнозов в день. В понедельник он замечает рост p95 абсолютной ошибки на 11% после пятничного релиза, но сообщает только через семь часов, потому что средний MAE оставался зеленым; следующее окно релиза закроется через 24 часа. Что вы сделаете?