Вопросы на собеседовании: Data Scientist

Случайный лес обычно выбирают за устойчивость, а градиентный бустинг за максимальное качество на табличных данных.

• Случайный лес независимо обучает глубокие деревья на бутстрап-выборках и случайных подмножествах признаков, затем усредняет их для снижения дисперсии.
• Градиентный бустинг последовательно добавляет неглубокие деревья, уменьшая текущий лосс и смещение, но сильнее зависит от learning rate, числа деревьев и шума.
• Я беру бустинг как основного кандидата на качество, а случайный лес как сильный базлайн или когда важны минимальный тюнинг, параллельное обучение и стабильные оценки важности.

Переобучение XGBoost я снижаю через размер шага, ёмкость деревьев, случайность и явную регуляризацию.

• Уменьшаю learning_rate, увеличиваю число деревьев и включаю early stopping на нетронутой валидации, чтобы заменить несколько агрессивных шагов множеством малых.
• Снижаю max_depth или повышаю min_child_weight, чтобы деревья не запоминали редкие паттерны, затем применяю subsample и colsample для их декорреляции.
• Повышаю gamma для более строгого отбора сплитов, а lambda или alpha для штрафа весов листьев, оценивая изменения только на данных без обучения модели.

XGBoost и LightGBM после тюнинга часто дают похожее качество, но различаются ростом деревьев и поведением на больших данных.

• LightGBM растит дерево по листьям, деля лист с максимальным снижением лосса, что эффективно, но на малых данных может создавать глубокие неровные ветви и переобучаться.
• Классический XGBoost растёт по уровням и получается более сбалансированным, а гистограммы, сэмплинг и нативные категории ускоряют LightGBM на больших датасетах.
• Я предпочитаю LightGBM для миллионов строк и быстрых итераций, совместно ограничивая num_leaves и max_depth, а в остальных случаях смотрю на экосистему и валидацию.

Градиентный бустинг строит аддитивную модель как градиентный спуск в пространстве функций.

• Он начинает с константного предсказания и для каждого объекта считает градиент лосса по текущему предсказанию ансамбля.
• Следующее дерево подгоняется под эти градиенты, его вклад умножается на learning rate и добавляется к ансамблю, после чего цикл повторяется.
• Для квадратичной ошибки градиенты совпадают с остатками, а тот же механизм поддерживает другие дифференцируемые цели, включая логистический, квантильный и ранжирующий лосс.

Стандартная важность признаков в бустинге может отражать смещения обучающих данных, а не реальную предсказательную ценность.

• Оценки по числу сплитов и gain завышают признаки с множеством точек разбиения, а коррелирующие признаки произвольно делят важность между собой.
• Я ранжирую признаки пермутационной важностью на отложенных данных и применяю групповую пермутацию для совместной оценки коррелирующих переменных.
• SHAP добавляет направление и вклад в отдельное предсказание, но решающая проверка состоит в переобучении без подозрительного признака и измерении изменения на валидации.

SHAP показывает направление и величину вклада признаков в каждое отдельное предсказание.

• Предсказание раскладывается относительно базового уровня, поэтому видно, какие признаки повысили или понизили конкретный скор, а не только их глобальный рейтинг.
• Агрегации SHAP дают общую картину, dependence-графики показывают изменение эффектов и взаимодействия, а кластеры объяснений находят разные субпопуляции.
• Со стейкхолдерами я использую разбор конкретных кейсов и проверку здравого смысла, отдельно уточняя, что SHAP объясняет поведение модели, а не причинные эффекты.

SVM остаётся эффективным на малых и средних высокоразмерных датасетах, если соблюдать его геометрические требования.

• Линейный SVM особенно силён на разреженных текстах с тысячами TF-IDF признаков, а ядра моделируют нелинейные границы через неявные отображения.
• Масштабирование обязательно, поскольку зазор и RBF-расстояния зависят от геометрии, иначе признак с крупным масштабом начнёт доминировать.
• Ядерные SVM плохо масштабируются после нескольких сотен тысяч объектов, вероятности требуют калибровки, а C и gamma нужно настраивать совместно.

Бессмысленные сегменты k-means обычно указывают на нарушение геометрических предположений или неудачное пространство признаков.

• K-means предполагает примерно сферические кластеры похожего размера и плотности в евклидовом расстоянии и всегда выдаёт k групп, даже если кластеров нет.
• Я проверяю масштабирование, изучаю проекции PCA или UMAP и сравниваю silhouette score для разных k, допуская, что данные образуют одно непрерывное облако.
• Если группам не хватает бизнес-смысла, я сначала перестраиваю признаки вокруг нужного поведения, потому что подбор другого k не исправит нерелевантные входы.

DBSCAN даёт кластеры произвольной формы и явную обработку шума, но сильно зависит от осмысленной локальной плотности.

• Он объединяет точки с минимум min_samples соседями в радиусе eps, не требует заранее заданного k и оставляет разреженные точки шумом.
• Один eps не описывает кластеры с сильно разной плотностью, в высоких размерностях плотность размывается, а сам eps приходится выбирать по диагностике вроде локтя k-distance.
• Я применяю DBSCAN к низкоразмерным пространственным или шумным данным, а для масштабируемых каплевидных кластеров выбираю k-means или гауссовы смеси, часто после снижения размерности.

L1 создаёт разреженные модели, а L2 обычно даёт более плавное и стабильное сжатие коэффициентов.

• У L1 постоянный градиент штрафа и ромбовидная область ограничения с углами на осях, поэтому малые коэффициенты могут стать точными нулями.
• L1 подходит для отбора признаков и разреженной интерпретации, а L2 распределяет вес между коррелирующими признаками и чаще служит надёжным дефолтом для предсказания.
• Elastic net сочетает оба штрафа для коррелирующих групп, когда нужна разреженность, при этом признаки стандартизируют, а силу штрафа выбирают кросс-валидацией.

Логистическая регрессия может обойти бустинг, когда объём данных, представление или требования эксплуатации подходят линейной модели.

• Она хорошо работает на малых датасетах и широких разреженных входах вроде текста или тяжёлого one-hot, где бустинг способен переобучиться.
• Её легко разворачивать и аудировать, а вероятности часто лучше откалиброваны без постобработки, поэтому она остаётся обязательным базлайном.
• Сырые коэффициенты выражают логарифм шансов, сравнимы только после масштабирования, нестабильны при корреляции и описывают связь, а не причинность.

Деревянным и линейным моделям нужен разный препроцессинг, потому что они по-разному представляют связи.

• Деревья делят данные по сохраняющим порядок порогам, поэтому масштабирование, нормализация и монотонные логарифмы не меняют сплиты и обычно бесполезны для XGBoost.
• Линейным и дистанционным моделям нужно масштабирование, при скошенности помогают логарифмы, а нелинейность приходится задавать через бины, сплайны или взаимодействия.
• Для деревьев я сосредотачиваюсь на кодировании категорий, смысле пропусков и доменных признаках вроде отношений, которые иначе потребовали бы множества сплитов.

Метод k ближайших соседей ломается в высоких размерностях, потому что геометрическая близость перестаёт различать объекты.

• Расстояния концентрируются, относительная разница между ближайшим и дальним соседом уменьшается, и ближайшая точка становится почти не осмысленнее случайной.
• Объём пространства также делает фиксированный датасет разреженным, а нерелевантные измерения непропорционально разбавляют сигнал в метрике.
• Для kNN, кластеризации и RBF-методов я снижаю размерность, обучаю эмбеддинги или метрику либо перехожу к деревьям, которые неявно отбирают полезные признаки.

Модель некалибрована, если её предсказанные вероятности не совпадают с наблюдаемыми частотами событий.

• Если среди объектов со скором 0.9 позитивны лишь 60 процентов, reliability-диаграмма покажет отклонение от ожидаемых 90 процентов.
• Усреднение в лесах часто избегает крайних значений, бустинг бывает сверхуверенным, а ресэмплинг при дисбалансе меняет базовую частоту в скорах.
• Я калибрую на отложенных данных через Platt scaling для гладкой коррекции или изотоническую регрессию при достаточном объёме, особенно если вероятности определяют ценность, риск или порог.

Стекинг оправдан, только когда разнообразные сильные модели добавляют достаточно качества для компенсации эксплуатационной сложности.

• Разные алгоритмы, представления признаков или обучающие подмножества декоррелируют ошибки, позволяя мета-модели получить примерно один-три процента сверх лучшей базовой модели.
• В соревновании такой прирост может решить всё, но в проде он должен окупить рост задержки, стоимости сервинга и сопровождения по сравнению с одним настроенным бустингом.
• Мета-признаки обязаны быть out-of-fold предсказаниями на невидимых базовой модели строках, иначе утечка научит мета-модель доверять переобученным скорам.

Категориальному признаку с десятью тысячами уровней нужно компактное кодирование с защитой от утечки и редких значений.

• One-hot создаёт десять тысяч разреженных колонок, расходует память и оставляет слишком мало данных для множества сплитов.
• Лучше подходят нативные категории LightGBM или CatBoost, сглаженный out-of-fold target encoding либо устойчивые к утечке хеширование и частотное кодирование.
• Я предпочитаю нативную поддержку, а иначе объединяю редкий хвост в категорию «прочее» и считаю сглаженные out-of-fold таргет-статистики, чтобы категории не запоминали метки.

Обработка пропусков должна учитывать модель, сохранять полезный сигнал отсутствия и не протаскивать артефакты сбора данных.

• XGBoost и LightGBM принимают NaN напрямую и учат направление сплита для пропусков, часто используя их паттерн лучше импутации.
• Линейным моделям и нейросетям нужна явная импутация, например медиана для скошенных чисел или отдельная категория, вместе с бинарным индикатором пропуска.
• Отсутствие ответа или сигналов сенсора может быть предсказательным, но решения о сборе, связанные с исходом, создают утечку, которая исчезнет в проде.

Выбросы требуют разной обработки для разных моделей, а их происхождение определяет, исправлять значение или моделировать его.

• Экстремальные наблюдения могут доминировать в регрессии с квадратичным лоссом и градиентах, смещать центроиды k-means и искажать настроенные скейлеры.
• Деревья устойчивы к экстремальным значениям признаков благодаря порядковым сплитам, но крайние значения таргета всё равно искажают листья при квадратичном лоссе.
• Я исправляю или удаляю подтверждённые ошибки, моделирую реальные экстремумы через MAE, Huber, логарифм или RobustScaler и ограничиваю хвост только при явном согласии бизнеса.

Мультиколлинеарность в первую очередь угрожает интерпретации коэффициентов, а не качеству предсказания.

• Коррелирующие предикторы делают линейные коэффициенты нестабильными, увеличивают стандартные ошибки и могут менять знаки между выборками, а типичной диагностикой служит VIF.
• Качество прогноза часто почти не меняется, и деревья переносят корреляцию, хотя оценки важности произвольно делят вклад внутри группы.
• Для инференса я удаляю или объединяю переменные либо применяю ridge, для предсказания могу ничего не делать, а при интерпретации оцениваю коррелирующие признаки группами.

В новой табличной задаче я иду от тривиального базлайна к линейной модели, а затем к настроенному градиентному бустингу.

• Предсказание мажоритарного класса или среднего задаёт нижнюю границу, а логистическая или линейная регрессия показывает, объясняет ли простая структура основную часть сигнала.
• Бустинг становится главным кандидатом на качество, поскольку хорошо работает с разными масштабами, нелинейными порогами, взаимодействиями и пропусками на умеренных объёмах данных.
• Для малых данных или строгой интерпретируемости я выбираю линейные модели, для текста, изображений и последовательностей нейросети, а сложность обязана честно обойти базлайн.