Вопросы на собеседовании: ML-инженер

Для квадратичной ошибки ожидаемую ошибку предсказания можно представить как сумму квадрата смещения, разброса и неустранимого шума.

• Смещение измеряет систематическую ошибку из-за слишком жестких предположений, например при линейной модели для сильно нелинейной зависимости.
• Разброс показывает, насколько изменилась бы обученная модель на другой выборке из той же генеральной совокупности.
• Увеличение гибкости модели часто снижает смещение, но повышает разброс, поэтому баланс выбирают по результатам валидации.
• Неустранимый шум возникает из-за случайности или недостающей информации, и его нельзя убрать усложнением модели.

Эмпирический риск является средней ошибкой на наблюдаемых примерах, а ожидаемый риск средней ошибкой на неизвестном распределении данных.

• Обучение напрямую минимизирует эмпирический риск, потому что истинное распределение генеральной совокупности недоступно.
• Гибкая модель может снизить эмпирический риск, не снижая ожидаемый, если она подстраивается под шум конкретной выборки.
• Валидационные данные оценивают ожидаемый риск на новых наблюдениях из похожих условий.
• Регуляризация и ограничение емкости сужают множество решений при минимизации эмпирического риска.

L1 и L2 добавляют к ошибке на данных разные штрафы за веса и тем самым меняют предпочтительные для оптимизатора решения.

• L1 добавляет сумму абсолютных значений коэффициентов и имеет излом в нуле, поэтому некоторые коэффициенты могут стать строго нулевыми.
• L2 добавляет сумму квадратов коэффициентов и плавно уменьшает крупные веса, обычно не обнуляя их.
• Сила регуляризации задает компромисс между качеством подгонки и сложностью, поэтому ее выбирают по валидации.
• Признаки обычно сначала масштабируют, поскольку штраф напрямую зависит от величины коэффициентов.

Elastic net объединяет разреженность L1 со стабильностью L2 и полезен при большом числе коррелирующих признаков.

• Чистая L1 может непредсказуемо выбрать один признак из коррелирующей группы и отбросить остальные.
• Компонент L2 побуждает коррелирующие признаки более плавно входить в модель или выходить из нее группой.
• Компонент L1 по-прежнему может удалить слабые признаки и сделать модель компактной.
• Общую силу штрафа и соотношение L1 к L2 нужно настраивать по валидации.

Ранняя остановка ограничивает эффективную емкость модели, завершая оптимизацию до подгонки под шум обучающих данных.

• Ошибка обучения может продолжать снижаться после начала роста валидационной ошибки, что указывает на ухудшение обобщения.
• Лучшую контрольную точку выбирают по валидационной метрике с периодом ожидания, чтобы не реагировать на случайные колебания.
• Метод особенно распространен в бустинге и нейронных сетях, емкость которых растет с числом итераций.
• Валидационная выборка для остановки участвует в выборе модели и не должна одновременно быть итоговой тестовой выборкой.

Dropout случайно обнуляет активации при обучении, чтобы сеть не зависела слишком сильно от отдельных путей.

• На каждом шаге обучения выбирается новая прореженная сеть, что мешает нейронам формировать хрупкие совместные зависимости.
• При инференсе используются все нейроны, а масштабирование сохраняет согласованные ожидаемые величины активаций.
• Более высокая доля dropout усиливает регуляризацию, но может вызвать недообучение при потере слишком большого объема сигнала.
• Dropout не всегда полезен в архитектурах с сильной нормализацией, аугментацией данных или очень большими датасетами.

Batch normalization стандартизует промежуточные активации по статистикам батча, а затем обучает масштаб и сдвиг.

• Она может упростить оптимизацию и позволить большую скорость обучения, поддерживая более удобный масштаб активаций.
• При обучении используются статистики мини-батча, а при инференсе накопленные скользящие статистики.
• Очень маленькие или нерепрезентативные батчи дают шумные оценки и снижают эффективность метода.
• Случайность статистик батча может немного регуляризовать модель, но нормализация прежде всего помогает оптимизации.

Калиброванный классификатор выдает вероятности, соответствующие наблюдаемой частоте исходов.

• Среди предсказаний около 0,8 при хорошей калибровке примерно 80 процентов объектов должны быть положительными.
• ROC-AUC может быть высоким даже при плохо откалиброванных вероятностях.
• Диаграммы надежности и Brier score помогают оценить калибровку в разных диапазонах вероятностей.
• Platt scaling или изотоническая регрессия могут откалибровать оценки на отложенных данных.

Порог классификации должен учитывать стоимость ошибок, долю классов и прикладную цель, а не автоматически равняться 0,5.

• Снижение порога обычно повышает recall, но увеличивает число ложноположительных ответов.
• Повышение порога обычно улучшает precision, но пропускает больше истинно положительных объектов.
• Порог выбирают на валидационных данных по метрике или функции стоимости, связанной с целевым решением.
• Калибровка вероятностей важна, когда порог представляет конкретный уровень риска или ожидаемой ценности.

Обе метрики являются строго правильными функциями оценки вероятностей, но по-разному штрафуют ошибки.

• Log loss использует отрицательный логарифм вероятности истинного класса и сильно штрафует уверенные ошибочные предсказания.
• Brier score является средней квадратичной ошибкой между предсказанными вероятностями и бинарными исходами.
• Обе метрики учитывают информацию, которую теряет accuracy при преобразовании вероятностей в жесткие метки.
• Результаты следует сравнивать с базовым прогнозом по доле классов и интерпретировать с учетом их баланса.

Precision-recall кривая часто информативнее при редком положительном классе, когда основное внимание уделяется качеству положительных ответов.

• В ROC используется false positive rate, в знаменателе которого много отрицательных объектов, поэтому при сильном дисбалансе качество может выглядеть завышенным.
• Precision напрямую показывает долю верных положительных предсказаний и тем самым раскрывает нагрузку от ложных срабатываний.
• Recall показывает, какая доля положительного класса найдена при изменении порога.
• PR-AUC зависит от доли положительного класса, поэтому сравниваемые датасеты должны иметь сопоставимые распределения классов.

Macro-, micro- и weighted-усреднение объединяют результаты по классам с разными приоритетами.

• Macro-усреднение дает каждому классу одинаковый вес, поэтому редкие классы влияют на результат наравне с частыми.
• Micro-усреднение сначала объединяет все решения и тем самым сильнее учитывает частые классы.
• Weighted-усреднение взвешивает метрику каждого класса по числу объектов и может скрыть слабое качество редких классов.
• Выбор зависит от того, должны ли результат определять классы, отдельные объекты или наблюдаемая доля классов.

Число блоков и зависимость между разбиениями во многом определяют смещение, разброс и стоимость оценки кросс-валидации.

• Большее число блоков обучает модель на большей доле данных, снижая пессимистичное смещение, но увеличивая вычисления.
• Оценки блоков коррелируют из-за пересечения обучающих выборок, поэтому их стандартное отклонение не является простым доверительным интервалом.
• Повторная кросс-валидация показывает чувствительность к случайному разбиению, но не исправляет неверную стратегию разделения.
• Учет групп, времени или стратификации важнее выбора привычного значения k.

Вложенная кросс-валидация отделяет подбор гиперпараметров от оценки качества при ограниченном объеме данных.

• Внутренний цикл настраивает гиперпараметры только на обучающей части внешнего цикла.
• Внешний цикл оценивает всю процедуру выбора на данных, которых не касался внутренний цикл.
• Лучший результат внутреннего цикла оптимистично смещен, потому что сравнивалось много конфигураций.
• Вложенная схема требует намного больше вычислений, но дает более чистую оценку перед итоговым переобучением.

Групповая кросс-валидация нужна, когда наблюдения одной сущности зависимы и должны оставаться в одном блоке.

• Строки одного пользователя, пациента, устройства или источника документов могут содержать общие паттерны, которые модель способна запомнить.
• Случайное разделение строк переносит эти паттерны сущности одновременно в обучение и валидацию.
• GroupKFold целиком оставляет каждую группу на одной стороне разбиения и по очереди откладывает разные группы.
• Стратифицированные групповые методы нужны, когда одновременно важны изоляция групп и баланс классов.

Walk-forward валидация сохраняет временной порядок, обучаясь на прошлом и оцениваясь на более позднем интервале.

• Расширяющееся окно сохраняет все ранние наблюдения, а скользящее окно только фиксированный объем недавней истории.
• Несколько точек разделения показывают изменение качества в разных рыночных, сезонных или поведенческих периодах.
• Каждый признак, целевая переменная и статистика предобработки должны быть доступны на момент исторического предсказания.
• Случайные блоки неприемлемы, если будущие наблюдения раскрывают информацию о более ранних.

Предобработка создает утечку, если преобразование обучается на валидационных строках до их оценки.

• Масштабирование по всему датасету раскрывает обучению средние и дисперсии валидационной части.
• Заполнение пропусков, отбор признаков, PCA и target encoding могут дать такую же утечку.
• Каждое преобразование обучают внутри обучающей части блока и только применяют к его валидационной части.
• Pipeline в scikit-learn обеспечивает этот порядок при передаче в кросс-валидацию или поиск гиперпараметров.

MCAR, MAR и MNAR описывают, от чего зависит вероятность отсутствия значения.

• MCAR означает независимость пропуска от наблюдаемых и ненаблюдаемых значений, что является сильным и редким предположением.
• MAR означает, что пропуск можно объяснить другими наблюдаемыми переменными, поэтому условное заполнение лучше обосновано.
• MNAR означает зависимость пропуска от самого отсутствующего значения или другой ненаблюдаемой причины.
• Ни один метод заполнения не может полностью устранить MNAR только по наблюдаемой таблице без допущений или дополнительных данных.

Target encoding заменяет категорию статистикой целевой переменной, давая компактный сигнал, но создавая серьезный риск утечки.

• Оценки редких категорий нестабильны, поэтому сглаживание к глобальному среднему снижает разброс.
• Для обучающих строк нужны out-of-fold или leave-one-out значения, чтобы собственная цель строки не определяла ее признак.
• Для неизвестных категорий нужен запасной вариант, например глобальное среднее или обученный априорный уровень.
• Кодирование нужно пересчитывать внутри каждого валидационного разбиения и с учетом времени для временных данных.

Признаки взаимодействий и полиномиальные признаки позволяют простой модели представлять зависимости сложнее независимых линейных эффектов.

• Взаимодействие позволяет эффекту одного признака зависеть от значения другого.
• Полиномиальные члены приближают криволинейные зависимости, сохраняя линейный оценщик в расширенном пространстве признаков.
• Расширение быстро увеличивает размерность, мультиколлинеарность, разброс и вычислительную стоимость.
• Масштабирование, регуляризация и отбор на основе предметной области удерживают представление управляемым.