Вопросы на собеседовании: ML-инженер

Разница в том, содержит ли обучающая выборка известные целевые метки.

• Обучение с учителем сопоставляет входные данные с заданными целями.
• Обучение без учителя ищет структуру в неразмеченных данных.
• Классификация и регрессия относятся к обучению с учителем, а кластеризация к обучению без учителя.

Классификация предсказывает категории, а регрессия числовые значения.

• Определение спама является задачей классификации.
• Предсказание цены дома является задачей регрессии.
• Обе задачи относятся к обучению с учителем, если примеры содержат целевые значения.

Признаки являются входными данными модели, а целевая переменная тем, что модель учится предсказывать.

• Признаками могут быть измерения, категории или вычисленные значения.
• Целевая переменная доступна во время обучения с учителем.
• Качество признаков сильно влияет на закономерности, которые сможет изучить модель.

Три выборки разделяют обучение модели, выбор настроек и итоговую оценку.

• На обучающей выборке модель подбирает параметры.
• Валидационная выборка нужна для настройки гиперпараметров и сравнения моделей.
• Тестовая выборка оценивает качество на новых данных после фиксации всех решений.

При переобучении модель слишком точно запоминает обучающие данные, а при недообучении не улавливает полезные закономерности.

• Переобученная модель хорошо работает на обучающих данных, но плохо на новых.
• Недообученная модель плохо работает и на обучающих, и на новых данных.
• На обе проблемы влияют сложность модели, регуляризация и объем данных.

Компромисс между смещением и разбросом балансирует ошибки слишком простых и слишком чувствительных к обучающим данным моделей.

• Высокое смещение часто приводит к недообучению.
• Высокий разброс часто приводит к переобучению.
• Для хорошего обобщения нужен подходящий баланс между ними.

L1 и L2 по-разному штрафуют веса модели.

• L1 добавляет штраф на основе абсолютных значений весов.
• L2 добавляет штраф на основе квадратов весов.
• L1 может обнулить веса, а L2 обычно плавно уменьшает их.

Параметры изучаются по данным, а гиперпараметры выбираются при настройке процесса обучения.

• Коэффициенты линейной регрессии являются параметрами модели.
• Скорость обучения и глубина дерева являются гиперпараметрами.
• Гиперпараметры обычно выбирают по результатам валидации.

Функция потерь измеряет отклонение предсказаний модели от желаемых результатов.

• Обучение стремится минимизировать потери.
• Для разных задач нужны разные функции потерь.
• Функция потерь дает алгоритму оптимизации числовую цель.

Среднеквадратичная ошибка является средним квадратом разности между предсказаниями и истинными значениями.

• Она часто используется в задачах регрессии.
• Возведение в квадрат делает каждый вклад неотрицательным.
• Крупные ошибки получают больший штраф, чем небольшие.

Кросс-энтропия измеряет, насколько предсказанные вероятности классов соответствуют истинным классам.

• Она часто используется в задачах классификации.
• Уверенные ошибочные предсказания получают большой штраф.
• Меньшая кросс-энтропия означает более точные вероятности для истинных меток.

Градиентный спуск многократно обновляет параметры модели в направлении уменьшения функции потерь.

• Градиент показывает, как каждый параметр влияет на потери.
• Параметры изменяются в направлении, противоположном градиенту.
• Повторные обновления могут приблизить модель к локальному минимуму.

Скорость обучения задает размер каждого обновления параметров при оптимизации.

• Слишком маленькое значение может замедлить обучение.
• Слишком большое значение может перескакивать через хорошие значения параметров.
• Подходящая скорость помогает обучению стабильно сходиться.

Они отличаются числом обучающих примеров, используемых для одного обновления параметров.

• Пакетный градиентный спуск использует всю обучающую выборку.
• Стохастический градиентный спуск использует по одному примеру.
• Мини-пакетный градиентный спуск использует небольшую группу и часто применяется на практике.

Масштабирование приводит числовые признаки к сопоставимым диапазонам.

• Оно не дает признакам с крупными значениями доминировать в расчете расстояний.
• Оно может ускорить сходимость градиентной оптимизации.
• Деревьям масштабирование обычно нужно меньше, чем k ближайших соседей или линейным моделям.

Стандартизация преобразует значения с учетом среднего и разброса, а нормализация обычно отображает их в фиксированный диапазон.

• Стандартизация обычно дает среднее ноль и стандартное отклонение один.
• Min-max нормализация обычно отображает значения в диапазон от нуля до единицы.
• Оба преобразования нужно настраивать только на обучающих данных.

Пропущенные значения можно удалить, заполнить или представить отдельным признаком.

• Удаляйте строки или столбцы, только если потеря данных приемлема.
• Заполняйте пропуски статистиками, например медианой, или оценками модели.
• Добавляйте индикатор пропуска, если само отсутствие значения может быть информативным.

Категориальные переменные преобразуют в числовое представление, которое может обработать модель.

• One-hot кодирование создает отдельный бинарный столбец для каждой категории.
• Порядковое кодирование назначает упорядоченные числовые значения.
• Кодировщик должен изучать категории только по обучающим данным.

Порядковое кодирование подходит категориям с осмысленным порядком, а one-hot кодирование неупорядоченным категориям.

• Размеры малый, средний и большой имеют естественный порядок.
• Цвета обычно не имеют естественного порядка.
• Произвольные числовые коды могут создать ложные связи между категориями.

Выбросы являются наблюдениями, которые заметно отличаются от большинства данных.

• Они могут быть корректными редкими случаями или ошибками в данных.
• Они могут сильно влиять на средние значения, MSE и некоторые модели.
• Перед удалением или преобразованием нужно выяснить их причину.