Вопросы на собеседовании: Data Scientist

Среднее, медиана и мода по-разному описывают центр набора данных.

• Среднее является арифметическим средним и лучше всего подходит для примерно симметричных данных.
• Медиана является серединным значением отсортированного ряда и устойчива к выбросам и скосу в данных вроде доходов или длительности сессий.
• Мода является самым частым значением и подходит для категориальных данных, например типа устройства.
• Совместное использование среднего и медианы помогает выявить скос, поскольку большой разрыв предупреждает, что одно из этих чисел может ввести в заблуждение.

Дисперсия и стандартное отклонение измеряют разброс значений вокруг среднего.

• Дисперсия является средним квадратом отклонения от среднего.
• Стандартное отклонение является корнем из дисперсии и выражается в исходных единицах, например в долларах, а не долларах в квадрате.
• Товары с одинаковыми средними продажами, но разными стандартными отклонениями требуют разного планирования, поскольку для более волатильного нужен больший страховой запас и более точный прогноз.

Перцентили и межквартильный размах описывают положение и разброс данных без опоры на одно среднее.

• P-й перцентиль является значением, ниже которого лежит p процентов наблюдений, поэтому задержка в две секунды на 95-м перцентиле означает, что 95 процентов запросов выполняются быстрее.
• Квартили являются 25-м, 50-м и 75-м перцентилями.
• Межквартильный размах является расстоянием от 25-го до 75-го перцентиля и измеряет разброс без учёта крайних хвостов.
• Перцентили лучше общего среднего показывают, с чем сталкиваются конкретные группы пользователей.

Распределение считается скошенным, когда один его хвост намного длиннее другого.

• Правый скос часто встречается в данных о деньгах и длительности.
• Длинный хвост тянет среднее к себе, а медиана остаётся устойчивее, поэтому при сильном правом скосе среднее может быть намного выше типичного наблюдения.
• Перед выбором сводной статистики или передачей сырой переменной в модель, предполагающую симметрию, нужно проверить форму распределения по гистограмме.

Нормальное распределение имеет симметричную колоколообразную форму с центром в среднем значении.

• Около 68 процентов значений лежат в пределах одного стандартного отклонения от среднего, а около 95 процентов лежат в пределах двух.
• Оно часто встречается потому, что суммы и средние множества малых независимых эффектов стремятся к нормальности согласно центральной предельной теореме.
• Ошибки измерений служат классическим примером этой закономерности.
• Бизнес-метрики вроде выручки и задержек часто сильно скошены, поэтому нормальность нужно проверять, а не предполагать.

Центральная предельная теорема говорит, что с ростом выборки распределение выборочных средних стремится к нормальному независимо от формы исходного распределения.

• Благодаря этому можно строить доверительные интервалы и тесты для средних, даже когда исходные данные скошены.
• Приближение становится полезным только при достаточном числе наблюдений.
• Малые выборки и тяжёлые хвосты могут сделать его ненадёжным, поэтому у теоремы есть условия применимости.

Генеральная совокупность является всей интересующей группой, а выборка является фактически наблюдаемым подмножеством.

• Хорошая выборка репрезентативна, то есть каждая значимая часть совокупности имеет равный шанс попасть в неё.
• Рандомизация помогает обеспечить такой шанс.
• Больший размер повышает точность, но репрезентативность важнее, поскольку смещённая выборка из миллиона наблюдений может очень точно ответить не на тот вопрос.

Смещение выборки возникает, когда наблюдаемые данные систематически исключают значимые части совокупности.

• Смещение самоотбора появляется, когда в данные опроса входят только пользователи, решившие ответить.
• Ошибка выжившего появляется, когда модель оттока видит только клиентов, которые оставались достаточно долго для накопления истории, и упускает быстро ушедших.
• Обобщение наблюдений за будни на выходные смешивает разные группы.
• Смещённые данные могут выглядеть совершенно чистыми, поэтому до анализа нужно выяснить, как они появились и кого в них нет.

Корреляция показывает, что две переменные меняются вместе, а причинность означает, что изменение одной действительно меняет другую.

• Продажи мороженого коррелируют с утоплениями, потому что лето влияет на оба показателя.
• Пользователи функции могут удерживаться лучше потому, что вовлечённые люди и чаще пользуются функциями, и дольше остаются, а не из-за влияния самой функции.
• Наблюдательные данные подтверждают корреляционные выводы, а причинные выводы требуют экспериментов вроде A/B-тестов или аккуратных каузальных методов.
• Путаница между корреляцией и причинностью может привести к дорогим ошибочным решениям.

Коэффициент корреляции Пирсона измеряет направление и силу линейной связи в диапазоне от минус единицы до единицы.

• Знак показывает направление, модуль показывает силу, а ноль означает отсутствие линейной связи.
• Коэффициент не видит нелинейные закономерности, поэтому даже идеальная U-образная зависимость может дать значение около нуля.
• Он чувствителен к выбросам, поскольку одна экстремальная точка может создать или уничтожить видимую корреляцию.
• Всегда нужно смотреть на диаграмму рассеяния, потому что одинаковые коэффициенты могут скрывать совершенно разные связи.

Парадокс Симпсона возникает, когда тренд во всех подгруппах меняется на противоположный после их объединения.

• Разные размеры групп работают как скрытые веса в общем результате.
• Например, каждый факультет может принимать женщин чаще, хотя общая доля выглядит ниже, если женщины чаще подавали документы на более конкурентные факультеты.
• Перед доверием к агрегированному показателю нужно проверять важные выводы по значимым сегментам, поскольку изменения состава групп могут искажать дашборды.

Независимые события не меняют вероятности друг друга, а условная вероятность учитывает уже известную информацию.

• Для независимых событий совместная вероятность равна произведению их отдельных вероятностей.
• Условная вероятность P(A при B) является вероятностью A после того, как стало известно о наступлении B.
• Зависимость означает, что P(A при B) отличается от P(A).
• В data science часто задают условные вопросы, например о вероятности оттока при условии, что пользователь перестал открывать приложение.

Теорема Байеса обновляет исходную оценку с учётом новых данных и распространённости целевого события.

• Вероятность болезни после положительного теста зависит и от точности теста, и от распространённости болезни.
• Тест с точностью 99 процентов для болезни, встречающейся у одного человека из тысячи, даёт примерно десять ложных тревог на один настоящий случай из-за огромного числа здоровых людей.
• Та же логика действует в обнаружении мошенничества и фильтрации спама, поэтому при редкой цели даже хороший классификатор может выдавать много ложных срабатываний.

P-value показывает, насколько неожиданным был бы наблюдаемый результат при верной нулевой гипотезе.

• Формально это вероятность получить данные не менее экстремальные, чем наблюдаемые, при нулевой гипотезе.
• Это не вероятность истинности нулевой гипотезы и не вероятность практической важности результата.
• Маленький p-value может сопровождать крошечный эффект, который статистически значим, но практически бесполезен.
• Вместе с p-value нужно сообщать размер эффекта, чтобы показать его практическую важность.

Проверка гипотез сравнивает наблюдаемые данные с предсказанием нулевой гипотезы по заранее выбранному порогу.

• До просмотра результатов нужно задать нулевую гипотезу, обычно об отсутствии эффекта или различия, альтернативную гипотезу и уровень значимости, например 0.05.
• Затем нужно вычислить p-value и отвергнуть нулевую гипотезу в пользу альтернативной, если значение ниже порога.
• Порог 0.05 допускает примерно одну ложную тревогу на двадцать тестов на чистом шуме.
• Поэтому множество тестов без поправки приводит к ложным открытиям.

95-процентный доверительный интервал выражает точность оценки через процедуру повторных выборок.

• При многократном повторении выборки интервалы, построенные таким способом, содержали бы истинное значение совокупности в 95 процентах случаев.
• Оценка конверсии 5.2 процента плюс-минус 0.3 намного точнее той же оценки плюс-минус 3.
• Большие выборки и меньшая дисперсия дают более узкие интервалы.
• Если решение меняется в пределах интервала, данные пока не дают для него надёжного основания.

Надёжный A/B-тест следует плану, заданному до запуска, и сохраняет случайное распределение.

• Случайное распределение должно обеспечить различие групп только по воздействию.
• Размер выборки и длительность нужно заранее зафиксировать расчётом мощности, а не останавливать тест при появлении красивого результата.
• До запуска нужно объявить одну основную метрику, а не искать эффект среди множества показателей.
• Подглядывание, ранняя остановка, неслучайное разделение и перебор двадцати метрик увеличивают число ложных срабатываний или ломают сравнение.

Выбросы нужно находить системно и обрабатывать в зависимости от их причины.

• Для поиска необычных наблюдений используют box plot, гистограммы, правило 1.5 IQR или экстремальные z-оценки.
• Ошибки данных нужно исправлять или удалять, а настоящие крайности вроде очень крупного клиента следует сохранять.
• Корректные экстремальные значения при необходимости обрабатывают устойчивыми статистиками, винзоризацией или отдельной отчётностью.
• Нельзя молча удалять точки, которые портят желаемую картину, поскольку выбросы могут оказаться главным результатом.

Распределение вероятностей описывает возможные значения случайной величины и их вероятности.

• Дискретные распределения охватывают счётные исходы вроде покупок, кликов или дефектов и задают вероятность точных значений.
• Непрерывные распределения охватывают измерения вроде времени или веса, где вероятность относится к интервалам и описывается плотностью.
• Это различие определяет подходящие графики, сводные статистики и модели для переменной.

Распространённые распределения вероятностей соответствуют разным процессам возникновения данных.

• Биномиальное распределение моделирует число успехов в фиксированном числе испытаний, например конверсии среди тысячи посетителей.
• Распределение Пуассона моделирует число событий за интервал, например обращений в поддержку за час, и подходит для редких событий.
• Экспоненциальное распределение моделирует время ожидания между событиями, например время до следующего отказа.
• Нормальное распределение моделирует суммы и средние множества малых эффектов или шум измерений, но его применение к деньгам с тяжёлыми хвостами даёт систематически неверные выводы.