Вопросы на собеседовании: AI ресерч-инженер

Хороший исследовательский вопрос называет воздействие, измеряемый результат и условия сравнения.

• Здесь воздействие состоит в добавлении заданного количества синтетических данных определённого типа.
• Результатом может быть macro-F1 на фиксированном нетронутом test split, а не расплывчатое улучшение качества.
• В условиях нужно зафиксировать модель, реальные training data, compute-бюджет и протокол оценки, чтобы на вопрос можно было ответить.

Я бы заранее сформулировал направленное и измеримое предсказание.

• Например, AdamW достигнет validation loss ниже 0,40 за меньшее число шагов, чем SGD, при одинаковых данных и compute-бюджете.
• Оптимизатор выступает изменяемым фактором, а порог и число шагов делают результат наблюдаемым.
• Утверждение можно опровергнуть, потому что AdamW может не достичь порога первым или не достичь его вообще.

Нулевая гипотеза утверждает, что новый вариант не оказывает реального влияния на выбранный результат относительно стандартного attention.

• Если результатом служит validation loss, нулевая гипотеза может утверждать, что средняя разница loss по нескольким seed равна нулю.
• Небольшая наблюдаемая разница всё ещё может объясняться случайной вариативностью в рамках этой гипотезы.
• Альтернативная гипотеза задаёт ожидаемый ненулевой или направленный эффект, который должен подтвердить эксперимент.

Утверждение представляет вывод, который авторы предлагают принять, а доказательства состоят из измерений в его поддержку.

• Прирост accuracy на два пункта становится доказательством только после указания split датасета, метрики, baseline и протокола оценки.
• Утверждение может быть узким, например улучшение на одном benchmark, или более широким, например лучшая генерализация между задачами.
• При внимательном чтении нужно проверить, поддерживают ли таблицы, неопределённость и ablation заявленную широту вывода.

При воспроизведении обычно повторяют результат с исходным методом и артефактами, а при репликации проверяют утверждение в независимой постановке.

• Для воспроизведения можно запустить авторский код на том же датасете и сравнить заявленную метрику.
• Для репликации можно взять новую реализацию, новую выборку или другой benchmark, проверяющий ту же гипотезу.
• Термины различаются между областями, поэтому в отчёте нужно точно указать, какой код, данные и протокол были переиспользованы.

Baseline задаёт реалистичный ориентир, который нужно превзойти, а oracle оценивает верхнюю границу с информацией, недоступной реальному методу.

• Предиктор мажоритарного класса или стандартная опубликованная модель могут служить baseline.
• Oracle может выбирать правильного кандидата по ground-truth labels, поэтому он полезен для анализа, но не является допустимым рабочим методом.
• Если предложение едва обходит baseline и сильно отстаёт от oracle, эти ориентиры показывают и прирост, и оставшийся потенциал.

В контролируемом эксперименте меняют исследуемый метод, сохраняя остальные влиятельные условия неизменными.

• Оба прогона должны использовать одинаковые размер модели, data split, training-бюджет и код оценки.
• Контролем может быть принятый training recipe, а в экспериментальном условии меняется только предложенный метод.
• Повторение обоих условий на совпадающем наборе seed помогает отделить эффект метода от случайности обучения.

Learning rate является независимой переменной, а validation loss является зависимой переменной.

• Исследователь намеренно задаёт для независимой переменной значения вроде 0,001, 0,0003 и 0,0001.
• Validation loss наблюдают после обучения, и он может изменяться в ответ на эти настройки.
• Архитектуру модели, split, batch size и число шагов нужно контролировать, а не превращать в дополнительные независимые переменные.

Смешивающий фактор меняется вместе с исследуемым воздействием и тоже может объяснить измеренную разницу.

• Если модель A обучают 10 000 шагов, а модель B 20 000, training-бюджет смешивается с влиянием архитектуры.
• Тогда более высокую accuracy модели B нельзя приписать только её архитектуре.
• Одинаковый бюджет по шагам или compute устраняет это альтернативное объяснение из сравнения.

Несколько seed показывают, сохраняется ли результат при обычной случайности процесса обучения.

• Seed может влиять на инициализацию параметров, порядок данных, dropout masks и сэмплированные ответы.
• Публикация только лучшего из пяти seed даёт оптимистичное и смещённое представление о методе.
• Среднее и разброс на одном наборе seed для обоих методов делают сравнение убедительнее.

Разброс показывает, что измеренная accuracy частично зависит от стохастики обучения, а не только от recipe.

• Среднее равно 80%, но отдельные прогоны отличаются от него на величину до двух процентных пунктов.
• Одного результата 81% для нового метода недостаточно на фоне такой межпрогонной вариативности.
• Большее число повторных прогонов точнее оценивает типичный результат и его неопределённость.

95-процентный доверительный интервал описывает точность оценки при допущениях использованного метода расчёта.

• Узкий интервал означает, что повторные измерения точнее оценивают среднее, чем при широком интервале.
• Сильно пересекающиеся интервалы могут предупреждать о неопределённости видимой разницы средних, хотя само пересечение не является формальным тестом.
• В частотной интерпретации 95% относится к долгосрочному покрытию процедуры, а не к 95-процентной вероятности нахождения среднего в этом фиксированном интервале.

Размер эффекта показывает величину разницы, а статистическая значимость показывает совместимость данных с нулевой моделью.

• При достаточно большой выборке прирост accuracy на 0,05 пункта может быть статистически значимым, но не иметь научной ценности.
• Абсолютная разница метрики или стандартизированная мера вроде Cohen's d делает величину эффекта явной.
• Полезность результата оценивают вместе по величине, неопределённости и цене или значимости полученного прироста.

При множестве сравнений растёт вероятность случайно найти результат, который выглядит значимым.

• При пороге 0,05 каждое сравнение с верной нулевой гипотезой имеет 5-процентный риск ложноположительного результата в рамках своих допущений.
• Выбор наименьшего p-value после просмотра всех 20 результатов скрывает масштаб проведённого поиска.
• Предварительная фиксация главного сравнения или поправка вроде Bonferroni делает доказательства честнее.

Loss mask упакованного causal-LM batch должна учитывать реальные next-token targets и исключать padding и искусственные переходы между независимыми документами.

• После causal shift валидные целевые токены участвуют в loss, а игнорируемые позиции labels получают значение вроде -100.
• Если документ B идёт сразу после A, можно оставить целевой EOS, но первый токен B нужно замаскировать, если переход A-to-B не входит в objective.
• Loss mask не запрещает B обращать attention к A, поэтому независимым документам также нужна segment-aware или block-diagonal causal attention mask.

Нормализация по sequences даёт одинаковый вес каждой последовательности, а нормализация по nonpadding tokens даёт одинаковый вес каждому валидному target token.

• При token normalization последовательность с 400 targets вносит до усреднения в четыре раза больший вклад, чем последовательность со 100 targets.
• При sequence normalization сначала считается средний loss по валидным токенам каждой последовательности, поэтому короткие и длинные примеры одинаково влияют на batch.
• Padding и ignored labels не должны входить ни в числитель, ни в знаменатель, а выбранное правило должно совпадать во всех сравниваемых runs.

KL divergence измеряет дополнительную стоимость в log-probability при представлении выборок из одного распределения другим.

• KL(P || Q) взвешивает log отношения P к Q вероятностями из P.
• Она равна нулю при совпадении распределений, но асимметрична, поэтому KL(P || Q) обычно не равна KL(Q || P).
• В distillation с её помощью можно учить распределение student совпадать с вероятностями teacher, а не только с жёсткими labels.

Logits являются неограниченными исходными оценками, а softmax преобразует их в неотрицательные вероятности с суммой один.

• Logits 2, 1 и 0 задают предпочтение классов, но сами не являются вероятностями.
• Softmax экспоненцирует относительные оценки и нормализует их, поэтому добавление одной константы ко всем logits не меняет вероятности.
• Реализации cross-entropy обычно принимают logits напрямую, потому что объединённое вычисление численно устойчивее.

Grad=None означает, что autograd не нашёл дифференцируемого пути от total loss к этому параметру.

• Я проверю, что в backward передаётся total_loss = main_loss + aux_weight * aux_loss, потому что одно логирование aux_loss не подключает его к graph.
• Я проверю parameter.requires_grad, detach, item, переход в NumPy, no_grad и условия, пропускающие auxiliary head, а затем проверю, что aux_loss.requires_grad имеет значение true.
• torch.autograd.grad с allow_unused=True на маленьком batch поможет найти неиспользуемые параметры; наличие параметра в optimizer влияет на update, но не на вычисление gradient.

PyTree градиентов должно иметь те же paths и совместимые leaves, что и PyTree параметров, а зависящая от параметров часть optimizer state должна отслеживать те же leaves.

• Dict keys, вложенность tuple или list и leaves определяют treedef, поэтому добавление или переименование параметра меняет структуру, ожидаемую при updates.
• Внешняя структура optimizer state может отличаться, но subtrees для momentum или variance должны совпадать с paths и shapes отслеживаемых параметров.
• После изменения архитектуры я сравню tree structures и списки path-shape, затем заново создам optimizer state и masks из точного PyTree параметров.