Вопросы на собеседовании: AI ресерч-инженер

Я превращу идею в опровержимое утверждение с заранее заданными сравнением, метрикой и правилом решения.

• Я укажу изменение и механизм, например масштабирование RoPE улучшит поиск на 32K, потому что относительные фазы останутся полезными за пределами обучающей длины 8K.
• Я зафиксирую baseline, снимок данных, бюджет токенов, три seed, основную метрику и метрики срезов в карточке эксперимента.
• Я задам порог, например не менее +1,0 пункта accuracy с 95% доверительным интервалом выше нуля, вместо принятия любой положительной дельты.
• Позднейшие анализы я помечу как exploratory и потребую отдельный подтверждающий прогон, прежде чем считать их доказательством.

Я проведу эксперимент 2 на 2, чтобы отдельно оценить основные эффекты и взаимодействие, а не сравнивать каждое изменение только с baseline.

• Четыре ячейки содержат отсутствие изменений, только A, только B и A плюс B при одинаковых порядке данных, токенах, политике инициализации и оценке.
• При трех seed на ячейку я оценю A, B и взаимодействие A:B, а не сложу две независимо измеренные дельты.
• Положительное взаимодействие означает, что общий выигрыш больше суммы основных эффектов, а отрицательное может показать, что оба изменения решают одно узкое место.
• Если compute позволяет только восемь прогонов, я сокращу вторичные оценки, прежде чем убирать ячейки, потому что пропуск ячейки ломает факторное сравнение.

Я рассчитаю бюджет по минимально обнаружимому эффекту и наблюдаемой дисперсии, а не выберу произвольное число прогонов.

• По пилоту я оценю дисперсию по примерам или seed, задам alpha 0,05 и мощность 80%, затем рассчитаю нужное число примеров и seed.
• Оценка обеих моделей на одних примерах часто снижает дисперсию, поэтому 3 000 парных примеров могут дать больше информации, чем 6 000 независимых.
• Около 10% compute я оставлю на неудачные старты и одно нетронутое подтверждение, не включая этот резерв в основной анализ.
• Если нужный бюджет недоступен, я повышу порог обнаружимого эффекта или сужу гипотезу, а не молча запущу тест с низкой мощностью.

Парный тест убирает вариацию сложности заданий, сравнивая обе модели на одних независимых eval-items.

• Пару задаёт item ID: я сохраню оба результата для каждого задания и проанализирую внутрипарную дельту вместо двух независимых агрегированных средних.
• Для бинарной корректности тест Мак-Немара использует пары с разными исходами, а для непрерывных scores парный permutation test или bootstrap сохраняет ковариацию заданий.
• Один и тот же целочисленный seed декодирования не создаёт парность, потому что разные распределения токенов по-разному отображают один random stream в samples.
• Для стохастической генерации я возьму повторные samples на каждое задание или явно обоснованное coupling общих случайных чисел, затем учту неопределённость по заданиям и samples.

Я применю двухуровневый анализ, отражающий неопределённость независимых training runs и выбранных eval-items.

• Я построю перекрёстный дизайн, где каждый блок seed для baseline и candidate оценивается на одном наборе заданий, сохраняя парность методов там, где её поддерживает политика seed.
• Двухуровневый bootstrap независимо пересэмплирует пары seed и item IDs, а затем на каждой реплике заново считает общую дельту методов.
• Альтернативой служит crossed random-effects model, но объявление каждой строки seed-item независимой создаст псевдорепликацию и слишком узкий интервал.
• Я покажу интервал вместе с компонентами variance по seed и items и добавлю прогоны, если межпрогонная неопределённость оценена слишком слабо для решения.

Я определю семейство гипотез до просмотра результатов и внесу поправку внутри него, а не буду выделять минимальный исходный p-value.

• Поправка Холма подходит для небольшого набора подтверждающих выводов, потому что контролирует семейную вероятность ошибки и менее консервативна, чем Bonferroni.
• Метод Бенджамини-Хохберга подходит широкому поисковому sweep, где допустим контролируемый false discovery rate, например 5%.
• Я назначу один основной benchmark и метрику, а остальные пять оставлю вторичными доказательствами вместо умножения числа равноправных главных выводов.
• В отчете будут исходные и скорректированные p-value, размеры эффектов и доверительные интервалы, чтобы поправка не заменяла оценку величины результата.

Я сформулирую сравнение качества как заранее заданный non-inferiority test с границей 0,3 пункта.

• Я определю delta как candidate минус baseline, проверю фактический расход 75% заявленных полных FLOPs и до запуска задам margin -0,3.
• Нулевая гипотеза утверждает delta не выше -0,3, поэтому non-inferiority принимается только при нижней односторонней 95% границе выше -0,3.
• Совпадающие блоки training seed и одни eval-items снизят variance, но интервал всё равно должен учитывать неопределённость обоих источников.
• Я порекомендую метод, только если подтверждены экономия 25% и ограничения latency или memory, потому что non-inferiority не доказывает ни equivalence, ни superiority.

Я проведу повторные перекрестные измерения, чтобы оценить вклад разных источников случайности в общую дисперсию.

• Я буду по отдельности менять seed инициализации, seed порядка данных, шаг checkpoint и eval-выборку, а не менять все четыре фактора одновременно.
• Модель случайных эффектов может разделить дисперсию на компоненты seed, checkpoint, задания benchmark и остатка, добавив взаимодействия при достаточном дизайне.
• Если порядок данных объясняет 60% вариации, увеличение eval-набора не снимет неопределенность, а дополнительные независимые training-run снимут.
• Я опубликую компоненты дисперсии и выбранное число seed, чтобы следующие эксперименты тратили compute на главный источник неопределенности.

Сначала я докажу, что intervention активировал предполагаемый механизм, а не выдам неработающую реализацию за научный отрицательный результат.

• До запуска я назову механистический признак, например большую дистанцию attention, изменение routing entropy или измеримое вспомогательное представление.
• Traces treatment и baseline должны различаться по этому признаку, а проверки config, gradient flow и обновлений параметров подтвердят реальное использование нового path.
• Removal-, sham- или dose-check коэффициента должен выключать признак или предсказуемо менять его силу, что убедительнее одной плоской итоговой метрики.
• Только после подтверждения активности я проверю, исключает ли interval минимально полезный gain; иначе результат является невалидным или неубедительным, но не отрицательным.

Warmup ограничивает нестабильные ранние обновления, пока выравниваются моменты оптимизатора и масштабы активаций, а decay уменьшает шаг по мере приближения к минимуму.

• Я начну с линейного warmup на 1-3% всех шагов, затем сравню cosine и linear decay при одинаковых peak rate, токенах и настройках оптимизатора.
• Слишком короткий warmup может вызвать скачки loss или overflow, а 10% warmup способен потратить заметную часть короткого прогона на лишне малый шаг.
• Сравнение должно включать ранний loss, итоговый validation loss, gradient norm и качество при фиксированных FLOPs, а не только последний checkpoint.
• Я буду настраивать peak rate вместе с формой расписания, потому что cosine может выглядеть лучше лишь из-за другого среднего learning rate.

AdamW сочетает адаптивные первый и второй моменты с weight decay, применяемым отдельно от градиентного обновления, поэтому точные гиперпараметры являются частью результата.

• Обновление использует скорректированные моменты с beta часто около 0,9 и 0,95 или 0,999, а изменение beta2 меняет реакцию на дисперсию градиента.
• Decoupled decay напрямую уменьшает параметры и не равен добавлению L2 loss при адаптивном preconditioner.
• Bias и масштабы нормализации часто исключают из decay, а для embedding и выходных весов нужна явно описанная политика.
• Epsilon, precision, gradient clipping и хранение моментов в FP32 могут менять малые обновления, поэтому я сохраню и опишу все эти настройки.

Gradient noise scale оценивает границу, после которой увеличение batch перестает пропорционально улучшать оптимизацию, потому что дисперсия градиента уже мала относительно среднего сигнала.

• Ниже critical batch удвоение batch size часто позволяет примерно удвоить learning rate и сократить число шагов для того же объема токенов.
• Выше этой границы дополнительные примеры в основном дублируют информацию о градиенте, поэтому throughput может расти, а качество на training FLOP снижаться.
• Я оценю scale по статистикам градиентов microbatch в нескольких checkpoint, потому что в ходе обучения он меняется.
• Исследование batch должно фиксировать общее число токенов и заново настраивать learning rate, иначе сравнение по равному числу шагов дает большому batch лишний compute.

Label smoothing переносит часть вероятностной массы с one-hot класса, ограничивая чрезмерные logits и часто улучшая калибровку.

• При smoothing 0,1 в задаче с K классами основная масса остается на правильном классе, а остаток распределяется между другими классами по выбранному правилу.
• Он может повысить validation accuracy при шумных labels, но чрезмерный smoothing ослабляет сигнал редких или близких классов.
• Он способен мешать knowledge distillation или отбору по уверенности, потому что модель специально учат не воспроизводить резкие целевые вероятности.
• Я сравню значения 0, 0,05 и 0,1 и покажу accuracy, NLL, ECE и recall по классам, а не только accuracy.

Focal loss полезен, когда легкие примеры доминируют в обучении и эксперимент должен усилить вклад сложных или редких примеров.

• Он умножает cross-entropy на (1 - p_t) в степени gamma, поэтому gamma 2 сильно уменьшает вес примеров, которые модель уже уверенно классифицирует.
• Вес alpha может отдельно учитывать частоты классов, но совместная настройка alpha и gamma способна чрезмерно исправить дисбаланс.
• Среди сложных примеров встречаются ошибочные labels, поэтому focal loss может усилить шум разметки и ухудшить калибровку даже при росте recall.
• Я сравню его со взвешенным cross-entropy при одинаковом sampling и покажу PR-AUC, recall редкого класса, NLL и долю градиента по классам.

Temperature масштабирует similarity logits перед softmax и задает, насколько сильно loss сосредоточится на самых сложных negatives.

• В InfoNCE деление cosine similarity на 0,07 создает более резкие вероятности и большие градиенты около близких negatives, чем temperature 0,2.
• Слишком малое значение позволяет нескольким false negatives доминировать и дестабилизировать обучение, а большое дает чрезмерно размытые градиенты.
• Лучшее значение зависит от нормализации embedding, batch size и negative mining, потому что все три фактора меняют распределение similarity.
• Я буду отслеживать retrieval Recall@k, статистики alignment и uniformity, gradient norms и срезы false negatives, ограничив обучаемую temperature безопасным диапазоном.

Я объединю обучение по жёстким labels с температурно сглаженным расхождением teacher и student и изолирую его пользу при фиксированных условиях student.

• Стандартный objective имеет вид (1 - alpha) * CE + alpha * T^2 * KL(softmax(z_teacher / T) || softmax(z_student / T)).
• Множитель T^2 компенсирует ослабление градиента из-за сглаживания, а T от 2 до 4 раскрывает предпочтения вторичных классов.
• Alpha балансирует task labels и поведение teacher, а feature matching является отдельной гипотезой и не входит в первое сравнение.
• Я сравню с student того же размера без teacher и покажу качество, калибровку и срезы, отдельно учитывая генерацию teacher logits.

Я выберу коэффициент auxiliary по поведению градиентов общих параметров, а не только по двум скалярным значениям loss.

• На общем backbone я сравню ||g_main|| и ||lambda * g_aux||, не включая в отношение параметры, принадлежащие только auxiliary head.
• На тех же векторах я измерю cosine similarity, потому что cosine показывает направление, а отношение норм показывает значимость согласованного или конфликтующего сигнала.
• Sweep коэффициента может удерживать заданное отношение auxiliary к main norm, а clipping или schedule добавляются только как отдельные контролируемые interventions.
• Я сохраню слагаемое, только если основная задача улучшится при одинаковом полном compute, а removal ablation обратит эффект без скрытых регрессий срезов.

Я заранее укажу, относится ли claim к одинаковой работе модели или к одинаковому полному algorithmic compute, потому что это разные сравнения.

• Срез по одинаковым токенам может фиксировать exposure данных и forward-backward FLOPs модели, но его нельзя называть равным полным compute при разной цене optimizer.
• Полный compute добавляет к forward-backward ledger повторные вычисления и обновление optimizer, включая построение и применение preconditioner у методов вроде Shampoo.
• Каждый optimizer получит одинаковое число tuning trials для learning rate, decay и собственных настроек вместо наследования defaults AdamW.
• Я построю validation loss и по накопленным forward-backward FLOPs, и по полным FLOPs, добавив step time, peak memory и итоговое качество по seed.

Pre-norm ставит нормализацию перед каждой residual-веткой и обычно создает более прямой путь градиента в глубоких Transformer, а post-norm нормализует после residual addition.

• В pre-norm identity residual path обходит sublayer и нормализацию, помогая градиенту проходить через десятки или сотни слоев.
• Post-norm может сильнее менять представление в каждом блоке, но чувствительнее к инициализации, warmup и глубине.
• Pre-norm не гарантирует победу при равном compute: его residual stream может расти, а финальная нормализация становится важной.
• Я сравню варианты при одинаковых параметрах и токенах, затем изучу loss spikes, layerwise gradient norms, масштаб активаций и итоговое benchmark-качество.

RoPE поворачивает признаки query и key на зависящие от позиции углы, а ALiBi добавляет к attention scores линейные штрафы за расстояние с разными наклонами по heads.

• RoPE делает dot product зависимым от относительной фазы и сохраняет богатую позиционную геометрию, но длинные невиданные позиции выходят за обученный диапазон частот.
• ALiBi не имеет обучаемой таблицы позиций и смещает разные heads к разным диапазонам локальности, часто проще экстраполируя, но задавая менее выразительное позиционное взаимодействие.
• Я обучу оба варианта до 8K при одинаковых параметрах и токенах, затем оценю perplexity, retrieval и reasoning на 8K, 16K и 32K.
• Любая интерполяция или смена частот RoPE является отдельным изменением, а качество короткого контекста нужно проверить из-за возможного ухудшения обученного диапазона.