Вопросы на собеседовании: NLP-инженер

Масштабирование удерживает логиты attention в диапазоне, где softmax сохраняет полезные градиенты при росте размерности key.

• Дисперсия немасштабированных скалярных произведений пропорциональна размерности key, поэтому при больших размерностях логиты становятся экстремальными.
• Экстремальные логиты делают softmax почти one-hot, из-за чего большинство производных стремится к нулю.
• Деление на квадратный корень из размерности key нормализует дисперсию, не меняя выученное ранжирование ключей.

Несколько голов позволяют модели параллельно представлять разные связи между токенами, не заставляя одну карту attention кодировать все закономерности.

• Одна голова может выделять локальные синтаксические связи, например согласование прилагательного с существительным, а другая отслеживать дальнюю кореференцию.
• Отдельные обучаемые проекции query, key и value дают каждой голове собственное пространство меньшей размерности.
• Роли голов не гарантированы и не всегда интерпретируемы, а избыточные головы часто можно удалить почти без потери качества.

Я бы сравнил подходящие для задачи чекпоинты, потому что RoBERTa и DeBERTa часто качественнее BERT, но могут требовать больше памяти или времени.

• BERT является стабильной базовой моделью с широкой поддержкой чекпоинтов и инструментов, особенно когда важна совместимость.
• RoBERTa изменила предобучение за счет большего объема данных, динамического masking и отказа от next-sentence prediction, что обычно улучшает представления при сопоставимом размере.
• DeBERTa разделяет attention по содержанию и позиции и часто дает более высокое качество, но ее реализация и профиль инференса должны подходить продакшн-стеку.
• Я сравниваю качество на валидации, p95 latency, память, покрытие токенизатора и наличие доменных чекпоинтов, а не только место в бенчмарке.

Encoder-decoder модель подходит для нового вывода переменной длины, а encoder-only модель проще для меток, спанов или эмбеддингов.

• Перевод и абстрактивная суммаризация требуют авторегрессионного декодирования на основе закодированного источника, что дают модели вроде T5 или BART.
• Для классификации и разметки токенов обычно достаточно энкодера с небольшим task head без задержки декодера и ошибок генерации.
• Экстрактивная суммаризация тоже может использовать только энкодер, потому что выбирает предложения источника, а не генерирует текст.

Линейный CRF оценивает всю последовательность меток и использует обучаемые оценки переходов между соседними тегами вместо независимого предсказания каждого токена.

• Обычный CRF с алгоритмом Витерби не гарантирует допустимый BIO-вывод; перед декодированием я добавляю маску переходов или задаю недопустимым переходам оценку минус бесконечность.
• Выигрыш наиболее вероятен при сильных закономерностях переходов и ограниченных данных; крупный энкодер может уже выучить большую часть этой структуры.
• CRF усложняет обучение и декодирование и не решает вложенные или разрывные сущности, потому что по-прежнему выдает один линейный тег на токен.

Token classification назначает токенам BIO-метки, а span-модель оценивает диапазоны start-end и тип каждого кандидата.

• Разметка токенов вычислительно эффективна и подходит для плоских сущностей, но требует аккуратного выравнивания сабвордов и обработки недопустимых переходов тегов.
• Оценка спанов напрямую представляет границы сущности и может классифицировать пересекающиеся кандидаты, поэтому естественнее поддерживает вложенный NER.
• Перебор всех спанов квадратичен по длине последовательности, поэтому на практике ограничивают ширину спана или отбирают кандидатов.
• Я выбираю подход по структуре разметки и бюджету latency, а затем оцениваю точные спаны сущностей, а не accuracy токенов.

Одна BIO-метка на токен не может представить пересекающиеся слои сущностей или одну сущность из нескольких несмежных фрагментов.

• Для вложенных сущностей, например New York внутри New York University, нужны классификация спанов, многослойные теггеры или декодирование на основе гиперграфа.
• Для разрывных упоминаний, распространенных в медицинских текстах, нужны модели, связывающие несколько спанов либо предсказывающие фрагменты и отношения между ними.
• Схема аннотации должна определить, нужны ли внутренние сущности и разрывные упоминания, потому что от этого зависят архитектура и оценка.

Энкодер выдает оценку каждого токена как возможного начала и отдельную оценку как возможного конца, после чего выбирается допустимая пара с высоким score.

• При обучении обычно применяют cross-entropy к правильным позициям начала и конца на основе контекстных представлений токенов.
• На инференсе рассматривают пары, где конец не предшествует началу, и часто ограничивают максимальную длину ответа.
• Независимые start и end heads эффективны, но могут предпочитать несовместимые границы, поэтому совместная оценка спана или reranking помогают на сложных примерах.

Модели нужен явный score отсутствия ответа, который сравнивается с лучшим кандидатом-спаном по настроенному порогу.

• Системы в стиле BERT часто используют classification token как null span и сравнивают его score с лучшим ненулевым start-end score.
• Я настраиваю порог разницы scores на валидации, балансируя полноту вопросов без ответа и число ложных ответов.
• Оценка должна отдельно показывать срезы вопросов с ответом и без него, иначе aggregate exact match скроет слишком частые отказы.
• Перед изменением порога следует отдельно проверить калибровку и полноту поиска подходящего отрывка.

Я бы сохранил структуру таксономии в предсказании и loss, чтобы дочерняя метка не могла появиться без совместимого родителя.

• Каскад сверху вниз сужает кандидатов на каждом уровне и легко объясняется, но ранняя ошибка родителя блокирует всех потомков.
• Одна модель с иерархическими ограничениями может разделять признаки между уровнями и обеспечивать допустимые пути при декодировании.
• Я показываю метрики на каждой глубине и path accuracy, потому что правильный родитель с неверным листом отличается от полностью ошибочной ветки.

В multilabel-классификации каждая метка предсказывается независимо или с учетом зависимостей, потому что для одного документа могут быть верны несколько меток.

• На выходе обычно используют отдельный sigmoid для каждой метки с binary cross-entropy, а не softmax с суммой вероятностей, равной единице.
• Пороги нужно настраивать глобально или отдельно по меткам, потому что редким меткам часто нужна другая рабочая точка.
• Micro F1 сильнее учитывает частые метки, а macro F1 выявляет слабое качество редких.
• При устойчивом совместном появлении меток classifier chains или общее представление с моделированием зависимостей могут использовать этот сигнал.

Я бы разделил документ на смысловые фрагменты, закодировал их и агрегировал evidence, сохранив достаточно структуры документа для предсказания метки.

• Для редких решающих фрагментов max pooling или top-k attention по логитам частей может поднять один важный абзац.
• Для распределенного evidence второй transformer или рекуррентный агрегатор может моделировать упорядоченные представления фрагментов.
• При обучении нужно сэмплировать полные документы, а не считать фрагменты независимо размеченными, если метка относится только ко всему тексту.
• Я проверяю размер, overlap и обрезание фрагментов на срезах длинных документов, потому что случайные короткие примеры скрывают потерю покрытия.

Я бы использовал энкодер с разреженным attention, когда решение зависит от связей между удаленными разделами, которые теряются при агрегации фрагментов.

• Attention со скользящим окном снижает квадратичную стоимость локального контекста, а выбранные global tokens связывают информацию по всему документу.
• Более длинный ввод все равно увеличивает память и latency, а предобученные чекпоинты могут быть слабее или менее доменными, чем у стандартных энкодеров.
• Разбиение остается проще для независимо информативных разделов и позволяет обрабатывать только нужные части.
• Я сравниваю качество на примерах со связями между разделами и p95 стоимость инференса, а не считаю больший контекст автоматически лучшим.

Я использую pooling, согласованный с целью обучения модели, а не считаю первый токен универсальным семантическим вектором предложения.

• Mean pooling по токенам без padding является сильной базой для sentence-transformer моделей и использует информацию всей последовательности.
• Pooling первого токена работает, когда чекпоинт специально обучали под это представление, но обычное masked-language pretraining этого не гарантирует.
• Для cosine search я обычно применяю L2-нормализацию и проверяю качество на доменных парах, включая срезы коротких и длинных предложений.

Я использую bi-encoder для дешевого поиска по множеству кандидатов, а cross-encoder для более точной попарной оценки небольшого набора.

• Bi-encoder независимо вычисляет переиспользуемые векторы, поэтому можно эффективно индексировать и искать среди миллионов документов или кандидатов в дубликаты.
• Cross-encoder совместно применяет attention к обоим текстам и видит тонкие связи токенов, но запускается отдельно для каждой пары.
• Практический поисковый стек извлекает кандидатов bi-encoder и переранжирует, например, от 20 до 100 результатов cross-encoder.
• При офлайн-дедупликации сначала нужны blocking rules или приближенный поиск, чтобы избежать квадратичного cross-encoding всех пар.

BM25 вознаграждает лексическое совпадение терминов, а dense retrieval сопоставляет обученные семантические представления, поэтому они ошибаются на разных запросах.

• BM25 силен для точных кодов товаров, редких названий и новых терминов без переобучения модели.
• Dense retrieval обрабатывает перефразирование вроде waterproof hiking shoes и rain-resistant trail footwear, но может пропустить точный идентификатор.
• Scores BM25 зависят от частоты термина, inverse document frequency и нормализации длины; качество dense зависит от обучающих пар и покрытия домена.
• Я оцениваю методы по срезам запросов и часто объединяю ранжированные результаты, когда важны семантика и точное совпадение.

Contrastive training сближает совпадающие пары текстов и отдаляет несовпадающие в пространстве эмбеддингов с помощью цели на основе similarity.

• В multiple-negatives ranking loss остальные targets в батче становятся negatives для каждого query, давая много сравнений без дополнительного кодирования.
• Большие батчи обычно усиливают сигнал, но создают false negatives, когда другой элемент батча на самом деле релевантен или эквивалентен.
• Temperature определяет, насколько сильно loss выделяет близких конкурентов, и настраивается вместе с нормализацией эмбеддингов.
• Формирование батчей должно исключать дублирующиеся positives среди negatives и соответствовать продакшн-задаче сопоставления.

Полезный hard negative выглядит правдоподобно для текущего retriever, но действительно нерелевантен по правилам разметки задачи.

• BM25 или предыдущая dense-модель могут находить верхние неположительные результаты с общей лексикой или темой запроса.
• Случайные negatives часто слишком просты и почти ничему не учат, когда модель уже отделяет несвязанные документы.
• Непроверенные верхние результаты могут быть false negatives, поэтому я исключаю известные positives и вручную проверяю либо оцениваю cross-encoder часть выборки.
• Я обновляю найденные negatives во время обучения, потому что сложные для начальной модели примеры перестают быть информативными.

Domain-adaptive pretraining продолжает исходную self-supervised цель энкодера на неразмеченном доменном тексте перед supervised fine-tuning.

• Masked-language modeling на медицинских записях или юридических документах обучает доменной терминологии и употреблению без task labels.
• Подход особенно полезен, когда целевой корпус сильно отличается от общих данных предобучения, а размеченных примеров мало.
• Я оставляю downstream-валидацию, при признаках forgetting подмешиваю общий текст и сравниваю результат с простым добавлением размеченных примеров.
• Токенизатор остается ограничением, поэтому сильная фрагментация терминов может оправдать адаптацию словаря с аккуратной инициализацией эмбеддингов.

При послойном уменьшении learning rate нижние слои энкодера получают меньшие обновления, а верхние слои и целевая голова постепенно более крупные.

• Например, для головы можно задать 2e-5 и умножать rate на 0,8 с каждым слоем в сторону эмбеддингов, чтобы общие лексические признаки менялись меньше целевых.
• Подход часто помогает при небольшом размеченном наборе или близкой к предобучению задаче, где крупные обновления нижних слоев могут стереть полезные представления.
• При сильном сдвиге домена он может мешать, если нижним слоям тоже нужно адаптироваться, поэтому я сравню его с единым learning rate, а не буду считать уменьшение заведомо лучшим.
• Я настраиваю rate головы и коэффициент уменьшения вместе, а выбираю их по качеству на отложенной выборке и стабильности обучения на нескольких seed.