Вопросы на собеседовании: CV-инженер

Residual-блок учит поправку к входу и тем самым дает градиенту короткий identity-путь через глубокую сеть.

• Если residual-ветвь вначале вносит малый вклад, блок ведет себя почти как identity-преобразование и не заставляет каждый слой заново учить все представление.
• При обратном распространении skip-путь переносит компонент градиента, который не проходит через каждый слой с весами, что уменьшает деградацию очень глубоких моделей.
• Для сложения нужны совместимые пространственные и канальные размеры, поэтому при изменении формы применяют проекцию со stride или свертку 1 на 1.
• Это улучшает оптимизацию, но само по себе не предотвращает переобучение и не гарантирует пользу от любой дополнительной глубины.

Она разделяет пространственную фильтрацию и смешивание каналов, заменяя одну плотную свертку на depthwise-свертку и pointwise-свертку 1 на 1.

• Обычная свертка K на K требует примерно K в квадрате, умноженное на число входных и выходных каналов, операций на пиксель.
• Разделенный вариант требует K в квадрате, умноженное на число входных каналов, плюс произведение числа входных и выходных каналов, что намного меньше при большом числе каналов.
• Меньшее число операций и параметров подходит MobileNet-подобным edge-моделям, но низкие FLOPs не гарантируют малую задержку при неэффективных ядрах или доступе к памяти.
• Разделение ограничивает межканальное взаимодействие, поэтому без настройки ширины, expansion-блоков или обучения точность может снизиться.

FPN объединяет семантически сильные грубые признаки с пространственно точными мелкими признаками и создает полезные карты нескольких разрешений.

• Top-down путь увеличивает разрешение глубоких карт, а боковые свертки 1 на 1 выравнивают число каналов из backbone.
• Поэлементное слияние дает уровням высокого разрешения более сильную семантику, чем ранние признаки backbone сами по себе.
• Головы детектора направляют маленькие объекты на подробные уровни, а большие на грубые, сужая диапазон масштабов для каждой головы.
• В Detectron2 и MMDetection уровни пирамиды и правила назначения должны соответствовать resize-политике и ожидаемым размерам объектов.

Skip-связи U-Net восстанавливают точность локализации, передавая признаки энкодера напрямую в уровни декодера того же разрешения.

• Downsampling накапливает контекст, но теряет точные границы и мелкие структуры, которые один upsampling надежно не восстановит.
• Конкатенация позволяет декодеру совместить низкоуровневую геометрию с глубокой семантикой, в отличие от residual-сложения, основная цель которого состоит в оптимизации.
• Формы энкодера и декодера должны совпадать, поэтому padding, cropping и кратность размера входа нужно явно контролировать в PyTorch.
• Слишком сильные поверхностные признаки могут поощрять texture shortcuts, поэтому аугментация и дизайн декодера все равно важны.

Dilated-свертка разносит выборки ядра, расширяя receptive field без дополнительного pooling и пропорционального роста числа параметров.

• DeepLab сохраняет меньший output stride и использует atrous spatial pyramid pooling с несколькими dilation rate для контекста разных масштабов.
• Большие rate могут создавать gridding-артефакты, потому что соседние выходы выбирают непересекающиеся паттерны входа.
• Output stride, dilation и размер crop нужно согласовывать, поскольку rate для большой карты может быть бесполезен на маленькой.
• Подход улучшает плотную локализацию, но требует больше памяти, чем backbone с агрессивным downsampling.

Я выбираю по измеренному диапазону точности и задержки: one-stage модели делают плотные предсказания за один проход, а two-stage модели уточняют выбранный набор proposals.

• Детекторы семейства YOLO обычно дают более простой и быстрый инференс для потоков реального времени и edge-деплоя.
• Faster R-CNN может потратить больше вычислений на признаки proposals и часто выгоден для мелких объектов или высокоточной офлайн-инспекции.
• Граница не абсолютна, поскольку backbone, размер изображения, поддержка TensorRT и batching могут перевесить категорию архитектуры.
• Я измеряю полный путь с preprocessing, postprocessing, памятью и AP целевых классов, а не сравниваю рекламные FLOPs моделей.

Anchor-free детекторы предсказывают объекты от точек или центров вместо оценки заранее заданного набора рамок в каждой позиции.

• Anchor-based модели требуют масштабов, соотношений сторон и положительных IoU-порогов, которые могут не подходить необычной геометрии объектов.
• Anchor-free головы часто предсказывают class heatmap и расстояния до сторон рамки, сокращая число anchor-гиперпараметров и объем выхода.
• Им все равно нужно правило label assignment, например center sampling или dynamic matching, поэтому проектные решения не исчезают.
• В абляциях MMDetection я фиксирую backbone, расписание, resize и NMS, прежде чем приписывать прирост типу головы.

Faster R-CNN использует общий backbone, region proposal network и отдельную голову для классификации и уточнения каждой proposal.

• RPN оценивает anchors и регрессирует смещения proposals, после чего proposal NMS оставляет управляемый набор кандидатов.
• В исходной архитектуре применялся RoI Pooling; распространенные современные реализации с FPN используют настраиваемый RoI Align, чтобы получать признаки фиксированного размера без округления координат.
• Обучение объединяет objectness и box loss RPN с loss классификации и регрессии второго этапа на основе сопоставленного ground truth.
• На инференсе уточненные рамки декодируются, низкие оценки отбрасываются, а class-wise NMS формирует финальные детекции.

Mask R-CNN добавляет к Faster R-CNN параллельную голову маски для каждого экземпляра и опирается на точно выровненные RoI-признаки.

• RoI Align выбирает значения по вещественным координатам вместо округления границ proposal, что важно для попиксельных масок.
• Mask-ветвь предсказывает небольшую бинарную маску для каждого класса или выбранного класса независимо от ветви регрессии рамок.
• При обучении mask loss считается только для положительных proposals вместе с существующими loss RPN, классификации и рамок.
• На инференсе каждая маска растягивается в предсказанную рамку, поэтому ошибки рамки все равно ограничивают качество маски.

Современный YOLO-детектор использует backbone, multi-scale слияние признаков и плотные головы, совместно обучающие классы, локализацию и часто objectness.

• При обучении изображения изменяют размер и аугментируют, ground-truth рамки назначают позициям голов, а loss классификации и IoU-based loss регрессии рамок балансируют между уровнями пирамиды.
• Сырой выход головы нужно декодировать из значений относительно сетки в координаты изображения с точным stride и соглашением preprocessing конкретной реализации.
• Инференс после декодирования применяет порог confidence и NMS, причем при большом числе кандидатов эти шаги могут доминировать по задержке.
• При экспорте в ONNX или TensorRT я сверяю обратное преобразование letterbox, порядок координат, формирование score и postprocessing с выходом PyTorch.

ViT делит изображение на патчи фиксированного размера, проецирует каждый развернутый патч в embedding, добавляет позиционную информацию и применяет transformer-блоки.

• Для изображения H на W и патчей P на P self-attention получает примерно HW, деленное на P в квадрате, токенов.
• Каждый токен может глобально взаимодействовать с любым другим, тогда как CNN наращивает receptive field через последовательность локальных ядер.
• Стоимость attention квадратично растет с числом токенов, поэтому уменьшение стороны патча вдвое резко увеличивает память и вычисления.
• Модели плотного предсказания преобразуют token features обратно в карты или берут их с нескольких глубин, поскольку одного class token недостаточно для локализации.

CNN обычно дает более сильные априорные предположения о локальности и переносах, а ViT предлагает гибкое глобальное взаимодействие, но чаще требует более сильного pretraining и поддержки при деплое.

• На небольшом размеченном датасете pretrained CNN бывает проще дообучить, потому что inductive bias сокращает объем структуры, которую модели нужно выучить.
• Хорошо pretrained ViT может превзойти ее, особенно на масштабе, но память attention быстро растет на входах высокого разрешения.
• GPU throughput не гарантирует задержку для потока камер, поскольку важны batch size один, operator fusion и наличие ядер TensorRT.
• Я сравниваю p50 и p99 задержки, память и качество по классам на целевом устройстве с одинаковым preprocessing, а не выбираю по числу параметров.

Я начинаю с замороженных признаков DINOv2 как baseline, а затем поэтапно дообучаю модель, если целевой домен и задача требуют адаптации.

• Self-supervised pretraining учит переносимую визуальную структуру по неразмеченным изображениям и может сократить потребность в разметке для поиска, классификации или плотных задач.
• Linear probe проверяет качество представления, не позволяя большой голове скрыть слабые признаки.
• Для специализированного домена вроде тепловизоров можно разморозить поздние блоки с меньшим learning rate, адаптируя семантику и ограничивая catastrophic forgetting.
• До принятия checkpoint нужно проверить нормализацию входа, разрешение патчей, лицензионные ограничения и стоимость на целевом устройстве.

Я обучаю student по ground truth и одновременно заставляю ее повторять информативные выходы или признаки более сильной замороженной teacher-модели.

• Смягченные температурой вероятности классов показывают сходство классов, которое теряется в one-hot разметке.
• В детекции или сегментации можно сопоставлять feature maps, logits, рамки или маски, но нужно выровнять пространственные размеры и веса foreground.
• Вес distillation и temperature подбираются на валидации, потому что чрезмерно уверенная или teacher-модель из другого домена может переносить ошибки.
• Успех измеряется на целевом железе: меньшая student полезна, только если задержка TensorRT или память улучшаются при приемлемом качестве.

Focal loss уменьшает вес простых, уже правильно классифицированных примеров, чтобы множество background-позиций не доминировало в градиенте классификации.

• Она умножает cross-entropy на множитель на основе единицы минус вероятность истинного класса, управляемый gamma.
• Параметр alpha может дополнительно балансировать положительный и отрицательный классы, но решает другую задачу, чем focusing-множитель.
• Больший gamma концентрирует обучение на сложных примерах, но тогда шумная разметка может получить чрезмерный вес.
• Я проверяю вклад положительных и отрицательных loss в PyTorch, а не считаю, что стандартный gamma подходит любой стратегии assignment.

Я использую overlap-based loss, когда foreground занимает мало пикселей и попиксельная cross-entropy была бы задавлена фоном.

• Dice оптимизирует мягкий коэффициент пересечения и дает маленькой foreground-области больше влияния, чем ее число пикселей.
• Tversky отдельно взвешивает false positives и false negatives, поэтому пропущенные поражения можно штрафовать сильнее лишней области маски.
• Smoothing-константа и обработка пустых масок влияют на градиенты и должны быть заданы явно.
• Комбинация Dice или Tversky с cross-entropy часто сохраняет стабильное попиксельное обучение и улучшает пересечение областей.

Они расширяют регрессию на основе пересечения, чтобы давать полезный геометрический сигнал там, где обычный IoU слаб или равен нулю.

• IoU напрямую оптимизирует пересечение, но не дает градиента по разделению, когда предсказанная и целевая рамки не пересекаются.
• GIoU добавляет штраф по минимальной охватывающей рамке и дает сигнал для непересекающихся рамок, но иногда медленно сходится.
• DIoU напрямую штрафует расстояние между центрами, а CIoU добавляет компонент соотношения сторон.
• Я валидирую loss вместе с параметризацией рамок и assignment детектора, потому что лучшая отдельная формула не гарантирует больший COCO mAP.

Label assignment решает, какие предсказания получают положительный, отрицательный или игнорируемый supervision, поэтому формирует градиент детектора не меньше, чем loss.

• Фиксированные IoU-пороги просты, но могут дать слишком мало positives для маленьких или необычных объектов.
• Center sampling ограничивает positives правдоподобными позициями, а динамические схемы выбирают соответствия по текущей стоимости классификации и локализации.
• One-to-one Hungarian matching в DETR-подобных моделях назначает каждому объекту один query и устраняет дублирующий supervision.
• Assignment нужно проверять по размеру объектов и классам, потому что нестабильные или избыточные positives нельзя исправить одной настройкой NMS.

Я собираю высокоуверенные false positives на реалистичных данных и возвращаю контролируемую их часть в обучение как явные отрицательные примеры.

• Для детектора я запускаю текущую модель по неразмеченным или отрицательным сценам и проверяю crop с отражениями, логотипами или фоновыми текстурами, которые она путает с целью.
• Sampling фокусируется на информативных ошибках, не позволяя миллионам почти одинаковых negatives доминировать в каждом batch.
• Дедупликация и проверка человеком обязательны, потому что скрытые реальные объекты, ошибочно помеченные negatives, вредят recall.
• Я сохраняю фиксированный challenge set, чтобы подтвердить улучшение конкретного failure mode без падения на обычных positives.

Они по-разному разрешают пересекающиеся предсказания: NMS подавляет рамки, Soft-NMS снижает score, а WBF объединяет координаты.

• Greedy NMS оставляет рамку с наибольшим score и удаляет рамки с меньшим score выше IoU-порога, что быстро, но может потерять соседние объекты.
• Soft-NMS уменьшает score пересекающихся рамок вместо удаления, сохраняя кандидатов в плотных сценах ценой дополнительного postprocessing.
• WBF усредняет координаты с весами confidence и полезнее всего для ансамблей хорошо откалиброванных моделей, а не как универсальная замена для одного детектора.
• Пороги настраиваются по классу и плотности по сквозным метрикам, а экспорт ONNX или TensorRT должен сохранять выбранную семантику.