Вопросы на собеседовании: Инженер генеративного ИИ

Они по-разному параметризуют одну задачу денойзинга, но перераспределяют масштаб цели и ошибки между уровнями шума.

• Epsilon prediction оценивает добавленный шум и просто реализуется, однако его фактический акцент может быть неравномерным при очень высоком и низком отношении сигнала к шуму.
• x0 prediction напрямую оценивает чистый образец, что может помогать реконструкции, но становится численно сложным, когда во входе почти один шум.
• v prediction объединяет компоненты чистого образца и шума, поэтому дисперсия цели лучше сбалансирована на распространённых расписаниях, но scheduler и преобразование при инференсе должны соответствовать чекпойнту.

SNR-based weighting управляет вкладом каждого уровня шума, чтобы простые таймстепы или таймстепы с целевыми значениями большой величины не доминировали в обновлении.

• Отношение сигнала к шуму показывает, похож ли таймстеп больше на реконструкцию или на предсказание шума при выбранном расписании.
• Min-SNR weighting ограничивает влияние, вычисленное из SNR, и уменьшает конфликт между градиентами от сильно различающихся таймстепов.
• Формула зависит от epsilon, x0 или v prediction, поэтому я проверю реализацию и сравню сходимость и качество соответствия промпту, а не буду вслепую копировать одно значение gamma.

DDPM следует стохастической обратной марковской цепи, а DDIM может использовать детерминированную немарковскую траекторию для той же обученной модели.

• DDPM добавляет дисперсию на обратных шагах, поэтому повторные запуски могут расходиться даже из связанных промежуточных состояний.
• DDIM предоставляет параметр наподобие eta, где ноль даёт детерминированный путь для фиксированного начального латента, а большие значения возвращают стохастичность.
• DDIM часто достигает приемлемого качества за меньшее число шагов, но скорость и качество всё равно зависят от чекпойнта, размещения таймстепов и реализации.

Я сравню их на конкретной модели, расписании, бюджете шагов, диапазоне guidance и целевом распределении промптов, потому что рейтинг семплеров ненадёжно переносится между условиями.

• Методы Euler просты и могут давать сильный результат при умеренном числе шагов, а ancestral-варианты намеренно добавляют шум и повышают разнообразие между запусками.
• Семейства DPM-Solver и DPM++ используют формулы более высокого порядка или предсказание данных, что бывает эффективно, но история multistep и выбор расписания влияют на стабильность при малом числе шагов.
• Я зафиксирую промпты, seeds и число результатов на промпт, а затем измерю latency, частоту ошибок, preference wins и разнообразие на нескольких бюджетах шагов.

Они уменьшают артефакты от применения одного большого classifier-free guidance scale на всём процессе денойзинга.

• Высокий CFG может улучшать соответствие промпту, но перенасыщать цвета, сокращать разнообразие или уводить образец за пределы обученного распределения модели.
• CFG rescale приближает величину guided prediction к статистикам conditional prediction, ограничивая чрезмерный контраст без полного отказа от guidance.
• Динамические расписания меняют guidance по таймстепам, часто ослабляя его там, где conditioning мало помогает, и требуют настройки по соответствию промпту и срезам визуального качества.

Flow matching обучает зависящее от времени поле скоростей, которое переносит образцы между распределениями шума и данных, вместо прямой оптимизации denoising score objective.

• Цель обучения получается из выбранного вероятностного пути и его условной скорости, причём прямая интерполяция часто служит простым вариантом пути.
• Rectified flow является flow matching на прямой интерполяции между связанными образцами источника и данных; выученная marginal ODE не обязана быть прямой, тогда как reflow может постепенно выпрямлять её coupling и уменьшать ошибку интегрирования.
• Путь, параметризация, связь данных с шумом и ODE solver всё равно определяют результат, поэтому одно название метода не гарантирует одноступенчатую генерацию.

Латентный автоэнкодер переносит денойзинг в меньшее пространственное и канальное представление, снижая стоимость attention и свёрток по сравнению с диффузией в пикселях.

• Энкодер сжимает изображение в латенты, а декодер восстанавливает пиксели после семплирования, поэтому коэффициент уменьшения разрешения во многом задаёт экономию вычислений.
• Агрессивное сжатие может удалить мелкий текст, лица, текстуры или высокочастотные детали ещё до того, как их увидит диффузионная модель.
• Я отдельно оценю реконструкцию и генерацию, потому что артефакты декодера и ошибки масштаба латентов нельзя исправить сменой семплера.

DiT применяет transformer blocks к патчам латентного изображения, поэтому генеративную ёмкость удобно увеличивать через глубину, ширину, число токенов и объём вычислений.

• Разбиение латентов на патчи превращает пространственную генерацию в последовательность токенов, а timestep и class или text conditioning модулируют transformer blocks.
• Масштабирование трансформеров использует зрелые attention kernels и инфраструктуру параллельного обучения, но число токенов всё равно быстро растёт с разрешением.
• Одних параметров или FLOPs недостаточно, поэтому я сопоставлю качество с вычислениями обучения, масштабом данных, качеством автоэнкодера и стоимостью инференса.

MM-DiT позволяет текстовым токенам и токенам латентного изображения участвовать в совместном attention, сохраняя при этом специфичные для модальностей представления или проекции.

• Текстовый и визуальный потоки могут использовать отдельные веса для частей блока, а затем обмениваться информацией через общую операцию attention.
• В отличие от одностороннего cross-attention, joint attention позволяет токенам изображения влиять на состояния текстовых токенов и одновременно получать текстовый conditioning.
• Длина последовательности, masking, positional encoding и баланс модальностей становятся ограничениями дизайна, потому что оба набора токенов используют одни и те же вычисления attention.

LCM distillation обучает student отображать точки диффузионной траектории к согласованному чистому результату, поэтому при инференсе можно пропустить большинство шагов teacher.

• Обучение использует переходы от teacher или траекторию probability flow и требует согласованности между правильно сопоставленными зашумлёнными состояниями.
• Граничное условие фиксирует consistency function около конечной точки данных и не даёт выучить произвольное тривиальное отображение.
• На практике возможны один-восемь шагов, но сохранение качества зависит от guidance distillation, совместимости scheduler и покрытия распределения промптов.

Progressive distillation последовательно вдвое сокращает нужное число шагов денойзинга, а adversarial distillation может обучать student для очень малого числа шагов через discriminator или выученный сигнал реалистичности.

• Progressive-этапы дают контролируемый путь от teacher к student, но после нескольких раундов ошибки могут накапливаться, а каждый этап требует дополнительного обучения.
• Adversarial objective повышает воспринимаемую резкость на одном или нескольких шагах, но может сокращать разнообразие и приносить нестабильность или артефакты, характерные для GAN.
• Я сравню соответствие промпту, разнообразие, ошибки на редких концептах и latency при точном числе шагов из production, а не только FID.

ControlNet обучает параллельную conditioning-ветку из копии backbone и вводит её признаки в почти замороженный денойзер.

• Карта позы, границ, глубины или сегментации поступает в control-ветку на соответствующих пространственных разрешениях.
• Соединения с нулевой инициализацией начинают с почти нулевых добавочных residuals, сохраняя поведение предобученной модели в начале обучения.
• Силу контроля и начальные или конечные таймстепы нужно настраивать, потому что слишком сильные residuals могут подавить текстовый conditioning или воспроизвести шум детектора.

IP-Adapter кодирует референсное изображение в отдельные conditioning tokens и вводит их через дополнительные attention paths рядом с текстовым conditioning.

• Визуальный энкодер и projection network преобразуют референс в токены, совместимые с размерностями attention денойзера.
• Отдельные веса image cross-attention позволяют оставить базовый текстовый путь замороженным и сохранить небольшой размер адаптера.
• Масштаб адаптера балансирует перенос идентичности или стиля и соответствие промпту, а варианты для лица или композиции требуют подходящих оценочных данных.

Адаптеры могут конкурировать за одну ёмкость attention или residual, поэтому хорошие по отдельности настройки иногда ломаются при суммировании эффектов.

• Сильный ControlNet может зафиксировать геометрию, пока IP-Adapter навязывает композицию референса, что приводит к искажённым объектам или игнорированию текста.
• Масштабы, окна таймстепов, места инъекции и normalization различаются между адаптерами, поэтому композицию нужно настраивать совместной сеткой, а не изолированно.
• Я проверю каждую поддерживаемую комбинацию и порядок на конфликтных промптах, затем ограничу несовместимые пары или направлю их в специализированный pipeline.

Rank задаёт ёмкость обновления, alpha масштабирует low-rank update, а target modules определяют, в каких местах эта ёмкость может менять модель.

• Более высокий rank способен представить более сложные изменения, но увеличивает число обучаемых параметров, память optimizer, размер файла и риск переобучения.
• Во многих реализациях эффективный масштаб связан с alpha, делённой на rank, поэтому смена rank без проверки scaling меняет поведение оптимизации.
• Проекции cross-attention часто служат целями, а добавление self-attention, feed-forward, свёрточных или text-encoder modules должно отвечать измеренному пробелу в способности модели.

Я объединю проверенную фиксированную комбинацию для более простого и быстрого serving, но сохраню runtime composition, если пользователям нужен независимый выбор и масштабирование адаптеров.

• Merge убирает накладные расходы переключения адаптеров и упрощает export, однако итоговые веса привязаны к одному базовому чекпойнту и набору коэффициентов.
• Runtime composition сохраняет обратимость и масштабы на каждый запрос, но дополнительные чтения адаптеров или kernels расходуют пропускную способность памяти и усложняют batching.
• Несколько обновлений не обязаны складываться без конфликтов, поэтому оба пути требуют конфликтных промптов и регрессионных проверок до deployment.

Prior preservation смешивает примеры конкретного объекта с примерами класса, чтобы обучение субъекта не стянуло весь класс к этому субъекту.

• Instance loss учит редкий идентификатор воспроизводить нужного человека или объект по небольшому датасету.
• Class images и class prompt задают prior loss, который препятствует language drift и потере разнообразия для обычных промптов класса.
• Вес loss, качество class images, дубликаты и покрытие субъекта требуют настройки, потому что чрезмерный prior может ослабить обучение идентичности.

Настройка text encoder может сильнее связать новую концепцию с токеном, но также способна исказить языковое пространство для всех остальных промптов.

• При малом числе подписей token embeddings могут впитать корреляции с фоном, позой или стилем и вызвать утечку признаков в другие промпты.
• Обновление большого text encoder требует больше памяти optimizer и может переобучиться быстрее денойзера, особенно при агрессивном learning rate.
• Я начну с замороженного энкодера и проверю частичное обновление с меньшей скоростью только при слабой привязке идентификатора, добавив регрессии на общих и композиционных промптах.

Я буду отбирать данные по точности соответствия изображения и текста, покрытию нужной вариативности и отсутствию shortcuts, которые модель может запомнить.

• Нужно удалить точные и близкие дубликаты, повреждённые или слишком маленькие файлы и сбалансировать объекты, стили, позы, фоны и сложные случаи.
• Подписи должны называть признаки, которыми модель должна управлять, но не приписывать невидимые детали и не повторять один шаблон для каждого изображения.
• Я версионирую права источника, правила фильтрации, captioner и ручные правки, а затем проверю стратифицированные выборки вместо доверия одним автоматическим оценкам.

Aspect-ratio bucketing группирует изображения похожей формы в батчи, чтобы resizing меньше обрезал контент, а padding меньше тратил вычисления.

• Каждый bucket использует размеры, совместимые со stride автоэнкодера и патчей, одновременно ограничивая бюджет пикселей или токенов.
• Семплирование только по исходной частоте датасета может переоценить распространённые формы, поэтому вероятности buckets иногда нужно балансировать.
• Слишком много buckets дробят батчи и снижают throughput, а слишком мало вынуждают обрезать или искажать изображения, поэтому я буду вместе профилировать utilization и качество композиции.