Вопросы на собеседовании: Инженер генеративного ИИ

Генеративная модель изучает распределение данных, из которого можно получать новые примеры, а дискриминативная модель учится предсказывать метку или границу по входным данным.

• Диффузионная модель может создать новое изображение, похожее на примеры из обучающего распределения.
• Дискриминативный классификатор изображений относит готовое изображение к классам, например кошка или собака.
• Одни и те же обученные представления иногда полезны для обеих задач, но генерация и классификация используют разные цели и выдают разные результаты.

Латентное представление является компактным обученным описанием данных в пространстве, где модель может менять полезные признаки.

• Близкие точки латентного пространства часто декодируются в результаты со схожими высокоуровневыми свойствами, хотя это гарантировано не для каждой модели.
• Латент может сохранять форму и композицию, опуская часть деталей на уровне пикселей.
• Сэмплинг и редактирование латентов дешевле работы со всеми пикселями, если латентный тензор намного меньше изображения.

Автоэнкодер учится восстанавливать входные данные через энкодер, узкое внутреннее представление и декодер.

• Энкодер переводит изображение или другой объект в код меньшей размерности.
• Декодер использует этот код, чтобы восстановить результат, близкий к исходным данным.
• Функция потерь реконструкции обучает обе части, а узкое место заставляет код сохранять полезную информацию вместо прямого копирования каждого значения.

Вариационный автоэнкодер изучает распределение латентного кода для каждого входа, а ELBO при обучении балансирует реконструкцию и регулярность латентного пространства.

• Энкодер предсказывает параметры, например среднее и дисперсию, а не один фиксированный код.
• Член реконструкции поощряет латенты, из которых декодер может восстановить входные данные.
• KL-член удерживает обученное апостериорное распределение рядом с выбранным априорным, обычно стандартным нормальным, чтобы из него можно было сэмплировать новые латенты.
• ELBO оптимизируют потому, что точное правдоподобие данных содержит практически невычислимый интеграл по возможным латентам.

Трюк репараметризации делает случайный сэмплинг латента совместимым с обучением по градиенту.

• Энкодер предсказывает среднее и масштаб, после чего сэмпл записывается как z, равный среднему плюс масштаб, умноженный на случайный эпсилон.
• Эпсилон берется из фиксированного распределения, поэтому случайность отделена от обучаемых выходов энкодера.
• Благодаря этому при обратном распространении градиенты проходят через среднее и масштаб в параметры энкодера.

В GAN генератор учится создавать синтетические примеры, а дискриминатор учится отличать реальные примеры от сгенерированных.

• Генератор превращает случайный шум, а иногда и дополнительное условие, в изображение или другой объект.
• Дискриминатор получает реальные и сгенерированные примеры и решает, настоящие они или поддельные.
• Обновления двух сетей чередуются, поэтому дискриминатор создает обучаемый сигнал для генератора.

Состязательная функция потерь поощряет дискриминатор за разделение реальных и сгенерированных примеров, а генератор за успешный обман дискриминатора.

• Две цели образуют игру, а не фиксированную попиксельную цель для генератора.
• На практике для генератора часто используют несатурирующую функцию потерь, поскольку в начале обучения она дает более сильные градиенты.
• Если одна сеть становится намного сильнее другой, вторая получает слабые градиенты, поэтому важен баланс частоты обновлений и learning rate.

Коллапс мод возникает, когда генератор выдает лишь узкий набор результатов, хотя реальные данные намного разнообразнее.

• Я бы сгенерировал много примеров из разных входных шумов при одинаковых настройках и проверил повторы лиц, поз, композиций или текстур.
• Расстояния в пространстве признаков, кластеризация и метрики покрытия или recall помогают найти низкое разнообразие внутри сгенерированного набора и пропущенные области реального валидационного распределения.
• Резкие отдельные изображения не исключают коллапс, а поиск ближайших обучающих примеров проверяет запоминание, а не разнообразие генерации.

Прямой процесс диффузии постепенно добавляет известный шум к чистым обучающим данным, пока они не становятся близкими к случайному шуму.

• На каждом шаге добавляется небольшая порция гауссовского шума по заранее заданному расписанию.
• Замкнутая формула позволяет сразу получить зашумленный пример для выбранного шага во время обучения.
• Прямой процесс фиксирован, а не обучается; он создает пары зашумленных и чистых данных для обучения денойзера.

Обратное удаление шума начинается со случайного шума и многократно использует обученную модель для оценки менее зашумленного примера.

• Денойзер получает текущий зашумленный латент или изображение вместе с номером шага.
• Планировщик преобразует предсказание модели в следующий пример по выбранному правилу сэмплинга.
• Повторение этого пути к нулевому шагу создает структурированный результат из изученного распределения данных.

Расписание шума определяет, сколько сигнала удаляется или сколько шума добавляется на разных шагах диффузии.

• В зависимости от формулировки и планировщика его выражают через значения beta, alpha или sigma.
• У ранних и поздних шагов разное отношение сигнала к шуму, поэтому денойзер восстанавливает на них разные виды информации.
• Расписания обучения и инференса должны быть совместимы, поскольку произвольное расхождение может ухудшить качество.

Эмбеддинги шага сообщают денойзеру текущий уровень шума, чтобы он применил подходящее преобразование.

• Одна и та же сеть видит входы от почти чистых до почти полностью шумовых.
• Числовой номер шага преобразуется в вектор, часто через синусоидальные признаки и последующие обучаемые слои.
• Этот вектор обуславливает блоки по всему денойзеру, а не обрабатывается как пиксель изображения.

При предсказании epsilon модель оценивает шум в текущем примере, а при предсказании x0 напрямую оценивает чистый пример.

• Зная шаг и расписание, одно предсказание можно математически преобразовать в другое.
• Параметризация меняет масштаб цели и то, как обучение выделяет разные уровни шума.
• Планировщик пайплайна должен интерпретировать выход модели в той параметризации, на которой обучен чекпойнт.

Classifier-free guidance усиливает условие, объединяя условное и безусловное предсказания одного денойзера.

• Во время обучения условие иногда удаляют, чтобы модель научилась обоим режимам.
• На инференсе разница между условным и безусловным предсказаниями масштабируется и добавляется к безусловному результату.
• Высокое значение guidance scale может улучшить следование промпту, но уменьшить разнообразие или создать перенасыщенные артефакты.

Большее число шагов сэмплинга обычно линейно повышает задержку, а прирост качества часто выходит на плато после достаточного числа шагов для выбранной модели и планировщика.

• Каждый шаг обычно требует еще одного запуска денойзера, а это самая дорогая часть генерации изображения.
• При слишком малом числе шагов композиция и мелкие детали могут остаться недоработанными, если модель не обучена или не дистиллирована для короткого сэмплинга.
• Я бы сравнивал варианты на фиксированном наборе промптов и сидов, потому что оптимальное число зависит от планировщика и чекпойнта.

Латентная диффузия выполняет удаление шума в сжатом обученном пространстве, а не напрямую в полноразмерных пикселях.

• Перед обучением диффузии или инференсом с исходным изображением энкодер переводит картинку в меньший пространственный латентный тензор.
• Денойзер обрабатывает меньше значений, поэтому требует меньше памяти и вычислений по сравнению с пиксельной диффузией.
• Декодер превращает итоговый чистый латент обратно в изображение, поэтому качество сжатия все равно влияет на результат.

VAE переводит изображения между пиксельным и латентным пространствами, в котором работает диффузионная модель.

• Энкодер используется для обучающих изображений и для задач img2img или inpainting, начинающихся с картинки.
• Декодер превращает итоговый очищенный латент в видимые пиксели.
• VAE не является основным денойзером, а ошибки реконструкции могут проявиться как сдвиги цвета или потеря мелких деталей даже при успешном денойзинге.

U-Net-денойзер преобразует зашумленное изображение или латент в предсказание, нужное для одного обратного шага диффузии.

• Путь уменьшения разрешения собирает широкий пространственный контекст, а путь увеличения восстанавливает разрешение.
• Пропускающие соединения переносят локальные детали между соответствующими разрешениями.
• Условие по шагу и тексту вводится в блоки сети, чтобы предсказание учитывало и уровень шума, и промпт.

Cross-attention позволяет признакам изображения или латента извлекать нужную информацию из текстовых представлений во время денойзинга.

• Запросы поступают из текущих признаков изображения, а ключи и значения из закодированных токенов промпта.
• Разные пространственные позиции могут обращать внимание на разные слова, помогая связать объекты и атрибуты с областями.
• Cross-attention улучшает обусловливание, но не гарантирует правильный счет, привязку атрибутов или компоновку.

Текстовый энкодер преобразует токенизированный промпт в контекстные векторы, которыми обуславливается денойзер изображения.

• Сначала токенизатор переводит текст в словарь и формат последовательности, ожидаемые этим энкодером.
• Энкодер представляет каждый токен в контексте, поэтому одно слово может получить разные векторы в разных промптах.
• Во многих пайплайнах текстовый энкодер остается замороженным при инференсе и большинстве обучений адаптеров, а денойзер использует его выходы.