Вопросы на собеседовании: AI-инженер

RAG-система индексирует исходные материалы, извлекает релевантные фрагменты для запроса и передает их генератору.

• На этапе загрузки система разбирает документы, делит их на чанки, создает эмбеддинги и сохраняет векторы вместе с текстом и метаданными.
• Во время запроса система преобразует вопрос пользователя в представление для поиска и извлекает из индекса чанки-кандидаты.
• Необязательный реранкер точнее упорядочивает кандидатов, после чего сборщик контекста выбирает и форматирует лучшие фрагменты.
• Языковая модель получает вопрос и собранный контекст, генерирует ответ и может добавить ссылки на сохраненные источники.

Размер чанка и перекрытие определяют баланс между полнотой смысла, точностью поиска и стоимостью контекста.

• Маленькие чанки обычно точнее соответствуют узким вопросам, но могут разорвать объяснение и убрать контекст, нужный для понимания факта.
• Большие чанки сохраняют больше локального контекста, но их эмбеддинги могут описывать несколько тем, а сами чанки занимают больше контекстного окна модели.
• Перекрытие сохраняет информацию у границ чанков, но чрезмерное перекрытие создает дубликаты в результатах, увеличивает индекс и повторяет текст в промпте.
• Выбирайте размеры в токенах с учетом типа документов, затем сравнивайте полноту поиска и качество ответов на репрезентативном наборе для оценки.

Используйте структурный чанкинг, когда границы документа несут смысл, а семантический, когда смена темы важнее форматирования.

• Структурный чанкинг следует заголовкам, абзацам, спискам, таблицам или блокам кода, сохраняя иерархию и связь с источником.
• Семантический чанкинг объединяет соседние предложения по смыслу и ставит границы при смене темы, поэтому подходит для расшифровок и слабо структурированного текста.
• Структурные блоки могут сильно различаться по размеру, поэтому крупные разделы приходится дополнительно делить по токенам, а мелкие объединять.
• Семантический чанкинг дороже, менее детерминирован и может разделить единый структурный блок, поэтому на практике оба подхода часто сочетают.

При parent-child-поиске система ищет по небольшим точным чанкам, но передает модели более крупные родительские разделы.

• Для каждого дочернего чанка создается эмбеддинг с идентификатором родителя, а крупный родительский текст хранится отдельно.
• Поиск выполняется по дочерним чанкам, потому что их сфокусированные эмбеддинги обычно точнее соответствуют конкретным вопросам, чем большие разделы.
• Система удаляет дубли идентификаторов родителей и получает соответствующие разделы либо выбранные соседние чанки для сборки контекста.
• Подход сочетает точность поиска с понятным связным контекстом, но слишком большие родительские разделы добавляют нерелевантный текст и занимают много токенов промпта.

Плотный поиск сопоставляет смысл, разреженный сопоставляет термины, а гибридный объединяет оба сигнала.

• Плотный поиск сравнивает обученные эмбеддинги, поэтому распознает перефразирование и смысловую близость, но может пропускать редкие имена и точные идентификаторы.
• Разреженный поиск, например BM25, учитывает совпадения токенов и редкость терминов, поэтому хорошо находит коды продуктов, имена и точные технические фразы.
• Гибридный поиск запускает оба метода и объединяет их ранги, например с помощью reciprocal rank fusion или взвешивания откалиброванных оценок.
• Выбирайте подход на размеченных запросах, причем гибридный поиск часто подходит корпусам, где естественный язык сочетается с точной терминологией.

Эти методы улучшают поиск по-разному: уточняют один запрос, расширяют его словарь или делят его на более простые запросы.

• Переписывание создает более ясный самостоятельный запрос, например раскрывает местоимения или контекст диалога, сохраняя исходное намерение.
• Расширение создает связанные формулировки, синонимы или вероятные термины, чтобы найти релевантные документы с другой лексикой.
• Декомпозиция делит составной или многошаговый вопрос на подвопросы, доказательства для которых можно найти и объединить.
• Каждый метод может исказить намерение и увеличить стоимость, поэтому сохраняйте исходный запрос и его ограничения, а объединенные результаты оценивайте отдельно.

Предварительная фильтрация сначала ограничивает множество доступных для поиска кандидатов, а последующая удаляет результаты уже после поиска по сходству.

• Предварительная фильтрация применяет жесткие ограничения по тенанту, языку, типу документа или дате до того, как нерелевантные векторы попадут в выдачу.
• Очень избирательные предварительные фильтры могут снизить полноту или эффективность ANN-поиска, если векторный индекс плохо поддерживает поиск с фильтрами.
• Последующая фильтрация удобнее для гибких критериев, но после нее может остаться меньше k допустимых результатов, поскольку часть поисковой выдачи будет потрачена на отброшенных кандидатов.
• Используйте поддерживаемую предварительную фильтрацию для авторизации и других обязательных ограничений, а последующую фильтрацию или расширенный набор кандидатов для мягких предпочтений.

Выбирайте минимальный top-k, который обеспечивает нужную полноту с учетом ограничений по задержке и стоимости последующей обработки.

• Маленький top-k быстрее и дешевле, но более поздние этапы уже не смогут вернуть релевантный фрагмент, оказавшийся сразу за порогом.
• Больший top-k повышает шанс найти нужные данные, но увеличивает объем передаваемой выдачи, работу реранкера и стоимость отбора контекста.
• Top-k не заменяет параметры ширины ANN-поиска, такие как efSearch или nprobe, которые тоже определяют, насколько тщательно индекс исследует кандидатов.
• Измеряйте recall@k и задержку на размеченных запросах, а top-k на этапе retrieval задавайте больше итогового числа чанков, передаваемых модели.

Bi-encoder эффективно находит кандидатов, а cross-encoder точнее ранжирует их небольшой набор с учетом связей между запросом и документом.

• Bi-encoder кодирует запросы и документы независимо, поэтому векторы документов можно вычислить заранее и искать через ANN-индекс.
• Cross-encoder совместно обрабатывает каждую пару запроса и документа, точнее учитывает связи на уровне токенов, но требует отдельного запуска модели для каждой пары.
• Типичный пайплайн получает десятки или сотни кандидатов с помощью bi-encoder, а затем cross-encoder ранжирует их и оставляет гораздо меньший итоговый набор.
• Реранкинг не вернет релевантный документ, пропущенный первым этапом, поэтому до оценки реранкера нужно измерить полноту исходного поиска.

Многоэтапный поиск сужает широкий набор кандидатов все более точными методами, а MMR уменьшает повторы в итоговой выдаче.

• Начальный разреженный, плотный или гибридный поиск извлекает достаточно кандидатов, отдавая приоритет полноте над точностью.
• Затем проверки метаданных, дедупликация и более сильный реранкер сокращают этот набор перед сборкой контекста.
• MMR выбирает каждый следующий чанк, учитывая его релевантность запросу и одновременно штрафуя за сходство с уже выбранными чанками.
• Большее разнообразие улучшает покрытие тем, но может допустить слабые совпадения, поэтому баланс релевантности и разнообразия настраивают по покрытию и качеству ответов.

Текстовые эмбеддинги кодируют изученные признаки, которые помогают располагать связанные входные данные рядом, а не полное или буквальное значение текста.

• Относительная геометрия векторов формируется обучающими данными и целевой функцией и может отражать семантические или синтаксические связи, но отдельные измерения обычно не имеют устойчивого понятного человеку смысла.
• Высокая оценка означает близость в изученном пространстве, но не доказывает логическое следование, совпадение фактов или одинаковое намерение.
• Отрицания, числа, редкие сущности, обрезка текста и смена предметной области могут скрывать важные различия между внешне похожими векторами.
• Качество поиска нужно измерять на размеченных примерах задачи, а точные ограничения обрабатывать фильтрами или реранкером.

Я бы сравнил модели на репрезентативных запросах и документах, учитывая компромисс между релевантностью, размерностью, пропускной способностью и полной стоимостью.

• Обучающие данные и результаты мультиязычной оценки должны охватывать терминологию предметной области, нужные языки и требуемые сценарии межъязыкового поиска.
• Большая размерность может сохранить больше сигнала, но увеличивает объем хранения векторов, требования к пропускной способности памяти и нагрузку на индекс без гарантии лучшего качества.
• Максимальная длина входа, токенизация, производительность пакетной обработки, лицензия и стоимость обработки токенов или собственных вычислений определяют, соответствует ли модель ограничениям.
• Итоговый выбор должны определять recall@k или nDCG на размеченной выборке, после чего модель нужно проверить во всем предполагаемом поисковом пайплайне.

Асимметричные эмбеддинги кодируют запросы и документы с учетом их разных ролей, но отображают их в общее пространство, где релевантные пары получают высокую оценку.

• Кодировщик запросов или инструкция для него ориентированы на кратко сформулированную информационную потребность, а представление документа должно отражать более подробные сведения, способные ее удовлетворить.
• Обе стороны могут использовать общие веса с разными префиксами или отдельные кодировщики, совместно обученные с контрастивной целевой функцией.
• Такой подход полезен, когда распределения запросов и документов различаются, например короткий вопрос должен находить длинный фрагмент.
• Для каждой стороны нужно применять предписанный моделью режим запроса или документа, потому что симметричное кодирование может снизить качество поиска.

Эти метрики ранжируют векторы по-разному, если их нормы не контролируются, поэтому метрика поиска должна соответствовать целевой функции обучения и способу нормализации модели.

• Косинусная схожесть сравнивает направления и не учитывает величину, поскольку делит скалярное произведение на нормы обоих векторов.
• Скалярное произведение учитывает и направление, и величину, что важно, если модель кодирует полезную информацию в длине вектора.
• Евклидово расстояние измеряет длину прямого отрезка между векторами, причем меньшее значение означает большую близость.
• Для нормализованных векторов единичной длины скалярное произведение равно косинусной схожести, а квадрат евклидова расстояния равен двум минус удвоенное значение косинусной схожести.

Я бы стал дообучать модель, только если измеренный базовый уровень показывает, что модель регулярно не улавливает важные различия предметной области, и для обучения есть подходящие пары.

• Сначала анализ ошибок должен исключить более простые причины, например неудачное разбиение текста, слабую разметку или неподходящую метрику схожести.
• Обучающие примеры должны связывать реалистичные запросы с релевантными объектами и содержать информативные отрицательные примеры для контрастивной или ранжирующей функции потерь.
• При разделении на обучающую и валидационную выборки связанные документы, сущности или пользователи не должны пересекаться, чтобы близкие дубликаты не завышали оценки поиска.
• Я бы сравнил исходную и дообученную модели по полноте поиска в предметной области и на более широкой валидационной выборке, а новую модель оставил бы только в том случае, если прирост качества оправдывает дополнительные затраты.

Оба вида нерелевантных примеров формируют границу в пространстве эмбеддингов, но сложные отрицательные примеры намеренно похожи на правильные, а внутрибатчевые повторно используются ради эффективности.

• Сложные отрицательные примеры близки к запросу, но неверны, и их можно находить лексическим поиском, предыдущей моделью или с помощью экспертной разметки.
• При внутрибатчевом обучении положительные документы для других запросов того же батча считаются отрицательными, что даёт много сравнений без дополнительного кодирования.
• Ложноотрицательные пары нужно маскировать, поскольку положительный пример другого запроса может быть релевантен и текущему, особенно в данных с дубликатами или несколькими верными ответами.
• Разнообразные батчи, подходящая температура функции потерь и смесь простых и сложных отрицательных примеров обычно дают более стабильное обучение, чем только самые трудные примеры.

HNSW организует векторы в многоуровневый граф близости и выполняет приближённый жадный поиск от разреженных верхних уровней к плотному нижнему.

• Каждый добавляемый вектор получает случайный максимальный уровень и соединяется с ближайшими соседями, а M примерно ограничивает число связей узла.
• Поиск спускается по верхним уровням в перспективную область, а затем исследует очередь кандидатов на нижнем уровне.
• Увеличение M и efConstruction обычно улучшает связность графа и полноту поиска, но повышает расход памяти, время построения индекса и стоимость вставки.
• Увеличение efSearch расширяет число проверяемых кандидатов и обычно улучшает полноту ценой задержки запроса, причём его значение должно быть не меньше числа запрошенных результатов.

IVF ограничивает поиск выбранными грубыми кластерами, а Product Quantization (PQ) хранит компактные коды и оценивает расстояния вместо точного сравнения всех полных векторов.

• IVF обучает центроиды, назначает каждому вектору инвертированный список и при запросе проверяет только ближайшие списки в количестве nprobe.
• Product Quantization (PQ) делит векторы или их остатки на подвекторы и представляет каждую часть индексом изученного кодового слова.
• Проверка большего числа списков повышает полноту IVF, но увеличивает задержку, а более сильное сжатие экономит память и пропускную способность ценой большей ошибки расстояния.
• Большее число центроидов, частей вектора или битов кода может повысить точность ценой обучения, хранения или вычислений; точный реранкинг возможен, только если полноточные векторы сохранены или загружаются отдельно, и не вернет кандидатов, отсутствующих в коротком списке.

Изменяемые векторные хранилища часто представляют обновление как новую вставку, а старые записи скрывают метками логического удаления до тех пор, пока компакция не перестроит индекс без неактуальных записей.

• При обновлении нужно заменить или сделать недействительным предыдущий вектор с тем же логическим ID, чтобы в результатах возвращалась только последняя актуальная версия.
• При удалении запись можно сразу снабдить меткой логического удаления, даже если физически убрать ее из связей графа или сжатых сегментов на месте слишком дорого.
• Поиск отфильтровывает записи с такими метками, но накопившиеся удаленные элементы занимают место и могут увеличить объем проверки кандидатов или ухудшить качество графа.
• Компакция переписывает сегменты или перестраивает индекс по актуальным записям, освобождая место и сохраняя соответствие ID и согласованное представление данных.

Шардирование распределяет векторы по узлам для увеличения емкости, а репликация хранит копии каждого шарда для повышения доступности и пропускной способности чтения.

• Хеширование ключа с высокой кардинальностью обычно выравнивает объем данных, а шардирование по арендатору локализует владение, но может создать перекос или горячие шарды, если размеры арендаторов сильно различаются.
• Глобальный поиск ближайших соседей часто запрашивает локальные лучшие результаты у всех нужных шардов и объединяет их в итоговый top-k; выборочная маршрутизация сокращает число запросов, но может снизить полноту при ошибке маршрута.
• Реплики должны содержать совместимые векторы и настройки индекса, а выбранная модель согласованности определяет, когда свежие записи становятся видны в каждой копии.
• Увеличение числа шардов добавляет расходы на маршрутизацию и объединение, а реплик на хранение и запись, поэтому оба числа выбирают по требованиям к емкости, задержке и отказоустойчивости.