Вопросы на собеседовании: LLM-инженер

Ingestion готовит поисковое представление знаний, а query-time компоненты находят и собирают evidence для одного запроса.

• Ingestion разбирает sources, нормализует metadata, создаёт chunks и embeddings и обновляет indexes со стабильными document IDs.
• Во время запроса система преобразует вопрос, применяет access filters, выполняет retrieval и reranking и упаковывает context для generation.
• Версионирование source, chunker и embedding model делает содержимое index воспроизводимым и позволяет выполнять управляемый reindexing.

Fixed-size chunking следует количеству токенов или символов, а structure-aware сохраняет единицы документа вроде headings, paragraphs, tables и code blocks.

• Fixed windows просты и предсказуемы, но могут разрезать смысловую единицу в случайном месте.
• Structure-aware chunks часто улучшают понятность и качество citations у источников со значимыми границами.
• Оба подхода всё равно требуют size limits, поскольку одна section может превысить бюджет embedding или generation.

Semantic chunking ставит границы при смене темы или смысла, а не только через фиксированную длину.

• Он может сравнивать embeddings соседних предложений или использовать модель для поиска связных sections.
• Более цельные chunks улучшают retrieval, но метод дороже и даёт неравномерные размеры.
• Thresholds и итоговые chunks нужно оценивать на domain questions, а не считать автоматически лучше простой нарезки.

Parent-child retrieval индексирует маленькие child chunks для точного поиска, но возвращает более крупную parent section в context генерации.

• Маленькие children повышают шанс совпадения сфокусированного query с нужным passage.
• Parent восстанавливает окружающие определения и ссылки, потерянные маленьким chunk.
• Parent IDs и offsets должны быть стабильными, чтобы retrieved children указывали на правильную source section.

Multi-vector retrieval хранит несколько представлений одного source item, чтобы разные его аспекты совпадали с query.

• Vectors могут представлять исходный текст, summary, heading, извлечённые вопросы или отдельные fields.
• Совпадение любого representation возвращает тот же source и повышает recall для разных формулировок query.
• Большее число vectors увеличивает index и duplicate matches, поэтому нужны grouping и source-level scoring.

Overlap должен сохранять информацию на границах chunks, не заполняя index и prompt почти одинаковыми фрагментами.

• Для связного текста может быть важна непрерывность предложений, а code и tables требуют собственных структурных границ.
• Избыточный overlap увеличивает storage, смещает ranking к повторному тексту и тратит context tokens.
• Настройка выбирается через retrieval и answer evaluations на репрезентативных типах документов.

Dense retrieval кодирует queries и passages в совместимое vector space и ранжирует passages по vector similarity.

• Dual-encoder models вычисляют query и passage vectors отдельно, поэтому document embeddings индексируются заранее.
• Dense retrieval находит семантическое сходство и paraphrases, но может пропускать точные IDs и редкие terms.
• Качество зависит от embedding model, input formatting, corpus, metric и index configuration.

Sparse retrieval остаётся сильным, когда точные lexical evidence важнее семантического сходства.

• Он хорошо работает с product codes, names, error strings, legal phrases и редкими domain terms.
• BM25 взвешивает частоту и редкость терминов без embedding model и vector index.
• Его слабость на paraphrases дополняет dense retrieval, поэтому методы часто объединяют.

Hybrid search получает результаты обеих систем и объединяет их rankings или откалиброванные scores в один список candidates.

• Reciprocal Rank Fusion объединяет позиции без предположения об общей шкале BM25 и vector scores.
• Weighted score fusion требует normalization и validation, поскольку raw scores имеют разный смысл.
• Fusion weights и candidate depths настраиваются по relevance labels целевого распределения queries.

Metadata filtering должен как можно раньше ограничивать candidates по обязательным access и domain constraints, если retrieval system умеет применить их корректно.

• Pre-filtering исключает retrieval чужих tenants, languages, dates и document classes.
• Post-filtering может оставить слишком мало результатов, поскольку запрещённые candidates уже заняли nearest-neighbor slots.
• Selectivity filters и поддержка index влияют на recall и latency, поэтому поведение vector store нужно проверить.

Cross-encoder оценивает query и candidate вместе и поддерживает взаимодействие на уровне токенов, недоступное отдельным embeddings.

• Обычно он точнее dual encoder для тонких различий релевантности.
• Joint encoding слишком дорог для всего corpus, поэтому применяется к ограниченному набору первого этапа.
• Первый retriever всё равно должен иметь высокий recall, поскольку reranker не вернёт отсутствующий document.

Late-interaction models сохраняют несколько token-level vectors и сравнивают их при query вместо сжатия всего смысла в один vector.

• Это сохраняет более точные matching signals для terms и passages.
• Подход занимает промежуточное место по quality и cost между dual encoders и полными cross-encoders.
• Компромисс состоит в большем index и более дорогом scoring по сравнению с single-vector retrieval.

Query rewriting преобразует ввод пользователя в более ясный retrieval query с сохранением исходной информационной потребности.

• Он разрешает ссылки в диалоге, раскрывает сокращения, нормализует терминологию и удаляет нерелевантные формулировки.
• Исходный вопрос сохраняется для generation, поскольку rewrite может потерять intent или constraints.
• Качество rewrite нужно оценивать, так как связная, но неверная версия ломает все следующие этапы.

Multi-query retrieval создаёт несколько вариантов поиска для одной информационной потребности и объединяет их candidates.

• Варианты покрывают synonyms, разные аспекты и lexical или semantic формулировки.
• Метод повышает recall, если одна формулировка query пропускает релевантные evidence.
• Он добавляет model и retrieval cost и может вызвать topic drift, поэтому требует deduplication и evaluation.

HyDE просит модель создать гипотетический релевантный документ и использует его embedding для поиска реальных документов.

• Гипотетический текст может быть ближе к языку и деталям ответа, чем короткий вопрос.
• Retrieval использует generated representation, а не гипотетические утверждения как фактические evidence.
• HyDE помогает сложным queries, но может направить поиск к неподтверждённым предположениям модели.

Query decomposition полезен, когда один вопрос содержит несколько фактов или reasoning steps с разными evidence.

• Каждый subquery получает сфокусированный набор passages вместо одного embedding для всего запроса.
• Результаты объединяются в рамках исходного вопроса, чтобы не потерять связи и constraints.
• Лишняя decomposition увеличивает latency и накапливает ошибки generated subquestions.

Contextual compression извлекает или выбирает части retrieved content, наиболее релевантные текущему query, до generation.

• Он уменьшает token use и отвлекающий материал в больших source chunks.
• Compression может использовать rules, sentence selection или другую модель.
• Compressor способен удалить qualifiers или evidence, поэтому faithfulness оценивается по исходному source.

Retrieval embeddings обычно обучаются с contrastive objectives, сближающими релевантные пары и отдаляющими нерелевантные.

• Positive pairs могут быть query-document, title-passage, duplicates и семантически эквивалентные examples.
• Hard negatives учат модель отличать правдоподобные, но неверные candidates от настоящих совпадений.
• Распределение training pairs определяет, какое понятие similarity изучит модель.

Asymmetric embedding models используют разные instructions, prefixes или encoders, поскольку query и document выполняют разные роли.

• Query обычно короткий и выражает потребность, а passage содержит ответ в другом стиле.
• Правильные prefixes согласуют оба inputs с training objective и общим vector space.
• Использование document format для queries снижает качество, даже если dimensions vectors всё ещё совпадают.

Normalization меняет magnitude vector и определяет, когда cosine similarity, dot product и Euclidean distance дают эквивалентный ranking.

• Для unit-normalized vectors cosine similarity равна dot product, а Euclidean distance монотонно связана с ними.
• Без normalization dot product также учитывает magnitude vector.
• Метрика index должна соответствовать рекомендации embedding model и способу сохранения vectors.