Вопросы на собеседовании: LLM-инженер

Я бы разделил policy-aware gateway, token-based scheduler, model pools и versioned capability registry, чтобы routing и capacity были явными.

• Gateway enforce trust tier, region, context limit, tools, schema, quotas и deadlines до выбора hosted или self-hosted route.
• Hot models получают resident vLLM или TGI pools по prompt и output distributions, а cold variants используют isolated pools с declared cold-start behavior.
• Load tests на 26 000 requests per minute проверяют 30% headroom, p99 TTFT, output tokens per second, quality и cost каждого route.

Я бы сначала route по data eligibility и measured task quality, затем оптимизировал cost внутри каждого eligible pool.

• Regulated prompts остаются на approved private deployment с pinned weights, regional storage и audited retention; nonregulated traffic может идти в hosted models.
• Common request contract сохраняет messages, tools, schemas, deadlines и usage, а provider-specific adapters открывают features без заявления model equivalence.
• Shadow evaluation сравнивает quality, p95, effective cost per successful task и capacity до переноса части 200 млн daily tokens.

Я бы использовал constrained decoding по versioned JSON Schema и оставил semantic validation вне модели.

• Outlines, Guidance или provider-native grammar ограничивает token choices для syntax, а enums, ranges и cross-field rules выполняются deterministic code.
• Repair retries capped и получают exact validation failures; truncated, contradictory или policy-invalid outputs идут отдельным fallback path.
• Release gate покрывает exact schema validity выше 99,95%, field accuracy, retry rate, p99 и tokens на production-shaped payloads.

Я бы управлял им как resumable token-aware pipeline и доказал required throughput и cost через representative pilot.

• Immutable manifests и deterministic record IDs поддерживают stage checkpoints, idempotent writes, classified retries и resume без duplicate charges.
• Queues группируют records по model, prompt length и output bound, применяя provider batch APIs или self-hosted continuous batching под quota и GPU backpressure.
• Hourly forecasts отслеживают accepted records per second, quality-pass rate, remaining tokens, completion probability и projected spend против 18 часов и $120 000.

Я бы держал shared base replicas resident и dynamically load versioned adapters через bounded cache с key tenant и base revision.

• Registry проверяет tokenizer, target modules, rank, base hash, evaluation и tenant authorization до adapter load.
• Hot adapters replicated по measured demand, cold adapters принимают declared load delay, а eviction использует memory pressure и recent frequency.
• Requests с разными adapters batch только при сохранении adapter isolation engine, и KV или adapter state не пересекают tenant boundaries.

Я бы сделал hard eligibility deterministic и применил calibrated difficulty policy для выбора cheapest model, выполняющей quality floor задачи.

• Context, language, modality, tools, data policy и latency исключают incapable routes до рассмотрения cost learned router.
• Randomized holdouts и shadow labels оценивают false cheap-route acceptance, escalation, p99 и total success без router selection bias.
• Полная routed policy, а не каждая model отдельно, должна выполнить quality и cost targets на production task mixture.

Я бы начал с LoRA, потому что dataset и budget 36 часов не оправдывают optimizer states и gradients всех 70B parameters без evidence quality ceiling.

• Pilot перебирает rank 16, 32 и 64 плюс attention-only против attention-and-MLP targets на fixed held-out set.
• BF16 base weights остаются frozen, а adapter checkpoints, optimizer state, tokenizer, data manifest и exact base revision versioned.
• Full fine-tuning рассматривается, только если LoRA materially не выполняет task floor, а measured throughput и memory plan помещаются на восьми H100.

Я бы загрузил frozen base в 4-bit NF4 с double quantization, обучал BF16 LoRA adapters и потратил memory на activations и sequence throughput.

• Начну с rank 32, alpha 64, dropout около 0,05 и target attention плюс selected MLP projections, затем ablate narrower targets.
• Gradient checkpointing, packed sequences, gradient accumulation и distributed sampler сохраняют продуктивность четырёх GPUs без memory overflow.
• QLoRA сравнивается с BF16 LoRA по held-out quality, training tokens per second, peak memory и merge или serving compatibility.

Я бы выбрал rank 16, если gain 1,1 point у rank 64 не закрывает predefined critical-slice requirement.

• Adapter parameters и memory растут примерно с rank, поэтому rank 64 делает storage, network loading и resident adapter cache примерно в четыре раза тяжелее.
• Ranks сравниваются по task slice, forgetting, latency, batch density и cold-load time, а не только aggregate success.
• Если одна high-value task требует rank 64, этот adapter остаётся exception вместо одинаковой стоимости для всех 100 tenants.

Я бы выбирал mixture weights по target product importance и gradient value, а не копировал raw collection ratio 70:20:10.

• Сначала deduplicate, cap repeated support templates и построить per-domain validation sets с rare и high-risk cases.
• Short mixture pilots вроде 50:30:20 и temperature-smoothed sampling измеряют task gains и interference после equal training tokens.
• Final manifest записывает source counts, sampling weights, licenses, consent и effective examples seen для reproducibility.

Я бы удалил exact и semantic duplicates и quarantined benchmark contamination до любого train-validation split.

• Stable fields normalize, exact records hash, а MinHash или embedding clusters с source-aware thresholds обрабатывают near-duplicate groups.
• Benchmark prompts, references и paraphrases сопоставляются со всеми sources, а provenance сохраняется для exclusion и audit suspected contamination.
• Split по document, customer, conversation и time boundary идёт после grouping с отчётом removed counts и contamination rates по source.

Я бы pack несколько examples в каждую sequence с сохранением loss и boundary semantics.

• Вставляется правильный EOS или separator, padding и prompt tokens вне loss masked, а labels не позволяют одному example leak в другой.
• Bucket by length до packing уменьшает новый padding от long examples, а deterministic packing фиксируется в dataset manifest.
• Измеряются nonpadding-token ratio, examples per step, tokens per second, convergence и held-out quality, а не только GPU utilization.

Я бы calibrated schedule через short range-finding run и задал его в tokens, а не examples или wall-clock time.

• Для LoRA начну conservatively, сравню peak rates вроде 1e-4 и 2e-4 и warmup около 1%-3% planned training tokens.
• Track train и validation loss по domain, gradient norm, update norm, throughput и task evals каждый fixed token interval.
• Stop определяется held-out task saturation или regression, а не завершением arbitrary epoch по duplicated data.

Я бы очистил и sliced pairs, pinned reference model и настроил DPO strength по preference gain и capability regression.

• Agreement analysis разделяет ambiguous pairs, systematic reviewer differences и label errors; uncertain pairs excluded или weighted намеренно.
• Начну с beta sweep 0,05, 0,1 и 0,2 плюс length controls, затем проверю chosen-rejected margins по task.
• Release evaluation включает blinded pairwise win rate, factuality, safety, verbosity, KL movement и base benchmarks на sealed holdout.

Я бы pilot PPO, только если simulator reward robust, а online policy exploration исправляет failures, не покрываемые static pairs.

• Reward precision валидируется на adversarial trajectories, partial success, invalid tools и shortcut behavior до optimization policy против него.
• PPO stack требует rollout workers, reference и value models, advantage estimation, KL control и monitoring reward growth без task improvement.
• Продолжу, только если held-out task success materially выше 58%, а gain покрывает rollout GPU-hours и operational complexity.

Я бы обучил pairwise scorer с domain-balanced sampling и проверил calibration и ranking вне annotators и prompts из training.

• Split по prompt family, time и annotator group предотвращает paraphrase или reviewer leakage с сохранением disagreement и provenance.
• Report pairwise accuracy, calibration, domain и language slices, length bias, position bias и adversarial reward-hacking cases.
• До RL reward rankings сравниваются с blinded human judgments на fresh policy outputs, а не только original 500 000 pairs.

Я бы смешал targeted long-context examples и оценивал position-sensitive tasks вместо предположения, что short SFT сохраняет behavior на 128 000 tokens.

• Включаются retrieval, aggregation и needle tasks по lengths и positions с controlled fraction sequences от 16 000 до 128 000 tokens.
• Packing и length curriculum применяются осторожно, потому что long batches доминируют token count и memory даже при малом числе examples.
• Gate включает short-task quality, long-context retrieval, lost-in-the-middle slices, throughput и memory до принятия tuned model.

Я бы расширял его, только если compression и task gains выше embedding changes и compatibility cost.

• Candidate tokens обучаются на domain text с meaningful frequency и nonoverlap, затем сравниваются average length, truncation и inference tokens с current tokenizer.
• New embeddings требуют careful initialization и достаточного supervised или continued-pretraining exposure при стабильном old-token behavior.
• New tokenizer создаёт distinct model и serving artifact, поэтому adapters, caches, quantized engines и clients не смешивают versions.

Run требует около 30,3 wall-clock hours и примерно 243 H100 GPU-hours с allowance 20%.

• 200 млн делить на 2 200 составляет около 90 909 секунд, или 25,3 hours measured compute time.
• Умножение на 1,2 покрывает evaluation, checkpoints, stragglers и expected interruptions, давая около 30,3 hours.
• Восемь GPUs на 30,3 hours дают около 243 GPU-hours, а storage и failed-run reserve оцениваются отдельно.

Я бы checkpoint не реже каждых 20 минут progress и benchmark asynchronous save time против training throughput.

• Faithful checkpoint включает model или adapter, optimizer, scheduler, scaler, random states, dataloader position и global step под одним manifest.
• Sharded checkpoints не собирают huge full state на rank zero, а periodic consolidated weights поддерживают evaluation и serving.
• Resume tests специально убивают workers и проверяют matching loss и sample order, потому что written checkpoint не доказывает recoverability.