Вы отвечаете за четыре AI-продукта с годовой выручкой $12 млн, шестью командами и инвестиционным бюджетом $4 млн на следующие 12 месяцев. Как вы распределите ресурсы портфеля, если два продукта растут быстрее 30%, а два медленнее 5%?

Я бы финансировал портфель по удерживаемой экономической ценности и скорости обучения, а не делил шесть команд поровну между четырьмя продуктами. - Я бы направил три команды и 50% бюджета на два растущих продукта, только если каждый покажет путь минимум к $3 млн дополнительного ARR при валовой марже 70%. - Медленные продукты получили бы по одной команде на 90-дневный тест удержания или репозиционирования с явными порогами, например 10 платными дизайн-партнёрами и ростом выполнения еженедельных задач на 15%. - Шестая команда отвечала бы за общие eval, routing и governance-возможности, а продукт, не прошедший два квартальных порога, лишался бы следующего транша.

Ваш продукт для AI-операций обслуживает 120 компаний в 6 отраслях, 40 партнеров хотят добавлять отраслевые evals и workflow, а бюджет экосистемы составляет $3 млн на 12 месяцев. Какую платформенную стратегию вы выберете?

Я бы создал управляемую платформу вкладов, где партнеры получают дистрибуцию и долю выручки за доказанное улучшение клиентских результатов, а не каталог слабо проверенных дополнений. - 50% бюджета я направлю на общие интерфейсы workflow и evals, 30% на совместное финансирование лучших отраслевых вкладов и 20% на независимую проверку и работу с партнерами. - Вклад попадет в marketplace только после общих проверок безопасности, отраслевого гейта качества и пилотов минимум с 3 клиентами; затем его позиция и доля выручки будут зависеть от подтвержденного использования и влияния на продления. - Product сохранит право решения по общим схемам, релизным гейтам и удалению, а отраслевой совет сможет предлагать стандарты, не отдавая контроль ни 1 партнеру. - Я ограничу финансирование одной отрасли 35% годового бюджета и буду ежеквартально переносить средства к повторно используемым workflow и evals, которые применяют минимум 5 клиентов.

Совет директоров просит трёхлетний AI-роадмап, но цены foundation-моделей упали на 60% за 18 месяцев, а важные возможности меняются каждые шесть месяцев. Как вы распределите $9 млн между тремя горизонтами, не притворяясь, что рынок моделей предсказуем?

Я бы зафиксировал устойчивые клиентские возможности и варианты решений, а привязанные к конкретным моделям инвестиции выдавал бы шестимесячными траншами. - Первый год получил бы $4 млн на eval, управляемые данные и два workflow с подтверждённым спросом, потому что эти активы сохранят ценность при смене провайдера. - На второй и третий годы я бы зарезервировал $3 млн на масштабирование доказанных workflow и $2 млн на опционы, открываемые только после прохождения порогов возможностей, unit-cost и регулирования. - Каждые шесть месяцев я бы заново проводил бенчмарки провайдеров и пересчитывал роадмап, а совет видел бы фиксированные исходы вроде ускорения обработки кейсов на 25%, а не обещания вокруг одной модели.

Спроектируйте продуктовые требования к multi-tenant inference-сервису для 140 регулируемых клиентов, 60 млн вызовов в месяц, SLA доступности 99,95% и обязательств по резидентности данных в США и ЕС.

Я бы сделал изоляцию тенантов, routing с учётом политик, аудит и управляемую деградацию первичными продуктовыми требованиями, а не примечаниями к реализации. - До первого production-вызова у каждого тенанта должны быть явно заданы регион, список одобренных моделей, политика хранения, граница шифрования и аудируемая история настроек. - Сервис должен показывать p95 latency, статус quality gate, стоимость и доступность по каждому тенанту, не позволяя общей метрике скрыть нарушение у регулируемого клиента. - Контракт запуска должен включать протестированное fallback-поведение, определение SLI 99,95%, цель уведомить клиента о существенной утечке за 30 минут и квартальные выгрузки доказательств для compliance-команд.

Семь продуктов делают 80 млн вызовов моделей в месяц через трёх провайдеров при бюджете $0,018 на средний вызов и p95 latency ниже 1,8 секунды. Какую продуктовую политику должен обеспечивать общий model gateway?

Я бы определил routing как управляемую продуктовую политику на основе риска задачи, минимального качества, потолка стоимости и класса latency. - Каждый workflow должен объявить risk tier, одобренные модели, минимальный eval score, максимальную стоимость и fallback-поведение в версионируемом контракте, за который вместе отвечают PM и технический лидер. - Low-risk черновики можно направлять в самую дешёвую модель с task success не ниже 88%, а регулируемые решения оставлять на моделях, проходящих релевантный срез на 97% и требования к раскрытию. - Ежемесячный совет должен разбирать изменения routing дороже $50 000 или сдвигающие качество на два пункта, а исключение допускается только на ограниченный срок и с владельцем.

Модель вендора позволяет запустить юридического ассистента за четыре месяца и стоит $1,8 млн за два года, а внутренняя модель требует 14 человек, 12 месяцев и $5,5 млн, но может поднять доменную точность с 91% до 95%. Как вы примете build-versus-buy решение?

Я бы купил модель для первого запуска, если только четыре пункта доменного прироста не меняют существенные юридические исходы или не создают защитимый актив стоимостью выше дополнительных восьми месяцев и $3,7 млн. - 24-месячная модель должна учитывать интеграцию, evaluation, review-операции, compliance, миграцию и выход, а не только API и зарплаты. - Я бы провёл шестинедельный слепой бенчмарк минимум на 1 500 репрезентативных делах и оценил, как 91% против 95% меняют часы ревью, ответственность и контрактную ценность. - Если внутренний путь не показывает возврат выше vendor-варианта за два года и реалистичный план найма, я бы договорился о переносимости и купил решение вместо финансирования спекулятивного владения.

Вам нужно выбрать между AWS Bedrock, Azure AI и прямым поставщиком модели для 35 enterprise-тенантов, $6 млн контрактного ARR, запуска за 90 дней и резидентности данных в ЕС. Как вы проведёте отбор?

Я бы провёл взвешенный отбор по клиентским и бизнес-требованиям, сделав резидентность и договорные контроли обязательными условиями. - Сначала shortlist должен пройти условия обработки в ЕС, запрет обучения на данных, доступ к нужным моделям, аудиторские доказательства и 90-дневное окно интеграции. - Остальная оценка дала бы 35% качеству задачи, 25% двухлетнему TCO, 20% надёжности и поддержке, 10% переносимости и 10% соответствию роадмапу. - Я бы проверил финалистов на golden set из 2 000 кейсов и начал переговоры с победителем только после доказательства жизнеспособного fallback у второго места, чтобы сохранить ценовой рычаг.

Поставщик foundation-модели предлагает скидку 25% за трёхлетний минимальный коммит $14 млн, но прогноз спроса лежит между $9 млн и $18 млн, а новая модель может перевести 40% трафика за год. Каких условий партнёрства вы добиваетесь?

Я бы не обменивал неопределённый спрос на жёсткое обязательство $14 млн без переносимости и защиты downside-сценария. - Я бы предложил годовые коммиты $2 млн, $3 млн и $4 млн, сохранив трёхлетнюю базу на уровне downside-сценария $9 млн и перенося неиспользованную сумму вперёд. - Контракту нужны пересмотр цены по результатам бенчмарков, уведомление о снятии модели минимум за 180 дней, ограничения использования данных, service credits и право выхода после существенного изменения политики. - Объём выше $9 млн я бы обменивал на более крупные предельные скидки вместо гарантии оптимистичного прогноза $18 млн.

Один поставщик обрабатывает 65% модельных вызовов продуктов с $18 млн ARR, но предлагает уведомлять о существенных изменениях только за 30 дней. Какую коммерческую и продуктовую политику выхода вы потребуете до продления через 14 дней?

Я бы сделал готовность к выходу условием продления с договорными правами, обязательствами перед клиентами и профинансированными продуктовыми доказательствами, а не принимал общее обещание переносимости. - Procurement добивается уведомления минимум за 90 дней о снятии или существенном изменении поведения, 30-дневного права на тестирование, экспорта разрешенных артефактов, поддержки перехода и определенных сервисных кредитов или вариантов расторжения при нарушении этих условий. - Product поддерживает приемочные тесты переносимости для каждого критичного по выручке workflow: качество, стоимость, latency, safety и видимое клиенту поведение; одобренная альтернатива должна обслуживать 80% взвешенного по выручке трафика. - Мы храним независимые от поставщика промпты, результаты evals, историю конфигураций и разрешенные записи взаимодействий в контролируемых форматах, отдельно фиксируя артефакты, которые нельзя забрать у поставщика. - Я опубликую обязательства перед клиентами по уровням контрактов и направлю 60% бюджета устойчивости на второго поставщика, 25% на независимые артефакты и 15% на ежегодные учения по выходу.

Двенадцать команд выпускают 400 AI-изменений в месяц в продукты с 20 млн вызовов, а регрессии нужно обнаруживать за 15 минут. Как управлять платформой eval-as-CI, не блокируя low-risk итерации?

Я бы использовал risk-tiered release gates, чтобы критические поведения всегда блокировали релиз, а low-risk изменения получали быстрые узкие проверки. - Workflow первого уровня должны запускать все срезы безопасности, политик и изоляции тенантов плюс статистически ограниченные quality checks; любой критический провал блокирует релиз независимо от среднего score. - Изменения текста третьего уровня могут использовать smoke set из 500 кейсов до пяти минут, затем полный ночной suite и автоматический rollback при росте жалоб более чем на 20% от baseline. - Внедрение платформы измеряется 95% релизов с gate, медианной обратной связью быстрее 15 минут, false-block rate ниже 1% и именными исключениями сроком до семи дней.

У вас есть $900 000 годового бюджета на качество AI для 36 enterprise-контрактов с $28 млн ARR, но их риски и требования к клиентским доказательствам сильно различаются. Как вы распределите бюджет на следующие 12 месяцев?

Я бы распределял бюджет качества по ожидаемому ущербу и ценности контрактов, сохранив управляемый резерв для новых доказательств, а не давал каждому клиенту одинаковое покрытие. - 45% пойдет на workflow с тяжелыми последствиями и договорными порогами качества, 25% на клиентов с наибольшим риском для продлений, 20% на общие межклиентские eval-доказательства и 10% в квартальный резерв. - Распределение по аккаунтам учитывает ARR, тяжесть последствий, наблюдаемую частоту сбоев и стоимость получения специфичных клиенту доказательств; Sales не получает бюджет только за эскалацию крупного логотипа. - Клиенты с уникальными требованиями получают оцененный отдельной ценой пакет доказательств, а повторно используемые результаты переходят в общую программу, а не остаются внутри аккаунта. - Ежеквартальный совет из Product, Risk, Customer Success и Finance перераспределяет средства, если риск непродления контракта превышает 15% или появляется критический класс сбоев.

У вас есть $2 млн на приобретение данных из support-транскриптов, лицензированных отраслевых документов и синтетических кейсов, но согласие покрывает только 55% из 30 млн исторических взаимодействий. Как вы распределите портфель на год?

Я бы покупал данные только там, где они закрывают измеримый пробел качества продукта, сохраняя права и происхождение жёсткими ограничениями портфеля. - Я бы направил $800 000 на разрешённые support-исходы, улучшающие самые массовые workflow, фиксируя клиентский обмен ценностью и отзыв согласия у источника. - Ещё $700 000 пошли бы на лицензированные доменные материалы, где свежесть и авторитетность определяют качество цитат, а $300 000 на созданные экспертами редкие risk-кейсы, редко встречающиеся в production. - Последние $200 000 тестировали бы synthetic augmentation, но оно получило бы расширение только при совпадении распределения ошибок в слепом человеческом ревью и приросте минимум на два пункта на нетронутых реальных кейсах.

Три labeling-вендора должны выдавать 120 000 многоязычных оценок в месяц за $180 000 с согласием ревьюеров 0,80 и turnaround 48 часов. Какую операционную модель вы установите?

Я бы разделил объём для сохранения конкуренции, централизовал rubric и платил за принятое качество, а не за сырые метки. - Два вендора получили бы по 40% объёма, третий 20%, а общий overlap set в 5% использовался бы еженедельно для сравнения согласия, смещения и turnaround. - Оплата требовала бы минимум 0,80 согласия на обычных кейсах, 95% выполнения за 48 часов и эскалации регулируемых кейсов сертифицированным доменным ревьюерам. - Ежемесячная калибровка разбирала бы 100 кейсов с наибольшим расхождением, обновляла одну контролируемую версию rubric и сдвигала объём следующего месяца к лучшему вендору максимум на 15 пунктов.

AI-продукт для обработки страховых заявлений разбирает 30 000 кейсов в день с 25 ревьюерами, SLA решения четыре часа и максимальной долей серьёзных ошибок 2%. Как вы спроектируете human review operations?

Я бы ограничил human review измеримой мощностью и распределял её по неопределённости и последствиям. - При восьмиминутном handle time 25 ревьюеров за восьмичасовую смену имеют общую мощность 1 500 кейсов в день; резерв 10% на QA и пики оставляет routing-бюджет 1 350 кейсов, или 4,5% из 30 000 ежедневных кейсов. - Я бы распределил бюджет 1 350 кейсов по часовому потоку так, чтобы самый старый кейс ждал меньше трёх часов; страховые заявления на сумму свыше $25 000 и конфликты политик получили бы приоритет, а low-risk переполнение ушло бы в отложенную обработку. - Еженедельный QA повторно проверял бы 5% завершённых кейсов, считал отмены и серьёзные ошибки по ревьюеру и версии модели и пересматривал порог маршрутизации при приближении серьёзных ошибок к 2%.

Девять продуктов хотят перейти на новую модель за 30 дней, потому что она дешевле на 35%, но прирост качества лежит от плюс 4 до минус 6 пунктов на 24 клиентских срезах. Какую политику приёмки версии модели вы установите?

Я бы принимал модель по каждому workflow и срезу, а не объявлял единого победителя для всего флота по средней стоимости или качеству. - Каждый продукт должен пройти критические срезы golden set, контракт structured output, latency SLO и cost forecast с версионируемым bundle модели, промпта, retrieval и tool-настроек. - Workflow с потерями выше заранее согласованного допуска, включая любой регулируемый срез ниже абсолютного порога, остаются на старой модели, даже если портфель экономит 35%. - Принятые workflow проходят этапы 5%, 25% и 100% трафика с выдержкой 24 часа, а предыдущий bundle остаётся готовым к rollback минимум 30 дней.

Новая модель показывает 84% task success в работе с изображениями, 91% в tool use и 76% на длинном контексте, а шесть продуктовых команд хотят объявить все три возможности за восемь недель. Как вы определите release tiers?

Я бы выпускал каждую возможность на уровне, подтверждённом доказательствами, а не продавал модель как единый равномерно готовый продукт. - Tool use может выйти в контролируемый GA, если критические действия проходят safety floor продукта, а 20 дизайн-партнёров завершают четыре недели без серьёзного сбоя. - Работа с изображениями останется в beta с явным списком типов документов, human-review путём и целью 90% success перед GA. - Длинный контекст останется экспериментом для внутренних пользователей, пока не пройдёт 85% на позиционных и языковых срезах, без enterprise SLA и sales claim.

Пять AI-продуктов делят годовой inference-бюджет $3 млн, но их success лежит от 72% до 94%, а p95 latency от 0,8 до 4,5 секунды. Какой межпродуктовый utility scorecard вы используете в квартальном планировании?

Я бы сравнивал продукты по ценности на ограниченный доллар, сохраняя жёсткие пороги качества и latency вне взвешенного score. - Каждый продукт должен показывать успешные пользовательские исходы на 1 000 вызовов, валовую прибыль на успешный исход, p95 latency, долю серьёзных сбоев и доверие по ключевым клиентским срезам. - Нормализованный utility score может давать 40% дополнительной валовой прибыли, 30% task success, 15% latency и 15% trust, но продукт с нарушением risk floor не получает финансирование роста. - Квартальные решения должны использовать предельные кривые, например сколько два пункта качества или 300 миллисекунд покупают следующие $100 000, а не награждать лучший текущий average.

Девять продуктовых команд запрашивают 38 AI-экспериментов на квартал, но подходит только 12% трафика, а центральная группа может одновременно контролировать 6 high-risk тестов. Как за 10 дней вы распределите трафик и права решений?

Я бы управлял трафиком и надзором как дефицитной портфельной мощностью, распределяемой по ожидаемой ценности решения, а не по старшинству команды или очередности заявки. - Команды оценивают предложения по ценности для клиента, снимаемой неопределенности, нужной выборке, обратимости и риску; Product и Analytics направляют 70% трафика на приоритетные обязательства, 20% на исследовательские тесты и 10% на повторные проверки. - Общие контроли задают правила исключения, пороги риска, окна исходов и проверки конфликтов, а команды отвечают за гипотезы и продуктовое действие после валидного результата. - Межпродуктовый совет владеет приоритизацией и допускает не более 6 одновременных high-risk тестов; Risk может остановить экспозицию, но руководитель не может объявить победителя до выполнения подписанного правила решения. - Мощность пересматривается каждые 2 недели, а команда, не прошедшая проверку инструментирования или готовности к решению, отдает свой трафик следующему эксперименту в рейтинге.

Copilot обслуживает 200 000 enterprise-администраторов и показывает 93% task success, но только 48% говорят, что доверяют ему, а ручная проверка добавляет шесть минут на задачу. Как вы измерите и улучшите trust за два квартала?

Я бы определил trust как откалиброванное доверие, сокращающее работу без роста вредного принятия, а не только как позитивный ответ в опросе. - Scorecard должен сочетать подтверждённое принятие, correction rate, время проверки, уместное отклонение неверных предложений и квартальный опрос уверенности по workflow. - Я бы сегментировал шестиминутную нагрузку проверки по наличию цитат, последствиям действия и стажу пользователя, затем протестировал provenance и uncertainty cues на двух крупнейших причинах. - Успех через два квартала означает время проверки ниже трёх минут, серьёзные принятые ошибки не выше baseline и survey trust выше 65% без сокрытия слабых ролей.

Юридический ассистент создаёт 2 млн ответов в месяц, 4% содержат неподтверждённые утверждения, а enterprise-контракты требуют цитат для 100% юридических выводов. Какой продуктовый стандарт вы установите для hallucinations и citations?

Я бы требовал доказательство на уровне утверждения или явный отказ для каждого юридического вывода, а неподтверждённые критические утверждения блокировали бы релиз. - Контракт ответа должен связывать каждый вывод с доступным фрагментом источника и различать цитируемое основание, вывод и неразрешённый конфликт. - Release gates должны требовать минимум 98% citation precision, 100% citation coverage для юридических выводов и ноль выдуманных источников в critical set из 2 000 кейсов. - Production должен еженедельно проверять выборку из 1 000 ответов на groundedness, давать пользователю кнопку репорта и отключать генерацию в домене, если неподтверждённые критические утверждения превышают 0,5%.

Вопросы на собеседовании: AI Product Manager

100 реальных вопросов с образцовыми ответами и пояснениями для уровня Senior.

Смотреть пример резюме: AI Product Manager →

Тренировка флешкарточками

Интервальное повторение · Hunter Pass

Вопросы

portfolio

Я бы финансировал портфель по удерживаемой экономической ценности и скорости обучения, а не делил шесть команд поровну между четырьмя продуктами.

Я бы направил три команды и 50% бюджета на два растущих продукта, только если каждый покажет путь минимум к $3 млн дополнительного ARR при валовой марже 70%.
Медленные продукты получили бы по одной команде на 90-дневный тест удержания или репозиционирования с явными порогами, например 10 платными дизайн-партнёрами и ростом выполнения еженедельных задач на 15%.
Шестая команда отвечала бы за общие eval, routing и governance-возможности, а продукт, не прошедший два квартальных порога, лишался бы следующего транша.

Зачем это спрашивают: Интервьюер проверяет, умеет ли кандидат концентрировать ресурсы портфеля, защищать общие AI-возможности и закрывать слабые ставки по числовым порогам.

platform

Я бы создал управляемую платформу вкладов, где партнеры получают дистрибуцию и долю выручки за доказанное улучшение клиентских результатов, а не каталог слабо проверенных дополнений.

50% бюджета я направлю на общие интерфейсы workflow и evals, 30% на совместное финансирование лучших отраслевых вкладов и 20% на независимую проверку и работу с партнерами.
Вклад попадет в marketplace только после общих проверок безопасности, отраслевого гейта качества и пилотов минимум с 3 клиентами; затем его позиция и доля выручки будут зависеть от подтвержденного использования и влияния на продления.
Product сохранит право решения по общим схемам, релизным гейтам и удалению, а отраслевой совет сможет предлагать стандарты, не отдавая контроль ни 1 партнеру.
Я ограничу финансирование одной отрасли 35% годового бюджета и буду ежеквартально переносить средства к повторно используемым workflow и evals, которые применяют минимум 5 клиентов.

Зачем это спрашивают: Интервьюер проверяет, умеет ли кандидат выстроить стимулы партнеров, управление и портфельные ограничения так, чтобы внешние отраслевые вклады повышали ценность AI-продукта.

roadmaproadmapping

Я бы зафиксировал устойчивые клиентские возможности и варианты решений, а привязанные к конкретным моделям инвестиции выдавал бы шестимесячными траншами.

Первый год получил бы $4 млн на eval, управляемые данные и два workflow с подтверждённым спросом, потому что эти активы сохранят ценность при смене провайдера.
На второй и третий годы я бы зарезервировал $3 млн на масштабирование доказанных workflow и $2 млн на опционы, открываемые только после прохождения порогов возможностей, unit-cost и регулирования.
Каждые шесть месяцев я бы заново проводил бенчмарки провайдеров и пересчитывал роадмап, а совет видел бы фиксированные исходы вроде ускорения обработки кейсов на 25%, а не обещания вокруг одной модели.

Зачем это спрашивают: Интервьюер ждёт роадмап, который сохраняет стратегическое направление и справляется с неопределённостью моделей через поэтапный капитал и регулярные доказательства.

designmulti-tenancyinference

Я бы сделал изоляцию тенантов, routing с учётом политик, аудит и управляемую деградацию первичными продуктовыми требованиями, а не примечаниями к реализации.

До первого production-вызова у каждого тенанта должны быть явно заданы регион, список одобренных моделей, политика хранения, граница шифрования и аудируемая история настроек.
Сервис должен показывать p95 latency, статус quality gate, стоимость и доступность по каждому тенанту, не позволяя общей метрике скрыть нарушение у регулируемого клиента.
Контракт запуска должен включать протестированное fallback-поведение, определение SLI 99,95%, цель уведомить клиента о существенной утечке за 30 минут и квартальные выгрузки доказательств для compliance-команд.

Зачем это спрашивают: Интервьюер оценивает, умеет ли PM переводить потребности регулируемого enterprise в проверяемые продуктовые контракты без ухода в низкоуровневую инфраструктуру.

latencygateway

Я бы определил routing как управляемую продуктовую политику на основе риска задачи, минимального качества, потолка стоимости и класса latency.

Каждый workflow должен объявить risk tier, одобренные модели, минимальный eval score, максимальную стоимость и fallback-поведение в версионируемом контракте, за который вместе отвечают PM и технический лидер.
Low-risk черновики можно направлять в самую дешёвую модель с task success не ниже 88%, а регулируемые решения оставлять на моделях, проходящих релевантный срез на 97% и требования к раскрытию.
Ежемесячный совет должен разбирать изменения routing дороже $50 000 или сдвигающие качество на два пункта, а исключение допускается только на ограниченный срок и с владельцем.

Зачем это спрашивают: Сильный ответ рассматривает gateway как межпродуктовую систему решений с явными продуктовыми контролями, а не описывает инфраструктуру маршрутизации запросов.

procurementlaunchesbuild-vs-buy

Я бы купил модель для первого запуска, если только четыре пункта доменного прироста не меняют существенные юридические исходы или не создают защитимый актив стоимостью выше дополнительных восьми месяцев и $3,7 млн.

24-месячная модель должна учитывать интеграцию, evaluation, review-операции, compliance, миграцию и выход, а не только API и зарплаты.
Я бы провёл шестинедельный слепой бенчмарк минимум на 1 500 репрезентативных делах и оценил, как 91% против 95% меняют часы ревью, ответственность и контрактную ценность.
Если внутренний путь не показывает возврат выше vendor-варианта за два года и реалистичный план найма, я бы договорился о переносимости и купил решение вместо финансирования спекулятивного владения.

Зачем это спрашивают: Интервьюер проверяет, принимается ли build-versus-buy через стратегический рычаг и полную экономику, а не любовь к собственной технологии.

procurementlaunches

Я бы провёл взвешенный отбор по клиентским и бизнес-требованиям, сделав резидентность и договорные контроли обязательными условиями.

Сначала shortlist должен пройти условия обработки в ЕС, запрет обучения на данных, доступ к нужным моделям, аудиторские доказательства и 90-дневное окно интеграции.
Остальная оценка дала бы 35% качеству задачи, 25% двухлетнему TCO, 20% надёжности и поддержке, 10% переносимости и 10% соответствию роадмапу.
Я бы проверил финалистов на golden set из 2 000 кейсов и начал переговоры с победителем только после доказательства жизнеспособного fallback у второго места, чтобы сохранить ценовой рычаг.

Зачем это спрашивают: Интервьюер ждёт защищаемое vendor-решение, объединяющее enterprise-ограничения, доменные доказательства, экономику и переговорный рычаг.

Я бы не обменивал неопределённый спрос на жёсткое обязательство $14 млн без переносимости и защиты downside-сценария.

Я бы предложил годовые коммиты $2 млн, $3 млн и $4 млн, сохранив трёхлетнюю базу на уровне downside-сценария $9 млн и перенося неиспользованную сумму вперёд.
Контракту нужны пересмотр цены по результатам бенчмарков, уведомление о снятии модели минимум за 180 дней, ограничения использования данных, service credits и право выхода после существенного изменения политики.
Объём выше $9 млн я бы обменивал на более крупные предельные скидки вместо гарантии оптимистичного прогноза $18 млн.

Зачем это спрашивают: Сильный ответ показывает, что партнёрство с моделью является портфельным опционом, чья экономика включает разброс спроса, смену моделей и право выхода.

procurement

Я бы сделал готовность к выходу условием продления с договорными правами, обязательствами перед клиентами и профинансированными продуктовыми доказательствами, а не принимал общее обещание переносимости.

Procurement добивается уведомления минимум за 90 дней о снятии или существенном изменении поведения, 30-дневного права на тестирование, экспорта разрешенных артефактов, поддержки перехода и определенных сервисных кредитов или вариантов расторжения при нарушении этих условий.
Product поддерживает приемочные тесты переносимости для каждого критичного по выручке workflow: качество, стоимость, latency, safety и видимое клиенту поведение; одобренная альтернатива должна обслуживать 80% взвешенного по выручке трафика.
Мы храним независимые от поставщика промпты, результаты evals, историю конфигураций и разрешенные записи взаимодействий в контролируемых форматах, отдельно фиксируя артефакты, которые нельзя забрать у поставщика.
Я опубликую обязательства перед клиентами по уровням контрактов и направлю 60% бюджета устойчивости на второго поставщика, 25% на независимые артефакты и 15% на ежегодные учения по выходу.

Зачем это спрашивают: Сильный ответ рассматривает выход от поставщика как коммерческую и клиентскую продуктовую политику с договорными целями, приемочными доказательствами, контролируемыми артефактами и распределенными инвестициями.

risk-managementiteration

Я бы использовал risk-tiered release gates, чтобы критические поведения всегда блокировали релиз, а low-risk изменения получали быстрые узкие проверки.

Workflow первого уровня должны запускать все срезы безопасности, политик и изоляции тенантов плюс статистически ограниченные quality checks; любой критический провал блокирует релиз независимо от среднего score.
Изменения текста третьего уровня могут использовать smoke set из 500 кейсов до пяти минут, затем полный ночной suite и автоматический rollback при росте жалоб более чем на 20% от baseline.
Внедрение платформы измеряется 95% релизов с gate, медианной обратной связью быстрее 15 минут, false-block rate ниже 1% и именными исключениями сроком до семи дней.

Зачем это спрашивают: Интервьюер проверяет, умеет ли кандидат сочетать скорость релизов с непреложными контролями качества и безопасности AI для многих команд.

risk-management

Я бы распределял бюджет качества по ожидаемому ущербу и ценности контрактов, сохранив управляемый резерв для новых доказательств, а не давал каждому клиенту одинаковое покрытие.

45% пойдет на workflow с тяжелыми последствиями и договорными порогами качества, 25% на клиентов с наибольшим риском для продлений, 20% на общие межклиентские eval-доказательства и 10% в квартальный резерв.
Распределение по аккаунтам учитывает ARR, тяжесть последствий, наблюдаемую частоту сбоев и стоимость получения специфичных клиенту доказательств; Sales не получает бюджет только за эскалацию крупного логотипа.
Клиенты с уникальными требованиями получают оцененный отдельной ценой пакет доказательств, а повторно используемые результаты переходят в общую программу, а не остаются внутри аккаунта.
Ежеквартальный совет из Product, Risk, Customer Success и Finance перераспределяет средства, если риск непродления контракта превышает 15% или появляется критический класс сбоев.

Зачем это спрашивают: Интервьюер проверяет, умеет ли кандидат направлять ограниченный бюджет enterprise-качества с учетом риска, коммерческой важности и повторно используемых клиентских доказательств, не уходя в механику датасета.

portfolio

Я бы покупал данные только там, где они закрывают измеримый пробел качества продукта, сохраняя права и происхождение жёсткими ограничениями портфеля.

Я бы направил $800 000 на разрешённые support-исходы, улучшающие самые массовые workflow, фиксируя клиентский обмен ценностью и отзыв согласия у источника.
Ещё $700 000 пошли бы на лицензированные доменные материалы, где свежесть и авторитетность определяют качество цитат, а $300 000 на созданные экспертами редкие risk-кейсы, редко встречающиеся в production.
Последние $200 000 тестировали бы synthetic augmentation, но оно получило бы расширение только при совпадении распределения ошибок в слепом человеческом ревью и приросте минимум на два пункта на нетронутых реальных кейсах.

Зачем это спрашивают: Интервьюер ждёт, что расходы на данные следуют продуктовым пробелам, правам и измеримой предельной ценности, а не сырому объёму.

procurement

Я бы разделил объём для сохранения конкуренции, централизовал rubric и платил за принятое качество, а не за сырые метки.

Два вендора получили бы по 40% объёма, третий 20%, а общий overlap set в 5% использовался бы еженедельно для сравнения согласия, смещения и turnaround.
Оплата требовала бы минимум 0,80 согласия на обычных кейсах, 95% выполнения за 48 часов и эскалации регулируемых кейсов сертифицированным доменным ревьюерам.
Ежемесячная калибровка разбирала бы 100 кейсов с наибольшим расхождением, обновляла одну контролируемую версию rubric и сдвигала объём следующего месяца к лучшему вендору максимум на 15 пунктов.

Зачем это спрашивают: Интервьюер оценивает, есть ли у vendor labeling измеримый контроль качества, калибровка и коммерческие стимулы.

designconcurrency

Я бы ограничил human review измеримой мощностью и распределял её по неопределённости и последствиям.

При восьмиминутном handle time 25 ревьюеров за восьмичасовую смену имеют общую мощность 1 500 кейсов в день; резерв 10% на QA и пики оставляет routing-бюджет 1 350 кейсов, или 4,5% из 30 000 ежедневных кейсов.
Я бы распределил бюджет 1 350 кейсов по часовому потоку так, чтобы самый старый кейс ждал меньше трёх часов; страховые заявления на сумму свыше $25 000 и конфликты политик получили бы приоритет, а low-risk переполнение ушло бы в отложенную обработку.
Еженедельный QA повторно проверял бы 5% завершённых кейсов, считал отмены и серьёзные ошибки по ревьюеру и версии модели и пересматривал порог маршрутизации при приближении серьёзных ошибок к 2%.

Зачем это спрашивают: Сильный ответ превращает human review в продуктовую систему с ограниченной мощностью, risk-based routing и измеримым качеством.

decision-making

Я бы принимал модель по каждому workflow и срезу, а не объявлял единого победителя для всего флота по средней стоимости или качеству.

Каждый продукт должен пройти критические срезы golden set, контракт structured output, latency SLO и cost forecast с версионируемым bundle модели, промпта, retrieval и tool-настроек.
Workflow с потерями выше заранее согласованного допуска, включая любой регулируемый срез ниже абсолютного порога, остаются на старой модели, даже если портфель экономит 35%.
Принятые workflow проходят этапы 5%, 25% и 100% трафика с выдержкой 24 часа, а предыдущий bundle остаётся готовым к rollback минимум 30 дней.

Зачем это спрашивают: Интервьюер проверяет, учитывает ли model lifecycle политика приёмку отдельных workflow и обратимый rollout, а не средние показатели флота.

tool-usereleases

Я бы выпускал каждую возможность на уровне, подтверждённом доказательствами, а не продавал модель как единый равномерно готовый продукт.

Tool use может выйти в контролируемый GA, если критические действия проходят safety floor продукта, а 20 дизайн-партнёров завершают четыре недели без серьёзного сбоя.
Работа с изображениями останется в beta с явным списком типов документов, human-review путём и целью 90% success перед GA.
Длинный контекст останется экспериментом для внутренних пользователей, пока не пройдёт 85% на позиционных и языковых срезах, без enterprise SLA и sales claim.

Зачем это спрашивают: Сильный ответ отделяет сырую возможность модели от готовности продукта и привязывает клиентские обещания к основанным на доказательствах release tiers.

latencyinference

Я бы сравнивал продукты по ценности на ограниченный доллар, сохраняя жёсткие пороги качества и latency вне взвешенного score.

Каждый продукт должен показывать успешные пользовательские исходы на 1 000 вызовов, валовую прибыль на успешный исход, p95 latency, долю серьёзных сбоев и доверие по ключевым клиентским срезам.
Нормализованный utility score может давать 40% дополнительной валовой прибыли, 30% task success, 15% latency и 15% trust, но продукт с нарушением risk floor не получает финансирование роста.
Квартальные решения должны использовать предельные кривые, например сколько два пункта качества или 300 миллисекунд покупают следующие $100 000, а не награждать лучший текущий average.

Зачем это спрашивают: Интервьюер ждёт scorecard, связывающий качество, стоимость, latency и ценность без возможности оправдать критические сбои взвешенным средним.

governancerisk-managementtesting

Я бы управлял трафиком и надзором как дефицитной портфельной мощностью, распределяемой по ожидаемой ценности решения, а не по старшинству команды или очередности заявки.

Команды оценивают предложения по ценности для клиента, снимаемой неопределенности, нужной выборке, обратимости и риску; Product и Analytics направляют 70% трафика на приоритетные обязательства, 20% на исследовательские тесты и 10% на повторные проверки.
Общие контроли задают правила исключения, пороги риска, окна исходов и проверки конфликтов, а команды отвечают за гипотезы и продуктовое действие после валидного результата.
Межпродуктовый совет владеет приоритизацией и допускает не более 6 одновременных high-risk тестов; Risk может остановить экспозицию, но руководитель не может объявить победителя до выполнения подписанного правила решения.
Мощность пересматривается каждые 2 недели, а команда, не прошедшая проверку инструментирования или готовности к решению, отдает свой трафик следующему эксперименту в рейтинге.

Зачем это спрашивают: Сильный ответ задает организационное распределение, общие контроли и явные права решений для ограниченной экспериментальной мощности, а не описывает реализацию платформы.

Я бы определил trust как откалиброванное доверие, сокращающее работу без роста вредного принятия, а не только как позитивный ответ в опросе.

Scorecard должен сочетать подтверждённое принятие, correction rate, время проверки, уместное отклонение неверных предложений и квартальный опрос уверенности по workflow.
Я бы сегментировал шестиминутную нагрузку проверки по наличию цитат, последствиям действия и стажу пользователя, затем протестировал provenance и uncertainty cues на двух крупнейших причинах.
Успех через два квартала означает время проверки ниже трёх минут, серьёзные принятые ошибки не выше baseline и survey trust выше 65% без сокрытия слабых ролей.

Зачем это спрашивают: Сильный ответ отличает доверие от слепого принятия и объединяет поведенческие, качественные и перцептивные доказательства.

hallucinationcitations

Я бы требовал доказательство на уровне утверждения или явный отказ для каждого юридического вывода, а неподтверждённые критические утверждения блокировали бы релиз.

Контракт ответа должен связывать каждый вывод с доступным фрагментом источника и различать цитируемое основание, вывод и неразрешённый конфликт.
Release gates должны требовать минимум 98% citation precision, 100% citation coverage для юридических выводов и ноль выдуманных источников в critical set из 2 000 кейсов.
Production должен еженедельно проверять выборку из 1 000 ответов на groundedness, давать пользователю кнопку репорта и отключать генерацию в домене, если неподтверждённые критические утверждения превышают 0,5%.

Зачем это спрашивают: Интервьюер проверяет, превращает ли кандидат расплывчатую борьбу с hallucinations в видимое клиенту поведение и исполняемые пороги доказательности.

Закрытые вопросы

21
RAG-продукт индексирует 5 млн документов с политиками, получает 80 000 обновлений ежедневно и обещает клиентам отражать утверждённые изменения за 15 минут. Как вы определите и будете контролировать product SLA свежести?
ragindexespromises
22
Агент может читать тикеты, обновлять CRM, отправлять email и делать возвраты для 600 тенантов с лимитом 12 tool calls и $0,15 на run. Какой дизайн permissions и confirmation вы потребуете?
agentsdesign
23
Сервисный агент выполняет 100 000 workflow в месяц, стоит $0,42 за run, экономит восемь минут при успехе и проваливает 7% задач. Как вы зададите ROI и failure budgets перед расширением до 500 000 workflow?
agents
24
Вы можете вложить $3,5 млн и две команды на 12 месяцев в три multimodal-ставки: изображения счетов на $4 млн ARR, voice support на $2 млн и video inspection на $8 млн, но с удвоенной стоимостью labeling. Как распределить портфель?
portfolio
25
У ассистента 4 млн пользователей на английском, испанском, немецком, японском, арабском и португальском, но бюджет запуска покрывает только три языка в этом квартале, а качество лежит от 68% до 92%. Как вы выстроите глобальный rollout?
launchesreleases
26
Voice-and-chat ассистент должен выйти для 250 000 пользователей за 90 дней, включая keyboard-only пользователей, пользователей screen reader и людей с нарушениями речи, а в команде один дизайнер и восемь инженеров. Какие accessibility-требования вы защитите?
launchesdesigna11y
27
У AI-продукта для документов 8 000 тенантов размером от 20 до 20 000 сотрудников, использование моделей различается в 50 раз, а клиентская ценность коррелирует с завершёнными review, а не seats. Какую pricing value metric вы выберете для цели $15 млн ARR?
pricingmonitoring
28
Вы обслуживаете 6 000 SMB по $99 в месяц, 500 mid-market клиентов с $18 000 ARR и 60 enterprise с $180 000 ARR. Как упаковать один AI-copilot для этих сегментов, не создавая три отдельных продукта за шесть месяцев?
29
AI-фичи приносят $9 млн в год, но gross margin упала с 78% до 61% при росте использования на 40%. Какие guardrails вы установите, чтобы вернуть 70% за два квартала без ущерба retention?
retentionguardrailsllm-safety
30
Пять продуктов запрашивают $7,2 млн годовых inference-расходов, но Finance одобряет $4,8 млн и просит план за 10 дней. Как вы распределите бюджет, если 65% AI-выручки дают два продукта?
inference
31
Провайдер предлагает reserved capacity за $10 млн в год со скидкой 20%, при этом месячный спрос меняется от 500 млн до 1,1 млрд токенов и достигает пика в течение двух восьминедельных сезонов. Какой коммит вы сделаете на следующие 12 месяцев?
tokenscapacitycapacity-planning
32
Вы продаёте AI-workflow 120 enterprise-клиентам с $18 млн ACV, а покупатели требуют 99,9% месячной доступности, p95 ниже трёх секунд и service credits до 20%. Как вы построите продуктовую SLA-политику?
33
Общая AI-платформа обслуживает 300 тенантов, включая банки с zero-day retention промптов и страховщиков с семилетним хранением решений. Какие требования к изоляции и retention вы зададите до запуска через шесть месяцев?
promptingretentionspecs
34
Шесть AI-workflow обрабатывают данные 2 млн пользователей ЕС, а продукт должен выполнять запросы доступа, удаления, возражения и human review за 30 дней. Какие GDPR-требования войдут в следующие два квартала?
specsconcurrencygdpr
35
Через 90 дней аудитор проверит SOC 2 controls для 14 ML-продуктов, а доказательства сейчас разбросаны по 11 командам. Какую программу ML-product evidence вы создадите?
program-management
36
У компании 12 AI-фич, четыре могут считаться high risk по EU AI Act, а первый регулируемый запуск состоится через девять месяцев. Как вы проведёте программу, если Legal отвечает за трактовку, а Product за delivery?
program-managementrisk-managementlaunches
37
Двадцать вариантов моделей обслуживают 300 enterprise-клиентов, а Sales нужны раскрытия клиентам в течение пяти рабочих дней после каждого существенного изменения. Какой стандарт model card вы внедрите?
38
Сорок AI-use cases лежат от внутреннего summarization до кредитных рекомендаций для 5 млн пользователей. Как определить четыре risk tiers и привязать controls, не заставляя каждую команду проходить одинаковое 30-дневное review?
risk-management
39
У вас есть $750 000 и четыре квартала на red-team 80 AI-workflow по шести категориям атак и пяти языкам. Как вы построите roadmap-программу?
roadmapprogram-managementroadmapping
40
Двенадцать AI-продуктов круглосуточно работают для 70 enterprise-тенантов. Какой incident framework вы спроектируете с целью внутренней эскалации за 15 минут и уведомления клиента о существенном вреде за 60 минут?
escalationdesignincidents
41
Совет директоров даёт вам 10 минут в квартал на объяснение риска девяти AI-продуктов с $28 млн ARR. Какой dashboard и narrative вы используете, если два продукта превышают risk appetite?
risk-management
42
Вы создаёте customer advisory council для AI-портфеля, которым пользуются 24 enterprise-клиента с $30 млн ARR из healthcare, finance и retail. Как организовать первые 12 месяцев, не позволяя крупнейшим клиентам диктовать roadmap?
roadmappingportfolioroadmap
43
Восемьдесят продавцов продвигают шесть AI-продуктов в 12 странах, а аудит находит завышение accuracy или autonomy в 18% из 200 проверенных claims. Какое sales-claims governance вы внедрите за 60 дней?
governance
44
Одиннадцати командам нужен общий стандарт AI RFC для шести продуктов за 30 дней, но текущие decision documents лежат от двухстраничных memo до спецификаций на 70 страниц. Какой минимальный стандарт вы введёте?
decision-making
45
В роадмапе 18 AI-ставок конкурируют за шесть команд на два квартала, а руководство хочет минимум $5 млн дополнительной валовой прибыли. Какой kill framework вы примените после первых 90 дней?
roadmaproadmapping
46
15 исследователей и четыре продуктовые команды выпускают шесть прототипов моделей в квартал, но за прошлый год до клиентов дошёл только один. Как вы перестроите research-to-product interface за два квартала?
prototypestypes
47
У вас есть $5 млн на укомплектование восьми AI-продуктовых команд на 18 месяцев, но можно нанять только 22 человека среди PM, research, engineering, data, design, legal и operations. Как вы распределите portfolio team?
portfoliodesign
48
Вы менторите трёх AI PM в течение 12 месяцев: один отвечает за продукт на $2 млн, второй за eval-инфраструктуру пяти команд, третий переходит из research. Как создать измеримый рост, не забирая их решения себе?
mentoring
49
Вам нужно нанять шесть senior AI PM за 90 дней из 300 кандидатов, при этом у панели только 120 interviewer-hours и нужно оценить product judgment, model literacy, governance и executive communication. Какой hiring loop вы спроектируете?
governancedesign
50
Вам нужно за девять месяцев запустить AI-продукт для review кейсов в 25 регулируемых организациях с $8 млн ACV, доступностью 99,95%, human appeal и поддержкой английского и немецкого. Какой end-to-end план вы представите executive team?
launchese2e
51
Обновление модели повышает экспертную оценку качества задач с 74% до 82%, но доверие пользователей падает с 68% до 54%, а доля исправлений удваивается до 12%. Оставите его, сузите охват или откатите до 12:00 завтра?
rollback
52
Ассистент по кредитным документам с precision 91% может открыть $4,5 млн ARR, но Risk требует 97% для автоматических решений, а Sales хочет подписать контракты за 10 дней. Что вы разрешите к пятнице?
precisionrisk-management
53
Классификатор первичного приема в клинике имеет precision 96%, но recall срочных симптомов лишь 81% на 18 000 случаев, а пилот в больнице начинается через 72 часа. Каково ваше решение go или no-go?
precisionrecall
54
AI-ассистент по договорам выдумывает условие расторжения в 6 из 1200 черновиков, один клиент подписывает его и заявляет требование о возмещении ущерба $380 000, а Legal требует решения по сдерживанию последствий за 2 часа. Что вы сделаете?
55
Исследовательский ассистент показывает ссылки в 98% ответов, но аудит находит, что 14% подтверждают лишь соседние утверждения, а через 30 дней продлеваются 3 enterprise-контракта на $2,1 млн. Что вы измените за 24 часа?
citations
56
После расширения контекста с 32K до 128K токенов завершение юридических документов растет на 11%, но точность ключевых обязательств падает с 93% до 76% на файлах длиннее 80K. Запуск через 5 дней, что вы выпустите?
tokenslaunches
57
Закупочный агент размещает неавторизованный заказ на $47 000 и 800 единиц при лимите согласования $5000, а процесс используют 26 клиентов. Какие продуктовые меры сдерживания вы назначите в следующие 30 минут?
agentsprocurement
58
После изменения политики очередь human review растет с 600 до 9400 элементов, медиана проверки достигает 31 часа при обещании 4 часов, а 40% случаев истекают через 12 часов. Что вы решите за 1 час?
promisesdata-structures
59
Мультиязычный ассистент по льготам показывает 92% task success на английском, но 63% на бразильском португальском и ошибочно отказывает в праве на льготу в 7 из 500 проверенных случаев. Раскатка через 48 часов, каково ваше решение по локали?
releases
60
Мультимодальный продукт для выездных работ обработал 6 000 голосовых заказов за неделю, но транскрипция изменила адреса или количество в 4,8% случаев и вызвала 37 значимых ошибок диспетчеризации. Что вы выпустите или приостановите до 17:00 завтра?
concurrency
61
У единственного поставщика модели региональный сбой затрагивает 42% запросов, резервная модель стоит в 2,6 раза дороже и на 9 пунктов хуже в юридических задачах, а SLA-обновление нужно через 30 минут. Как вы распределите трафик?
procurement
62
Поставщик без уведомления изменил модель вопреки условию об уведомлении за 30 дней и 10-дневном тестировании; resolution обращений вырос на 6%, но проверка регулируемых раскрытий упала с 98% до 91%, а продление закрывается через 36 часов. Что вы решите?
procurement
63
Поставщик снимет модель через 50 дней, что затрагивает 160 тенантов и $24 млн ARR с 3 несовместимыми типами workflow. Какой переход клиентского портфеля вы утвердите на executive review через 5 дней?
portfolio
64
Решение строить самим было принято при TCO $2,2 млн за 3 года, но после роста найма и GPU прогноз составляет $5,8 млн, а vendor предлагает $3,4 млн с lock-in на 18 месяцев. Что вы порекомендуете на встрече в понедельник?
procurement
65
Поставщик foundation-модели предлагает скидку 22%, если вы направите ему 85% трафика на 3 года; сейчас он обслуживает 55%, а сертификация fallback займёт 6 недель. CEO ждёт ответ через 5 дней, что вы посоветуете?
procurement
66
Месячный счет за inference удваивается с $480 000 до $960 000, а успешные задачи растут лишь на 6%, и Finance закрывает прогноз через 48 часов. Что вы сократите или сохраните?
inference
67
AI copilot приносит $38 с активного аккаунта, но стоит $52 с учетом inference и review, а general availability для 14 000 аккаунтов запланирована через 3 недели. Каково ваше решение по запуску к пятнице?
launchesinference
68
Более сильная модель сокращает ручную проверку с 22% до 9% по 48 enterprise-контрактам, но уменьшает дневную мощность на 30%, ставит под риск обязательство обработки за 4 часа и по-разному меняет gross margin сегментов. Какое решение по маршрутизации и упаковке вы примете за 72 часа?
capacity-planningcapacityconcurrency
69
Model routing сокращает месячные расходы на $310 000 и не меняет общее качество, но acceptance premium-клиентов падает с 90% до 81% на 4000 задач. Что вы измените до начала звонков о продлении через 6 дней?
aggregationmodel-routing
70
Кэширование контекста сокращает стоимость на 28%, но 4% из 25 000 персональных планов содержат предпочтения старше 30 дней, а 180 пользователей получают устаревшие медицинские исключения. Что вы решите в следующие 2 часа?
cachingdiscovery
71
Compliance RAG обещает источники не старше 24 часов, но 11% ответов использовали документы возрастом от 3 до 9 дней во время 36-часовой задержки ingestion. У 8 клиентов аудит на этой неделе, что вы сделаете за 4 часа?
ragpromises
72
Fine-tuned модель поддержки требует $160 000 разметки каждый квартал, пропустила 2 из 3 обновлений и теперь лучше базовой модели только на 1,5 пункта. Roadmap фиксируется через 7 дней, будете поддерживать, упрощать или закрывать ее?
fine-tuningroadmaproadmapping
73
Издатель оспаривает лицензию на 18% вашего RAG-корпуса, который поддерживает 31% платных ответов и $6 млн ARR, и требует удаления за 72 часа. Какое продуктовое решение вы примете сегодня?
rag
74
Клиенты отзывают согласие на данные, составляющие 38% eval- и tuning-доказательств для 11 AI-возможностей с $16 млн ARR, а удаление нужно завершить за 21 день. Какую продуктовую миграцию и релизный гейт вы зададите к пятнице?
releasesmigrations
75
Два клиента сообщают, что сгенерированные сводки содержат детали, похожие на данные другого тенанта, но логи пока не подтверждают точное совпадение среди 2,8 млн результатов. Что вы решите за 60 минут?
76
Red team находит критический exploit, раскрывающий приватные результаты инструментов в 3 из 200 попыток, а запуск на 50 000 пользователей назначен через 36 часов. Каково ваше решение к гейту в 14:00?
launches
77
Model card заявляет accuracy 95% на 6 языках, но доказательства состоят из 400 английских примеров и 40 машинно переведенных примеров на каждый другой язык. Procurement нужен документ через 3 дня, что вы опубликуете?
procurementmodel-card
78
Legal переклассифицирует ассистента по найму с limited risk на high risk по EU AI Act, добавляя около 5 месяцев conformity-работы, хотя запуск через 9 недель и от него зависит $3,2 млн pipeline. Что изменится к пятнице?
risk-managementlaunchesestimation
79
Enterprise procurement блокирует 6 сделок на $7,5 млн, потому что AI-субпроцессоры могут меняться с уведомлением за 7 дней, а клиенты требуют 90 дней. Квартал закрывается через 21 день, что вы решите на этой неделе?
procurement
80
SOC 2 аудит начинается через 12 дней, но для 9 из 34 AI-контролей нет доказательств, включая согласование изменений промптов и review доступа к моделям. От отчета зависит $4 млн продлений, что вы сделаете за 48 часов?
prompting
81
После запуска token overages медианные счета растут на 18%, за 3 дня жалуются 420 клиентов, а намерение отменить подписку достигает 11% против 3%. Какое ценовое решение вы примете за 24 часа?
tokensresiliencepricing
82
Новый пакет AI Pro добавляет $1,4 млн ARR, но забирает $2,0 млн существующего Enterprise-спроса, потому что покупатели выбирают дешевый тариф. Годовое планирование закрывается через 6 дней, вы оставите, измените или уберете пакет?
83
Бесплатный API суммаризации используется 140 аккаунтами для создания 62% трафика, повышая месячные расходы на $270 000 при неизменной легитимной активации. Какое действие вы одобрите к 10:00 завтра?
activationapi
84
На 4-й день заранее объявленного 28-дневного эксперимента повторные проверки dashboard показывают рост 2,1% с прогнозом $8 млн в год, а CEO требует решение о запуске через 6 часов. Как вы поступите с sequential peeking и optional stopping?
pitfallsexperimentssoft-skills
85
Согласованный релиз изменил модель, промпт, retrieval и UI сразу в 3 продуктах; после 20 000 сессий live completion падает на 11%, но телеметрия различает только весь релизный пакет. Какое решение по containment вы примете за 45 минут?
retrievalpromptingsessions
86
LLM judge, одобривший 3 прошлых релиза, после обновления vendor оценивает неизменный control на 7 пунктов ниже, а запуск кандидата назначен на завтра. Какое решение вы примете сегодня к 16:00?
procurementlaunchesreleases
87
За неделю до запуска на $5 млн вы узнаете, что 9% eval set из 4000 элементов присутствует в fine-tuning data, а заявленный прирост равен 6 пунктам. Что вы скажете совету go или no-go завтра?
fine-tuninglaunches
88
Canary на 5% повышает acceptance ответов на 2 пункта, но доля серьезных эскалаций в support растет с 0,2% до 0,9% на 8000 сессий. Расширение запланировано через 3 часа, что вы решите?
escalationsessionsdeployment-strategies
89
Вы откатываете релиз AI-писем через 22 минуты, но 31% трафика все еще получает новый промпт в 2 регионах, и могут быть затронуты 14 000 черновиков. Что вы сделаете в следующие 45 минут?
promptingrollbackreleases
90
У флагманского AI-коуча weekly adoption 38% при цели 55%, месячная стоимость $620 000 и нулевой рост retention за 9 месяцев. CEO ждет решение keep или kill через 5 дней. Что вы порекомендуете?
retentiondecision-making
91
Applied Research просит 40% из 50 инженеров следующего квартала для productionization новой reasoning model с ростом benchmark на 15 пунктов, но без проверенной клиентской задачи. Roadmap фиксируется в пятницу, что вы решите?
benchmarkingcapacityvalidation
92
Sales обещал автономное одобрение счетов клиенту на $3 млн к концу квартала через 6 недель, но продукт только готовит рекомендации, а Finance запрещает автономное одобрение. Что вы решите за 24 часа?
promises
93
Регулируемый банк с $6,5 млн ARR просит контролировать одобренные модели, eval-пороги и квартальные исключения политики, но запрос на 6 недель может раздробить управление для 70 тенантов. Какую границу платформы вы предложите?
governance
94
В вашем AI-портфеле 6 инициатив запрашивают 210 engineer-weeks на следующий квартал, но доступны лишь 140. Две защищают $9 млн ARR, две нацелены на $3 млн нового ARR, а две являются непроверенными research bets. Что вы профинансируете к понедельнику?
portfolio
95
В пятницу в 16:00 CEO просит запустить продукт в понедельник ради кампании на $1,8 млн, но финальный eval содержит 7 серьезных провалов на 3000 случаев при гейте ноль. Что вы ответите за 30 минут?
launches
96
Board спрашивает, дал ли AI-портфель стоимостью $14 млн приемлемый ROI, если инциденты выросли с 2 до 11, а attributable ARR составляет лишь $4 млн за 18 месяцев. Вы выступаете через 7 дней, какую рекомендацию принесете?
portfolioincidents
97
AI-ассистент отправил неверную налоговую рекомендацию 2300 пользователям, 74 уже последовали ей, а журналисты ждут комментарий через 90 минут. Какую публичную коммуникацию вы разрешите?
98
Четыре продуктовые команды отклоняют ваш cross-org RFC по AI-релизам, потому что он добавляет 10 дней, но в прошлом квартале было 5 предотвратимых регрессий стоимостью $1,2 млн. Operating review через 6 дней, что вы сделаете?
launchesreleasesdecision-making
99
PM, которого вы менторите, раскатил AI-ответы на 100% после canary 2%, что привело к 1600 плохим сообщениям и $240 000 кредитов. Executives ждут кадровую рекомендацию через 48 часов, что вы сделаете?
launchesmentoringdeployment-strategies
100
Три AI-запуска со сроком в ближайшие 6 недель требуют по 2400 часов разметки, но у общей команды только 3000 часов, а от всех дат зависит общий pipeline $8 млн. Какое портфельное решение вы примете к среде?
portfolioci-cdlaunches

Вопросы

13Три labeling-вендора должны выдавать 120 000 многоязычных оценок в месяц за $180 000 с согласием ревьюеров 0,80 и turnaround 48 часов. Какую операционную модель вы установите?

Закрытые вопросы