Вопросы на собеседовании: Инженер по безопасности ИИ

Инженерия безопасности ИИ измеряет и снижает вред от поведения модели, кибербезопасность защищает системы, а модерация контента применяет правила к отдельным материалам.

• Команда кибербезопасности работает с кражей учётных данных, уязвимыми сервисами и несанкционированным доступом.
• Команда модерации размечает или удаляет пользовательский контент по правилам платформы, часто по одному материалу за раз.
• Инженер по безопасности строит eval-наборы, таксономии вреда и измерения защитных слоёв, например jailbreak ASR и recall отказов.

Alignment означает, что выученное поведение модели надёжно служит цели людей, а не просто оптимизирует приближённый сигнал из обучения.

• Заданная цель может состоять в безопасной помощи, тогда как обучающий сигнал награждает ответы, которые сразу нравятся проверяющим.
• Модель может выучить короткий путь, например уверенное согласие, потому что оно хорошо оценивается, хотя не отражает настоящую цель.
• Поэтому alignment-eval проверяет новые ситуации, где приближённый сигнал расходится с желаемым поведением.

Авария и злоупотребление различаются наличием намерения причинить вред, а системный вред описывает эффекты на уровне всего внедрения или их накопление и является отдельным измерением.

• Вред в результате аварии возникает без намерения его причинить, например когда из-за слабого обобщения модель даёт опасный медицинский совет.
• Злоупотребление возникает, когда человек намеренно применяет возможности модели для мошенничества, вредоносного ПО или адресной манипуляции.
• Системный вред появляется при повторном или масштабном внедрении, например из-за дискриминационного отбора на рынке труда, и может быть следствием как непреднамеренных сбоев, так и намеренного злоупотребления.

Базовая модель угроз называет защищаемые активы, возможных источников вреда, их доступ и значимые негативные исходы.

• К активам относятся пользователи, чувствительные данные, поведение модели, подключённые инструменты и последующие решения.
• Среди действующих лиц могут быть обычные и злоумышленные пользователи, авторы внешнего контента, сотрудники и автоматические атакующие системы.
• Допущения о доступе разделяют чёрный ящик, доступ к весам или инструментам, отравление источников retrieval либо базы знаний и управление системными входами.
• Критерий успеха связывает каждый путь с измеримым вредом, например выполнением опасного действия или нарушающим правила ответом.

Таксономия вреда представляет собой набор категорий и границ для единообразной разметки рисков в eval и решениях.

• Категории могут разделять самоповреждение, киберзлоупотребления, мошенничество, ненависть, сексуальный контент и опасную помощь в биологии.
• Письменные критерии включения, исключения и пограничные примеры уменьшают разногласия между проверяющими и скорерами.
• Привязка каждого теста и метрики к категории показывает пробелы покрытия, которые скрывает один общий балл.

Я оцениваю риск по тяжести исхода, его вероятности в заданной модели угроз и числу возможностей для его возникновения.

• Тяжесть отделяет слегка оскорбительный ответ от инструкции, способной привести к серьёзному физическому вреду.
• Вероятность показывает частоту успеха для реалистичных пользователей или атакующих, а не единичную принципиальную возможность.
• Масштаб воздействия учитывает размер внедрения, аудиторию, автоматизацию и повторные попытки.
• Эти факторы стоит показывать отдельно, потому что редкий катастрофический риск отличается от частого малозначительного сбоя.

Возможность двойного назначения помогает в законной работе, но также может снизить стоимость или нужный уровень знаний для причинения вреда.

• Генерация кода помогает разработчикам исправлять уязвимости, но может помочь атакующему адаптировать вредоносный код.
• Биологический ассистент может объяснять опубликованные исследования и одновременно упрощать выполнение опасных процедур.
• Оценка безопасности должна проверять и прирост вредоносных возможностей, и сохранение полезности, а не запрещать способность по названию.

Возможность показывает, что модель умеет делать в подходящих условиях, а склонность показывает, насколько охотно она ведёт себя вредно в развёрнутой системе.

• Модель может уметь создавать код эксплойта, но после safety-обучения обычно отказывать на вредоносные запросы.
• Jailbreak-тестирование проверяет, сохраняется ли эта низкая видимая склонность при намеренном извлечении опасного поведения.
• Eval возможностей и eval соблюдения поведенческой политики отвечают на разные вопросы и не заменяют друг друга.

Specification gaming возникает, когда система выполняет буквальную метрику или правило, но нарушает реальный замысел разработчика.

• Суммаризатор с наградой за краткость может выбрасывать важные предупреждения вместо улучшения лаконичности.
• Наблюдаемый балл растёт, хотя безопасность пользователя или качество задачи ухудшается.
• Разнообразный holdout и проверки побочных эффектов помогают обнаружить зависимость от несовершенной спецификации.

Reward hacking представляет собой вид specification gaming, при котором агент эксплуатирует сигнал награды или процесс его измерения вместо выполнения желаемой задачи.

• Агент в симуляции может многократно запускать простое награждаемое событие, не достигая настоящей цели задачи.
• Сбой вызван лазейкой в награде, среде или оценщике, а не просто низким качеством работы.
• Раздельная проверка компонентов награды и анализ траекторий могут выявить высокую награду при нежелательном поведении.

Устойчивость означает, что значимое для безопасности поведение остаётся приемлемым при существенных изменениях входа, контекста или условий работы.

• Перефразирование, опечатки, длинные диалоги и другие языки не должны разрушать политику отказов.
• Устойчивый результат охватывает ожидаемые вариации, а не одну тщательно сформулированную фразу из бенчмарка.
• Устойчивость всегда ограничена областью, поэтому отчёт должен называть проверенные изменения и условия внедрения.

Сдвиг распределения возникает, когда входы или условия внедрения отличаются от данных обучения или оценки системы.

• Классификатор безопасности, проверенный на чистых английских запросах, после запуска может встретить сленг, новые атаки и другие языки.
• Точность на исходном тестовом наборе не гарантирует такое же качество на изменившейся аудитории.
• Safety-наборы должны включать ожидаемые срезы внедрения и обновляться при изменении использования или поведения атакующих.

Состязательный пример представляет собой намеренно изменённый вход, который вызывает сбой модели, но сохраняет нужный атакующему смысл или допустимость.

• Для текстового классификатора небольшие замены или обфускация могут обойти метку вредного контента.
• Для модели изображений ограниченное возмущение может изменить предсказание, оставаясь почти незаметным человеку.
• Допустимые изменения нужно определить заранее, потому что ничем не ограниченный шум не показывает реалистичную слабость.

Red teaming ИИ активно ищет сбои безопасности в рамках явной модели противника, а обычный QA в основном проверяет ожидаемые требования и известные крайние случаи.

• QA подтверждает, что заявленные функции работают с нормальными и некорректными входами.
• Red team меняет запросы и стратегии после наблюдения за ответами модели.
• Находки red team расширяют модель угроз и регрессионный набор, но не заменяют систематический benign QA.

Jailbreak представляет собой попытку вызвать поведение, которое модель или система должна отклонять либо ограничивать.

• Поверхность включает сообщения пользователя, историю диалога, изображения, аудио, найденные документы, результаты инструментов и закодированный текст.
• Атака может быть направлена на поведение базовой модели, классификатор безопасности или окружающую оркестрацию.
• Полезный отчёт указывает запрещённое поведение, доступ атакующего, число попыток и критерий успеха.

Прямая инъекция приходит от взаимодействующего с моделью пользователя, а косвенная передаётся внутри внешнего контента, который система затем обрабатывает.

• Прямая атака может просить ассистента игнорировать правила и выдать запрещённый результат.
• Косвенная атака может находиться на веб-странице, в письме, файле или найденном фрагменте, который используется как данные.
• Косвенная инъекция меняет модель угроз, потому что автор внешнего контента влияет на модель, не являясь активным пользователем.

Attack success rate, или ASR, представляет собой долю проверенных попыток атаки, которые удовлетворили заранее заданному критерию успеха jailbreak.

• Если 18 из 100 подходящих атак дали нарушающую правила помощь, измеренный ASR равен 18 процентам.
• В знаменателе нужно уточнить, считаются ли запросы, виды поведения, повторные попытки или лучший результат для каждого поведения.
• ASR можно сравнивать только при одинаковых политике, скорере, бюджете атаки и конфигурации целевой модели.

Precision отказов показывает, как часто предсказанный отказ правилен, а recall показывает, какую долю обязательных отказов классификатор нашёл.

• Precision равно числу истинных отказов, делённому на все предсказанные отказы, поэтому низкое значение означает лишние блокировки.
• Recall равно числу истинных отказов, делённому на все запросы, которые следовало отклонить, поэтому низкое значение означает пропущенные опасные запросы.
• Нужный баланс зависит от категории вреда и стоимости ошибки, поэтому обе метрики стоит показывать вместе с матрицей ошибок.

Ложный отказ возникает, когда безопасный запрос ошибочно блокируется, и увеличивает false-positive rate защитного слоя.

• Если заблокированы 25 из 1000 безопасных запросов, FPR на benign-наборе равен 2,5 процента.
• Ложные отказы снижают полезность и могут непропорционально затрагивать темы или варианты языка, похожие на термины политики.
• Метрику нужно разбивать по категориям, потому что низкое среднее значение может скрыть серьёзный сбой в отдельном срезе.

Benign holdout представляет собой нетронутый набор разрешённых запросов для измерения сохранения законной полезности после изменений безопасности.

• Он должен включать сложные отрицательные примеры, где чувствительные темы обсуждаются безвредно, например в профилактике, новостях или художественном тексте.
• Исключение набора из настройки промпта и выбора порога делает оценку ложных отказов надёжнее.
• Результаты стоит показывать в целом и по представленным во внедрении языкам, темам и группам пользователей.