Задать границы
Перечислите инструменты, данные, права, разрешённые и запрещённые действия и точку одобрения человеком. Свяжите каждое право с задачей.
РУКОВОДСТВО / ПРОТОКОЛ
Оценка ИИ-агента до запуска
Оценивайте действия, границы и сбои агента, а не только гладкость его ответов.
Прямой ответ
Как понять, готов ли ИИ-агент к реальной работе?
Определите разрешённые задачи, ожидаемые результаты и недопустимый ущерб. Соберите обычные, неоднозначные и враждебные случаи, выполните их без внешних последствий и изучите каждое действие и остановку.
01 / Метод проверки
Метод проверки
Подготовить испытания
Добавьте типовые запросы, неполные данные, обманные инструкции в источниках, сбои инструментов, повторы и выход за пределы задачи.
Изучить журнал
Сравните результат, источники, вызовы инструментов, отказы, время, затраты и вмешательство человека с критериями.
Решить вопрос запуска
Блокируйте критические сбои, ограничивайте права и повторяйте испытания после изменений. Подготовьте остановку и ручной режим.
02 / Сохраняемые доказательства
Сохраняемые доказательства
Карточка случая
Вход, ожидаемый результат, риск, серьёзность и критерий успеха.
Журнал выполнения
Версия, вызовы инструментов, раскрытые данные, выходы и решение человека.
Реестр отклонений
Сбой, последствия, вероятная причина, исправление и повторный тест.
Решение о запуске
Ответственный, разрешённый объём, порог остановки, запасной план и дата пересмотра.
03 / FAQ
Частые вопросы
Правильный ответ означает безопасность?
Не обязательно. Агент может ответить верно, использовав неподходящий источник или запрещённое действие.
Нужно ли испытывать внедрение инструкций?
Да, особенно при чтении страниц, документов и сообщений с потенциально враждебным текстом.
Когда нужен человек?
Перед чувствительным, необратимым или неразрешённым действием.
Что делать при критическом сбое?
Остановить соответствующий путь, сохранить журнал, ограничить возможность и повторить испытания.
04 / Официальные источники