Ответ за две секунды
Вымышленно: текст на 2 с, инструменты на 12 с, приёмка на 90 с. Публикуйте этапы, не заявляя завершение за 2 с.
Подробные практические руководства
Измерить полезную задержку ИИ-агента
Измерять полную задачу, сохранять неудачи и отличать скорость от принятого результата.
Обновление :
Иллюстрация, созданная ИИ · Тестовый стенд и кнопка остановки. Иллюстративная сцена.
Когда результат становится пригодным?
Первый фрагмент, завершение генерации и приёмка человеком — разные события. Сравнение задаёт границы и ожидаемый выход. Метод не ранжирует поставщиков, а организует локальную проверку.
Определить границы
Укажите отправку, первый текст, окончание инструментов, выдачу или приёмку. Используйте подходящие часы длительности. Не вычитайте часы разных машин без известной синхронизации.
Зафиксировать сценарий
Сохраните ввод, инструкции, версию, права и кеш. Отделите первые вызовы от повторных. Записывайте время внешних инструментов отдельно.
Сохранить неудачи
Запишите длительности, попытки, повторы и тайм-ауты. Публикуйте количество и распределение. Прерванная задача остаётся видимой без времени завершения.
Сравнить принятую точность
Применяйте одинаковый критерий и считайте исправления и проверку. Быстрый непригодный результат не экономит полезное время. Укажите работу человека.
Ситуации и решения
Типовые ситуации для подготовки проверки. Они не описывают выполненные проекты или реальные наблюдения.
Среднее без тайм-аутов
Условно: 9 успехов и 1 тайм-аут. Времена успехов не описывают все десять запросов. Укажите успехи и исключения.
Что сохранить
- Границы и единицы
- Версии, ввод и кеш
- Времена, неудачи и повторы
- Критерий и время человека
Официальные источники
Связанные протоколы
Проверки перед выводом
- Одинаковы ли границы?
- Описан ли кеш?
- Видны ли неудачи?
- Един ли критерий приёмки?
Времена этапов с качеством, неудачами и затратами приёмки.
Частые вопросы
Измерять ли первый фрагмент?
Да для отзывчивости. Сохраните также завершение и приёмку, чтобы отличать первый текст от полезного результата.
Достаточно ли двух средних?
Они скрывают разброс и сбои. Укажите число испытаний, условия, медиану или распределение и долю принятых результатов.
ИНСТРУМЕНТЫ / РЕЕСТРЫ
Записать наблюдение
Влияют задача, нагрузка, сеть и инструменты. Процентили малого числа испытаний неустойчивы. Локальная проверка не обещает общую доступность.
- Дата просмотра и часовой пояс
- Точный URL
- Задача / этап пути
- Версия / пересмотр
- Начальное и конечное события
- Длительности этапов и единица
- Неудачи, тайм-ауты и повторы
- Повторы и зависимость между наблюдениями
- Критерий приёмки
- Ограничение / неопределённость
- Решение / следующий шаг
- Ответственный за проверку
- Следующая проверка