Подробные практические руководства

Неопределённость доли цитирований ИИ

Разделяйте наблюдаемую долю, размер выборки и статистическую неопределённость в мониторинге ответов ИИ.

Обновление :

Оценка ответов ассистентов и ссылок на двух экранах.

Иллюстрация, созданная ИИ

Достаточно ли точна доля для принятия решения?

Доля без знаменателя скрывает неопределённость. Четыре ответа из десяти и сорок из ста дают одну долю, но разную точность в биномиальной модели. Интервал Уилсона показывает разницу, не превращая выбранные вопросы в репрезентативную выборку пользователей.

  1. Определить успех

    До сбора задайте критерий: ссылка, подтверждающая цитата или точный ответ. Оценивайте каждое наблюдение бинарно. Документируйте ошибки, исключения и недоступные ответы, не меняя правила после просмотра результата.

  2. Сохранить протокол

    Зафиксируйте язык, интерфейс, страну, модель или режим и период. Повторы в одной беседе могут быть зависимы. Разделяйте условия при изменениях; повтор одного вопроса не создаёт разнообразия.

  3. Прочесть долю и интервал

    95-процентный интервал Уилсона здесь относится к независимым бинарным наблюдениям с постоянной вероятностью. Он вычислим при нуле или всех успехах. Уровень доверия описывает метод повторных выборок, а не истинность цитаты или представительность панели.

  4. Принять соразмерное решение

    Сохраните долю, количества, предположения и порог решения. Если неопределённость мешает, пересмотрите сбор до повторов. До/после на одинаковых вопросах требует парного анализа изменения; два отдельных интервала его не заменяют.

Практикум чтения данных

Две неопределённые метки не исчезают из доли

Пакет DEMO содержит десять придуманных ответов. Успех — цитата, подтверждающая утверждение, а не просто наличие ссылки.

Вымышленные данные и записи для обучения: результаты не получены запросами к действующим сервисам.

40 %, 50 % или диапазон классификации?

Четыре ответа подтверждены, четыре не подтверждены, два после чтения остаются неопределёнными. Панель выбрана для упражнения; независимость и репрезентативность не установлены.

Если таблица шире экрана, прокрутите её по горизонтали; стрелки работают, когда область в фокусе.

40 %, 50 % или диапазон классификации?
ПрочтениеРасчётЧто описывает числоРешение
Состояние разметки4 подтверждены; 4 не подтверждены; 2 неопределённыДесять полученных ответов, не десять завершённых бинарных метокСохранить неопределённые случаи и причины.
Подтверждённая доля пакета4 / 10 = 40 %Уже подтверждённые цитаты в пакетеНе считать два неопределённых случая доказанными неудачами.
Доля среди размеченных4 / 8 = 50 %Доля при условии принятого решенияУказать оба исключения и общее число десять.
Возможные итоги проверки4 / 10 до 6 / 10: 40–60 %Диапазон классификации, не доверительный интервалРазрешить метки до применения бинарной модели.

Что можно сообщить без выдуманной статистической точности?

Раскройте каждый вариант и сравните разбор. Дополнительные проверки могут оставаться необходимыми.

50 % из десяти ответов без оговорок

Нет. Знаменатель для 50 % равен восьми. Скрыты смена совокупности и две открытые метки.

40–60 % — интервал Уилсона 95 %

Нет. Границы следуют только из возможных решений разметки; вероятность выборки не рассчитывалась.

Четыре подтверждённые цитаты из десяти, ещё два случая неопределённы

Да. При необходимости добавить условную долю и описать панель. Неопределённость разметки отличается от выборочной.

Вымышленный журнал разметки

Пакет: DEMO, десять выбранных ответов
Правило: цитата подтверждает утверждение
Решено: 4 подтверждены, 4 не подтверждены
Неопределённы: 2, фрагменты требуют проверки
Подтверждённая доля: 4/10; условная: 4/8
Возможная классификация: 40–60 %, без доверительного уровня
Далее: документированное решение двух случаев

Диапазон не измеряет будущее поведение модели или смещение панели. Не заменять автоматически десять на восемь во всех расчётах.

Документация правил отдельно от вымышленных примеров

Сравнить другие ситуации и упражнения

Четыре из десяти

Четыре успеха из десяти дают 40 % и 95-процентный интервал Уилсона примерно 16,8–68,7 % при указанных предположениях. Одна доля скрывает ширину и не задаёт универсальный рейтинг.

Ноль из десяти

Наблюдаемая доля равна нулю, верхняя граница — около 27,8 %. Отсутствие цитат в выборке не доказывает невозможность цитирования.

Высокая доля не всегда подтверждает порог

Восемнадцать успехов из двадцати дают 90 %. При указанных биномиальных предположениях 95-процентный интервал Уилсона — около 69,9–97,2 %. Нижняя граница не подтверждает превышение порога 80 %. Публикуйте количества и правило решения.

Двадцать повторов — не двадцать ситуаций

Условный случай: один вопрос повторён двадцать раз в одной беседе, другой набор содержит двадцать разных задач. Одинаковые доли не делают разнообразие и зависимость сопоставимыми. Сохраняйте идентификаторы вопросов и сессий, описывая группы перед общим показателем.

От наблюдения к решению

Одинаковая доля, разная точность

Две вымышленные выборки дают 40 %: 4 успеха из 10 и 40 из 100. Расчёт предполагает независимые бинарные наблюдения с постоянной вероятностью. Интервалы не доказывают представительность вопросов.

Вымышленный учебный пример: числа и даты иллюстрируют метод, а не реальное задание.

Смотрите на ширину, а не только на точку

Слева направо: от 0 до 100 %. Полоса: интервал Уилсона 95 %; вертикальная отметка: наблюдаемые 40 %.

  • 4 / 1040 % · 16,8–68,7 %
  • 40 / 10040 % · 30,9–49,8 %
Таблица разбора примера
НаблюдениеЧто проверитьСледующее действие
4 успеха из 10Доля: 40 %; интервал Уилсона 95 %: 16,8–68,7 %.Ширина около 51,9 процентного пункта оставляет большую неопределённость.
40 успехов из 100Доля: 40 %; интервал Уилсона 95 %: 30,9–49,8 %.Ширина около 18,9 пункта; протокол всё равно требует проверки.
Одна доля, разные основанияКоличество меняет точность в рамках модели.Публикуйте успехи, общее число, интервал и предположения вместе.
Ваше решение — Сто повторов означают сто ситуаций?

Разбор ответа

Нет. Количество строк не доказывает независимость или разнообразие. Сохраняйте вопрос, сессию и условия; проверяйте зависимые группы. Если протокол не поддерживает вероятностный вывод, описывайте только результаты панели.

Метод: двусторонний 95-процентный интервал Уилсона, z ≈ 1,96. Количества вымышлены, границы округлены до десятой доли пункта. NIST — Confidence intervals for proportions

Упражнение с разбором

Четыре непрочитанных ответа не равны отсутствию цитат

Вымышленный пример: значения и документы служат для изучения метода и не описывают реальную организацию.

Категории не пересекаются. Нечитаемый ответ не означает наблюдаемого отсутствия ссылки.

Если таблица шире экрана, прокрутите её по горизонтали; стрелки работают, когда область в фокусе.

Исходные данные
НаблюдениеКоличество
Ссылка обнаружена12
Читается, ссылки нет4
Невозможно проверить4

Что проверить

  1. Отделить сбой чтения от отсутствия цитаты.
  2. Вычислить долю читаемых ответов.
  3. Дать описательные границы всей панели.
Прочитать разбор

Разбор и решение

Среди 16 читаемых доля 12/16 = 75 %. Среди 20 цитат от 12 до 16, то есть 60–80 %, в зависимости от неизвестных. Это границы пропущенных данных, не доверительный интервал Уилсона. Обработка не превращает неизвестное в наблюдаемое.

Если условия изменятся

После получения четырёх ответов заменить неизвестные реальными состояниями и опубликовать версию итога.

Что сохранить

Сохранить числа по состояниям, знаменатели, причину нечитаемости и правило исключения.

Что сохранить

  • Критерий успеха, вопросы, исключения и контекст.
  • Количество успехов k, наблюдений n и дата.
  • Метод Уилсона, уровень 95 %, предположения и порог.
  • Порог до измерения, условные доли, сессии и сбои доступа, записанные отдельно.

Официальные источники

Связанные протоколы

Проверки перед выводом

  • Определён ли успех до подсчёта?
  • Независимы ли наблюдения и постоянен ли протокол?
  • Отделён ли результат от точности цитат?

Частые вопросы

95 % означает цитирование 95 % ответов?

Нет. Доля равна k/n. Уровень 95 % характеризует метод интервала при заданных предположениях.

Перекрытие интервалов доказывает отсутствие различия?

Нет. Это не проверка различий; парные наблюдения требуют соответствующего анализа.

Как учитывать технически недоступный ответ?

Определите правило заранее. Доля среди читаемых ответов требует числа сбоев доступа и всех попыток. Не записывайте автоматически недоступный ответ как отсутствие цитаты и не исключайте его без пояснения.

Как справиться с трудной классификацией?

Определить неопределенную категорию и описать причину. Второе чтение может уточнить суждение; оно не должно удалять границы или налагать уверенность, что дело не позволяет.

ИЗМЕРЕНИЕ / ИСТОЧНИКИ ВИДИМОСТИ

Показ, цитирование, посещение: три разных наблюдения

Появление в ответе ИИ и посещение сайта относятся к разным этапам. Перед сравнением периодов выберите показатель, отвечающий на ваш вопрос.

  1. Быть доступным

    Обход может сделать страницу доступной для поиска.

  2. Быть показанным или процитированным

    Ссылка может появиться в ответе без перехода по ней.

  3. Получить посещение

    Сайт фиксирует приход в пределах возможностей своей системы измерения.

Какой отчёт использовать и что он подтверждает?
Источник наблюденияЧто измеряетсяОграничение вывода
Google · Генеративный ИИ в Search Console
Официальная документация
Показы ссылок в AI Overviews и AI Mode с разбивкой, в частности, по страницам, странам и устройствам.Дни учитываются по тихоокеанскому времени (PT). Итог по ресурсу может отличаться от суммы строк по страницам из-за агрегации. По данным Google, отчёт обычно отсутствует, когда сайт получает слишком мало показов в этих функциях.
Bing Webmaster Tools · AI Performance
Официальная документация · Сообщение Bing
Видимые цитирования и цитируемые страницы в поддерживаемых ИИ-сервисах; поисковые запросы для grounding объединяются в группы.Цитирование не означает переход, позицию или важность страницы. Группы запросов не воспроизводят отдельные промпты. Показанные запросы отражают выборку активности цитирования.
Измерение на сайтеПосещения и действия, зарегистрированные согласно настройкам измерения.Атрибутированное посещение не отражает все показы. Отсутствие реферера или блокировка измерения ограничивают атрибуцию.
Документированная панель вопросовНаличие и точность цитирования в наборе наблюдаемых ответов.Результат зависит от вопросов, режима, языка и даты. Он не описывает всех пользователей.

Показы из отчёта Google по ИИ входят в охват Web в Search Console: не прибавляйте их к общему итогу Web. Сравнивайте видимость, цитирования и посещения отдельно.

Сравнить охват двух наблюдений

Документация проверена .

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

Разброс и неопределённость: различать SD и SE

Разброс описывает наблюдения, неопределённость — изменчивость оценки в модели. Одна единица не делает их взаимозаменяемыми.

Разброс и неопределённость: различать SD и SE
ОриентирЗначение или формаЧто обозначает
Sample varianceΣ(xᵢ − mean)² / (n − 1)Выборочная дисперсия делится на n − 1. Деление на n иное; фиксируйте знаменатель.
Sample SD√varianceКорень дисперсии в исходных единицах; дисперсия в квадрате единицы. Большое SD не доказывает ошибку.
IQRQ3 − Q1Q3 минус Q1 зависит от соглашения квартилей; храните алгоритм.
Rangemax − minМаксимум минус минимум чувствителен к краям; не доверительный интервал.
SE(mean)s / √n · assumptions requireds/√n требует условий и независимости; недостаточно для любых взвешенных опросов, рядов или повторов.
n < 2R sd(): NAR sd() возвращает NA для нуля или одного наблюдения. Не заменяйте нулём.

Что учитывать в досье

Интервал требует модели, уровня и метода. Цитаты ИИ и повторные ответы могут зависеть; больше строк не гарантирует снижение как при независимых наблюдениях.

Можно сравнить полосы SD и SE?

Только понимая смысл. SD — разброс, SE — оценивание среднего в модели. Короткая полоса не доказывает меньший разброс популяции.

Первичная документация

Документация просмотрена .

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

Наблюдаемая доля: укажите объём и интервал Уилсона

Пять положительных случаев из двадцати дают 25 %, как и 250 из 1000. В подходящей биномиальной модели точность оценок различается. Инструмент разделяет наблюдаемую долю, доверительный уровень и границы.

Наблюдаемая доля: укажите объём и интервал Уилсона
ОриентирЗначение или формаЧто обозначает
Observed proportionx / nx — положительные случаи по заранее заданному критерию, n — все оцениваемые случаи. Отсутствующие или неразрешимые ответы не становятся отрицательными: исключения учитываются отдельно.
Wilson scoretwo-sidedУилсон — двусторонний скор-интервал. Его центр обычно не равен x/n, границы находятся между 0 и 1. Это не интервал Вальда и не точный биномиальный интервал Клоппера–Пирсона.
Confidence level90% · 95% · 99%Доступны уровни 90 %, 95 % и 99 % с соответствующим нормальным квантилем. Доверие описывает покрытие процедуры при повторных выборках, не апостериорную вероятность для данного интервала.
x = 0upper limit > 0При x = 0 и n > 0 верхняя граница положительна. Отсутствие наблюдаемых событий не доказывает невозможность. При n = 0 интервал не вычисляется.
Sampling modelindependent · common probabilityМодель предполагает независимые испытания с общей вероятностью. Повторы одного запроса, группы зависимых случаев и удобная выборка автоматически этого не обеспечивают.

Исследовать долю

Учебное упражнение без наблюдений реального сервиса. Положительное и отрицательное означают только заявленный критерий.

Только в модели независимых испытаний с общей вероятностью. Отобранная выборка и зависимые повторы не становятся репрезентативными благодаря интервалу.

Введите целые числа: 1 ≤ n ≤ 1000000 и 0 ≤ x ≤ n.

Вычисления выполняются в браузере; данные не передаются, файлы не создаются.

Результаты вычислены · x = 5 · n = 20 · 95%

Наблюдаемая доля (%)
25
Нижняя граница (%)
11,18617
Верхняя граница (%)
46,870088
Ширина (процентные пункты)
35,683918
Интервал Уилсона и наблюдаемая доляТочка — x/n, отрезок — двусторонний интервал Уилсона. Ось фиксирована от 0 до 100 %. Значения также приведены выше.0%25%50%75%100%Wilson · 95%
Точка — x/n, отрезок — двусторонний интервал Уилсона. Ось фиксирована от 0 до 100 %. Значения также приведены выше.

Формула и соглашение вычисления

z = {"90":1.6448536269514715,"95":1.9599639845400536,"99":2.5758293035489}
p = x/n; D = 1 + z²/n
center = (p + z²/(2n)) / D
half = z × sqrt(p(1−p)/n + z²/(4n²)) / D
Wilson = [center − half, center + half]

Очень малые p показываются в научной записи вместо нуля. Остальные результаты округлены до шести знаков.

Примеры при 95 %: таблица сохраняет уровень при изменении переключателя.
x / nНаблюдаемая доля (%)Нижняя граница (%)Верхняя граница (%)Ширина (процентные пункты)
0 / 50043,44824643,448246
1 / 5203,62241162,44653758,824126
5 / 510056,55175410043,448246
5 / 202511,1861746,87008835,683918
25 / 1002517,54521134,30446416,759252
250 / 10002522,4153127,7760285,360718
0 / 100003,699353,69935
100 / 10010096,300651003,69935

Примеры созданы для объяснения вычислений, не являются коммерческими показателями.

Доверительный уровень — не вероятность истинности утверждения. p тоже её не измеряет.

Что учитывать в досье

Авторские примеры, не измерения реального сервиса. Покрытие Уилсона приблизительное, не гарантированные 95 % при любом объёме. Интервал не исправляет смещение отбора, зависимость или ошибки разметки и не предсказывает изменения системы.

Что публиковать вместе с долей цитирований?

Укажите x и n, критерий положительного случая, исключения, запросы и отбор, версии, даты, независимую единицу и метод. Наличие цитаты не доказывает её корректность; это отдельная проверка.

Первичная документация

Документация просмотрена .

ПОДРОБНЕЕ / ПРАКТИКА

Сформулировать выводы, подтверждённые результатами

Две серии ответов показывают разные цитаты. Проблема заключается в том, чтобы определить, описывает ли разница репродуктивную вариацию или просто состав испытанных вопросов.

Обновлено .

Приоритетные проверки

Рассмотрим показатели, повторения и зависимости между наблюдениями. Отделить результаты по категориям, когда вопросы касаются разных намерений или уровней сложности.

Ошибки интерпретации

Точный процент может дать ложный впечатление прочности. Маленький образца или ориентированный выбор остается ограниченным, даже сопровождается децималами и графиками.

Рабочий документ для сохранения

Отчет о неопределенности содержит количество случаев, правило рейтинга и наблюдаемые изменения. Она уточняет обоснованные сравнения и необходимые дополнительные замечания.

ПРИМЕР / ЧТЕНИЕ ЧИСЕЛ

Присутствие не всегда означает точное представление

Вымышленные данные для объяснения метода; это не результаты клиентов и не измерения сайта.

Присутствие не всегда означает точное представление
НаблюдениеКоличествоИнтерпретация
Вопросы панели40Фиксированная база сравнения.
Ответы с упоминанием бренда1212 / 40 = 30 % панели.
Ответы с верным описанием предложения88 / 40 = 20 % панели; 8 / 12 ≈ 66,7 % упоминаний.
Показать ограничение интерпретации

Чего эти числа не доказывают

Это не доля рынка и не продажи. Упоминание может быть ошибочным. Укажите панель, дату, язык и число повторов.