Подробные практические руководства

Описать выборку до публикации измерения

Определить совокупность, отбор, повторы и исключения для интерпретации тестов.

Обновление :

Выбранные карточки и журнал измерений. Иллюстративная сцена.

Иллюстрация, созданная ИИ

Какие страницы или наблюдения охватывает результат?

Доля удобных случаев описывает их, не весь сайт. NIST описывает план измерений, WCAG-EM — выборку соответствия. Их цели и правила различаются.

  1. Определить совокупность

    Укажите URL, языки, даты, запросы и устройства. Назовите единицу: страница, путь, ответ или сессия. Сохраните список и версию.

  2. Описать отбор

    Разделите критические и случайно выбранные случаи. Охватите шаблоны, функции и полные процессы; запишите механизм, порядок и замены.

  3. Разделить повторы

    Десять повторов вопроса не равны десяти задачам. Сохраните код, повтор, время и контекст; опишите зависимость до расчёта неопределённости.

  4. Показать исключения

    Запишите сбои и непроверенные случаи, не удаляя тайно. Представьте подмножества до агрегирования; объясните веса и пределы.

От наблюдения к решению

Общий результат зависит от состава тестов

Сто маршрутов выбраны поровну для компьютера и телефона. Успех — завершение маршрута по одному критерию; отбор не представляет структуру трафика.

Вымышленный учебный пример: числа и даты иллюстрируют метод, а не реальное задание.

Результаты по контексту теста

Шкала от 0 до 100 %; по 50 выбранных маршрутов на контекст.

  • Компьютер: 20 / 5040 %
  • Телефон: 35 / 5070 %
Таблица разбора примера
НаблюдениеЧто проверитьСледующее действие
Компьютер: 20 успехов из 5020 / 50 = 40 %.Показать результат этой подгруппы.
Телефон: 35 успехов из 5035 / 50 = 70 %.Сохранить видимым различие контекстов.
Все тесты: 55 из 100(20 + 35) / (50 + 50) = 55 %.Описать проверенные случаи без обобщения на всех посетителей.
Ваше решение — Что дадут условные веса 80 % для компьютера и 20 % для телефона?

Разбор ответа

0,8 × 40 % + 0,2 × 70 % = 46 %. Это иллюстрация чувствительности к весам, а не репрезентативная оценка, подтверждённая одними этими тестами.

Ориентир: NIST рекомендует определить цели и план выборки, затем документировать отклонения. Маршруты и результаты здесь вымышлены. NIST — Data Collection for PPC

Ситуации и решения

Типовые ситуации для подготовки проверки. Они не описывают выполненные проекты или реальные наблюдения.

Только простые страницы

Вымышленный аудит тестирует статьи, заявляя охват поиска и форм. Добавьте отсутствующие процессы до обобщения.

Повтор запроса

Десять учебных ответов одному запросу измеряют его вариацию, не десять независимых потребностей.

Упражнение с разбором

Двенадцать проверок не охватывают двадцать сценариев

Вымышленный пример: значения и документы служат для изучения метода и не описывают реальную организацию.

В выбранном наборе обнаружены два дефекта. Проверьте, какие типы не представлены.

Если таблица шире экрана, прокрутите её по горизонтали; стрелки работают, когда область в фокусе.

Исходные данные
ЭлементВсегоПроверено
Статьи88
Карточки64
Формы40
Поиск20

Что проверить

  1. Вычислить общий охват и охват каждой семьи.
  2. Назвать полностью отсутствующие функции.
  3. Определить применимость наблюдаемой доли дефектов.
Прочитать разбор

Разбор и решение

Охват — 12/20, или 60 %: 100 % статей, примерно 66,67 % карточек, 0 % форм и поисков. Доля 2/12 описывает выбранный набор, а не автоматически весь сайт. Добавить отсутствующие функции до решений о них.

Если условия изменятся

Документированная случайная выборка ставит другую статистическую задачу; не приписывать её свойства удобному набору.

Что сохранить

Сохранить инвентарь, выбор, причину выбора, дефекты и пределы обобщения.

Что сохранить

  • Совокупность и список
  • Правило и единицы
  • Повторы, исключения и контекст
  • Знаменатель, веса и пределы

Официальные источники

Связанные протоколы

Проверки перед выводом

  • Совокупность определена?
  • Единицы разные?
  • Исключения видны?
  • Вывод в пределах охвата?

План отбора и журнал с явным знаменателем.

Частые вопросы

Объединять критические и случайные случаи в одну долю?

Не без объяснения отбора и весов. Критические случаи ищут проблемы; их доля не равна частоте в совокупности.

Повторно использовать панель после редизайна?

Да для сравнения с учётом изменений. Добавьте новые шаблоны и укажите удалённые случаи.

Как выбрать представительные случаи сайта?

Идентифицировать важные компоненты, контент и действия, а затем выбрать случаи, которые охватывают их варианты. Документирование критериев и исключений позволяет понять масштаб контроля, не претендуя на то, что все было испытано.

ИНСТРУМЕНТЫ / РЕЕСТРЫ

Какие сведения сохранить

Универсального размера нет. Интервал не исправляет предвзятый отбор и неясную совокупность. Выборка не доказывает проверку каждой страницы.

  • Дата просмотра и часовой пояс
  • Точный URL
  • Выборка / совокупность
  • Единица отбора и идентификатор случая
  • Основа, механизм и порядок отбора
  • Повторы и зависимость между наблюдениями
  • Исключённые и непроверенные случаи, причины
  • Метрика / измерение
  • Ограничение / неопределённость
  • Решение / следующий шаг
  • Ответственный за проверку
  • Следующая проверка

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

Независимая оценка: разделения мало после настройки по ответам

Правильная формула может дать оптимистичный результат. Разделяйте обучение, подбор и финальный тест также для инструкций агентов.

TRAINVALIDATETESTfit → select → evaluate
Независимая оценка: разделения мало после настройки по ответам
ОриентирЗначение или формаЧто обозначает
HoldoutРезервировать до настройкиРезервируйте тест до настройки; ответы, влияющие на промпт, убирают независимость.
fit / transformОбучать только на trainОбучайте предобработку только на train и применяйте к test; импутация и отбор могут давать утечку.
Threshold selectionВалидация ≠ финальный тестВалидация выбирает порог, финальный тест оценивает. Лучший порог на том же тесте выбирает удачный шум.
GroupKFoldГруппы разделены в каждом разбиенииЗависимые группы держите вместе; близкие версии и повторные следы иначе упрощают задачу.
TimeSeriesSplitПрошлое для обучения → будущее для тестаДля будущих случаев сохраняйте время. gap TimeSeriesSplit считает наблюдения, не универсальную длительность.
random_stateПовторяемость ≠ репрезентативностьФиксированное зерно повторяет разделение, не гарантирует независимость, охват или стабильность сервиса.

Что учитывать в досье

Документируйте единицу, зависимости, исключения, версии и случаи. Разделение не доказывает репрезентативность.

Корпус настройки инструкций остаётся тестовым?

Он служит разработке/валидации; сохраните новые случаи и объявите роли.

Первичная документация

Документация просмотрена .

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

Неполные оценки: сохраняйте неизвестность и границы

Релевантность определяется конкретной информационной потребностью. Неоценённый документ в частично размеченной коллекции не становится бесполезным. Отдельный пример различает охват оценивания, наблюдаемую точность и возможные границы.

Неполные оценки: сохраняйте неизвестность и границы
ОриентирЗначение или формаЧто обозначает
Judged / retrieved3 / 5 = 60%Отдельный авторский пример: пять результатов, два релевантных, один нерелевантный и два неоценённых. Охват оценивания — 3/5 = 60 %.
P@5 bounds2 / 5 ≤ P@5 ≤ 4 / 5Если оба неизвестных нерелевантны, точность равна 2/5 = 40 %. Если оба релевантны — 4/5 = 80 %. Это детерминированные границы, не доверительный интервал.
P among judged2 / 3Точность среди оценённых результатов равна 2/3. Это другой вопрос, не замена точности по всем пяти позициям. Исключение неизвестных также меняет позиции.
Recall · collection?Без полного множества релевантных документов коллекции нельзя вывести глобальную полноту из пяти результатов. Фиксируйте пул, инструкции, оценщика, версию коллекции и дату.
Отдельный пример: пять результатов, две оценки отсутствуют
ПозицияСтатус оценки
1Релевантен
2Не оценён
3Нерелевантен
4Релевантен
5Не оценён

Отсутствующая оценка автоматически не заменяется нулём.

judged = 3/5 = 0.6
P@5 ∈ [2/5, 4/5] = [0.4, 0.8]
P(judged) = 2/3 ≈ 0.666667

Что учитывать в досье

Пять статусов созданы для обучения и не являются наблюдениями сайта. Пулинг может оставлять релевантные документы без оценки. Метрики ранжирования не доказывают фактическую точность сгенерированного ответа или удовлетворённость всех пользователей.

Что включить в протокол сравнения систем?

Оценивайте одинаковые запросы и документы по единым инструкциям, сохраняйте неизвестные статусы и объявляйте их обработку. Разделяйте поиск фрагментов, верность ответа фрагментам и достоверность источников: показатель ранжирования не охватывает все три проверки.

Первичная документация

Документация просмотрена .

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

Составить выборку: 20 целевых видов, 2 случайных и недостающие шаги

WCAG-EM 2.0, заметка группы от 23 июля 2026 года, описывает случайное дополнение размером 10 % от структурированной выборки без уже выбранных видов. Процент относится к этой выборке, а не ко всем страницам сайта. Методика включает полные процессы: одного URL может быть недостаточно для последовательных состояний формы.

Структурированная выборка20S01…S20
Вымышленный сценарий: 20 различных видов охватывают выбранные типы контента и функции. Один вид может представлять несколько характеристик; это не повод считать его несколько раз.
Случайное дополнение2R01, R02
Из остальных видов случайно выбираются два: 10 % × 20 = 2. Сохраните исходный список, метод и выбранные идентификаторы. Расчёт не определяет размер структурированной выборки.
Дополнение процесса3P01, P03, P04
R02 — шаг 2 процесса из четырёх видов. Шагов 1, 3 и 4 нет ни в одной группе: добавляются три вида P01, P03 и P04.
Итог сценария25S ∪ R ∪ P
В примере группы не пересекаются: 20 + 2 + 3 = 25 видов. Пересечение изменило бы итог. Число не измеряет охват всех состояний или соответствие продукта требованиям.

25 различных видов, три основания включения

Структурированная выборка
20
Случайное дополнение
2
Дополнение процесса
3
Каждая ячейка — вид в этом сценарии, а не реально проверенная страница сайта. Буква сохраняет первое основание включения: S — целевое, R — случайное, P — дополнение процесса.

Один адрес, четыре вида для регистрации

В вымышленном сервисе /demande адрес при переходах не меняется. R02 показывает заполненную форму на шаге 2. Его проверка не описывает ни начало, ни завершение процесса.

  1. P01 · открыть форму
  2. R02 · ввести данные
  3. P03 · проверить сводку
  4. P04 · показать подтверждение

Если таблица шире экрана, прокрутите её по горизонтали; с клавиатуры перейдите в область и используйте стрелки.

От числа видов к воспроизводимой записи
Вид или ситуацияЧто сохранитьЧто ещё проверить
R02 · заполненная формаURL /demande, шаг 2, язык, версия, вымышленные данные и нужные действия.Открыть остальные шаги, а не выводить их наличие из этого снимка.
Ошибка вводаТот же URL, ошибочное поле, сообщение и вызывающее его действие.Добавить эту значимую ветвь: её пока нет среди 25 видов.
Другой языкИдентификатор варианта, язык и направление чтения.Проверка французского не охватывает автоматически арабский; выбрать его значимые взаимодействия.
Вид не открываетсяПлановый идентификатор, попытка, препятствие и обоснованная замена.Сохранить статус «не проверен»: простая замена не подтверждает проверку заблокированного вида.
Что делать, если случайный отбор выявил новый тип формы?

Пересмотреть структурированный охват, записать дополнения и сравнить результаты двух групп. Случайный отбор помогает выявить неполноту исследования. Здесь 25 — текущее состояние плана, а не верхняя граница.

Для повторения примера нужна строка на каждый вид: идентификатор, основание отбора, контекст, действия, ожидаемое состояние и статус проверки. Свяжите шаги с одним процессом; отличайте отсутствие наблюдения от успешной проверки.

Что учитывать в досье

Числа и идентификаторы вымышлены. Проверка одной выборки сама по себе не устанавливает соответствие всего продукта WCAG. Важны и критические ветви; четыре шага в примере показывают только основной путь.

Первичная документация

Документация просмотрена .

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

Реальный ряд: использование интернета, 2020–2024

Наблюдения позволяют сравнить изменение в процентных пунктах и относительное изменение опубликованного ряда. Три страны выбраны для чтения, а не для рейтинга цифровой эффективности.

Показатель отражает долю населения, использовавшего интернет за предыдущие три месяца. Он не измеряет время подключения, качество доступа или использование ИИ-помощника.

IT.NET.USER.ZS · Дата извлечения · Последнее обновление по API .

Доля населения · % · ось от 0 до 100График трёх рядов; все значения доступны в следующей таблице.025507510020202021202220232024ФранцияГерманияИспания
Доля населения · % · ось от 0 до 100 · ФранцияГерманияИспания
Реальный ряд: использование интернета, 2020–2024 · %
Страна20202021202220232024
Франция84,7186,1085,3386,8488,65
Германия89,8191,4391,6392,4893,50
Испания93,2193,9094,4995,4595,76

Франция: с 84,71% в 2020 до 88,65% в 2024; 3,95 процентных пункта, или 4,66% относительно начала.

Таблица округлена до двух знаков; расчёты используют полученные значения до округления. Перед причинным объяснением изучите пересмотры и различия сбора данных.

Источник: МСЭ, распространение Всемирного банка. Выборка и график Alexis Roux ZG. CC BY 4.0

Открыть официальный ряд · Определение и метод

ПОДРОБНЕЕ / ПРАКТИКА

Описать выборку до представления доли

Аудит контролирует только часть корпуса. Документация должна указывать популяцию, подборную единицу, механизм выбора и неопроверженные случаи до интерпретации результатов.

Обновлено .

Приоритетные проверки

Сохранение начального списка, критериев, порядка подбора и исключений. Отличить ориентированный образцы, случайный выбор и выбранные маршруты для покрытия конкретных ситуаций.

Ошибки интерпретации

Большое количество тестов не исправляет неполное покрытие. Повторные наблюдения на одной и той же странице могут дать впечатление обманного разнообразия.

Рабочий документ для сохранения

В образцовом списке указаны численность населения, выбранные случаи, исключения и объем заключения. Эти меры публикуют фактически наблюдаемого наименователя.