Подробные практические руководства

Проверять релевантность внутреннего поиска

Составить типичные запросы, проверить результаты по языкам и улучшить поиск полезной информации.

Обновление :

Проверка интерфейса на компьютере, планшете и телефоне.

Иллюстрация, созданная ИИ

Может ли пользователь найти ответ на свою задачу?

Внутренний поиск помогает найти знакомую карточку, изучить тему или выбрать инструмент. Наличие результата не доказывает видимость полезной информации. Свяжите запрос с задачей, проверьте заголовок, фрагмент, адрес и язык. Набор осмысленных документированных вопросов полезнее оценки запросов без цели.

  1. Составить набор задач

    Выберите важные материалы каждой группы: руководство, карточка, категория, инструмент и обзор. Опишите потребность и реально отвечающие страницы. Включите вопрос без известного ответа для проверки пустого результата.

  2. Варьировать осмысленные формулировки

    Проверьте точное название, бытовое выражение, профессиональный термин и краткий вариант. Добавьте акценты, апострофы, нелатинские символы и используемые сокращения. Представляйте реальные способы поиска, а не только лексику редактора.

  3. Проверить каждый язык

    Ищите через все шесть интерфейсов. Проверьте фильтры, фрагменты, сообщения и язык назначения. Локализованный результат не должен незаметно переводить на другую языковую версию.

  4. Оценить результат и страницу

    Запишите позицию ожидаемой страницы и понятность заголовка. Откройте её и проверьте наличие полезного текста. Старый фрагмент, удалённая карточка или широкая категория могут вводить в заблуждение.

  5. Проверить состояния сценария

    Протестируйте пустой запрос, отсутствие ответа, фильтр, страницы результатов и возврат. Проверьте сохранение запроса и языка. Используйте клавиатуру, оцените подпись формы и понятность сообщений.

  6. Исправить причину и повторить

    Различайте отсутствующий текст, старый индекс, другую терминологию, неверную ссылку и плохое ранжирование. Исправьте соответствующую причину. Пересоберите индекс, повторите задачи и проверьте другие группы на ухудшения.

  7. Определить несколько допустимых ответов

    Широкому запросу могут соответствовать несколько полезных страниц. До проверки разделите прямой ответ, допустимый дополнительный материал и нерелевантный результат. Укажите, нужна ли читателю методика, карточка или шаблон. Так оценка не требует искусственно одного URL для каждой формулировки.

Практикум чтения данных

Оценить выдачу с явно заданным порогом

Пять вымышленных результатов позволяют вычислить точность, полноту и обратный ранг, не меняя знаменатели по ходу анализа.

Вымышленные данные и записи для обучения: результаты не получены запросами к действующим сервисам.

Запрос DEMO-Q03 и оценки релевантности

Порядок выдачи: A, B, C, D, E. Эталон релевантности содержит C, E и F. Изучаются только первые три результата: k=3, фактически отобрано m=3.

Если таблица шире экрана, прокрутите её по горизонтали; стрелки работают, когда область в фокусе.

Запрос DEMO-Q03 и оценки релевантности
Элемент расчётаЗначение примераИнтерпретацияСохраняемая проверка
Результаты до порогаA, B, C; m=3E присутствует в выдаче, но находится за порогом.Задать порог до расчёта и сохранить исходный порядок.
Релевантный эталонC, E, F; три ответаF отсутствует в возвращённой выдаче.Сохранить основания оценок и версию корпуса.
Пересечение при k=3Только C; найден один релевантный результатТочность = 1/3; полнота = 1/3.Здесь точность делится на m — фактически отобранное до k число; явно указать соглашение.
Первый релевантный результатC на позиции 3; обратный ранг RR = 1/3Это один запрос, а не среднее MRR.Не выдавать отдельный пример за общую эффективность поиска.

Оценить выдачу по своему эталону релевантности

Один запрос, точные ASCII-идентификаторы (буквы, цифры, точка, дефис, двоеточие или подчёркивание), до 32 знаков. По одному на строку; крайние пробелы и пустые строки пропускаются. До 20 результатов и 100 релевантных эталонных документов без повторов. Отсечение k от 1 до 20.

Результат введённого набора

Заданное отсечение k
3
Рассмотрено результатов m
3
Найдено релевантных
1
Релевантных в эталоне
3
Точность по m результатам (%)
33,33
Полнота относительно эталона (%)
33,33
Ранг первого релевантного
3
Обратный ранг для одного запроса
0,3333

m — фактически введённое число результатов до k. Точность = найденные релевантные / m; полнота = найденные релевантные / размер эталона. При нулевом знаменателе доля не определена. Обратный ранг равен 1/ранг первого релевантного либо нулю, если его нет.

Фактически рассмотренные позиции
РангТочный идентификаторВведённая оценка
1AОтсутствует в эталоне
2BОтсутствует в эталоне
3CРелевантен в эталоне

Расчёт задаётся введёнными оценками; документы вне эталона считаются нерелевантными. Неполный эталон не даёт глобальной полноты. Поисковик не опрашивается. Это не среднее MRR; если m меньше k, точность делится на m, а не на фиксированное k.

Какой итог сохраняет и порог, и оценки?

Раскройте каждый вариант и сравните разбор. Дополнительные проверки могут оставаться необходимыми.

Точность 2/5, потому что C и E релевантны.

Этот расчёт использует пять результатов при заявленном пороге три. Он отвечает на другой вопрос.

Полнота 1/5, потому что в выдаче пять элементов.

Неверный знаменатель. Релевантных элементов в эталоне три, в пределах порога найден один.

При k=3: точность 1/3, полнота 1/3 и RR 1/3.

Верно для этого случая при m=3. Дроби совпали по разным причинам и не взаимозаменяемы.

Вымышленная запись расчёта

Запрос: DEMO-Q03
Выдача: A, B, C, D, E
Релевантный эталон: C, E, F
Порог: k=3; фактически отобрано: m=3
Пересечение: C; число: 1
Точность: 1/3; полнота: 1/3
Первый релевантный: позиция 3; RR: 1/3

A–F — вымышленные идентификаторы. Оценки заданы для упражнения и не получены реальной проверкой сайта.

Документация правил отдельно от вымышленных примеров

Сравнить другие ситуации и упражнения

Страница есть, но не находится

Ищите заголовок и проверьте локализованный индекс. Исправьте включение или извлечение при отсутствии. Если запись есть, изучите термины до создания дубликата.

Фильтр создаёт тупик

Проверьте ограничиваемый тип и видимость фильтра при пустом результате. Предложите снять фильтр или изменить запрос; не выдумывайте результаты.

Открытие результата меняет язык

Сравните URL с эквивалентным материалом. Исправьте параметры или маршруты и проверьте страницы результатов и возврат. Перевода заголовка недостаточно.

Методика и шаблон имеют одинаковый заголовок

Условный случай: одинаковые заголовки ведут к объяснению или пустому документу. Отдельно проверяйте понимание метода и получение шаблона. Учитывайте задачу и показывайте тип результата: исправная ссылка может вести к неподходящему виду ответа.

Короткая аббревиатура даёт случайные совпадения

Пример проверки: API не должен находить страницу только из-за этих букв внутри capital. Проверяйте короткие слова как отдельные единицы, затем аббревиатуры в заголовках и тексте. Сохраните релевантный и исключённый случаи, чтобы исправление не повышало полноту искусственно.

Упражнение с разбором

Оценивать поиск по решённой задаче

Вымышленный пример: значения и документы служат для изучения метода и не описывают реальную организацию.

Задача: проверить соединение многие-к-одному. Оценки ниже — исходные данные упражнения.

Если таблица шире экрана, прокрутите её по горизонтали; стрелки работают, когда область в фокусе.

Исходные данные
ПозицияУсловный результатРешает задачу
1Общая статьяНет
2Руководство по проверке соединенияДа
3Карточка организацииНет
4Разобранный пример соединенияДа
5Проверки кратностиДа

Что проверить

  1. Посчитать результаты, решающие задачу.
  2. Рассчитать точность по пяти результатам.
  3. Записать позицию первого полезного результата и обратную величину.
Прочитать разбор

Разбор и решение

Точность по пяти результатам — 3/5, или 60 %. Первый полезный результат стоит на позиции 2; обратный ранг — 1/2. Метрики различают шум списка и доступ к первому полезному ответу.

Если условия изменятся

Упоминание соединения без объяснения проверки не решает задачу. Пересмотрите оценку при изменении материала.

Что сохранить

Сохранить запрос, задачу, пять адресов, оценки релевантности и дату.

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

Первые результаты: точность, полнота и первый успех

Два списка могут находить одинаковое число релевантных документов, располагая их на разных позициях. Пример разделяет качество первых k результатов, охват коллекции и ожидание первого полезного документа.

Первые результаты: точность, полнота и первый успех
ОриентирЗначение или формаЧто обозначает
CorpusA–H · R = 4В этом авторском учебном примере все восемь документов A–H оценены для одного запроса. Оценка выше нуля означает релевантность: B, C, D и F; R = 4.
P@k / Recall@khits / k · hits / RТочность делит число найденных релевантных документов на k. Полнота учитывает все четыре релевантных документа коллекции, включая невыданные.
RR@k1 / first relevant rankRR@k — обратная позиция первого релевантного результата в окне; ноль, если такого результата нет. Это показатель одного запроса, а не среднее MRR.
AP@k · R denominatorΣ P@i × rel(i) / RПринятая здесь формула: AP@k — сумма точности на релевантных позициях до k, делённая на R. Ненайденные релевантные документы дают нулевой вклад. Другие инструменты могут выбирать иной знаменатель.

Исследовать порядок

Авторское упражнение: фиксированные оценки одного запроса, без персональных данных и обращений к поисковой системе. A = 0, B = 3, C = 1, D = 2, E = 0, F = 3, G = 0, H = 0. Идентификаторы не обозначают реальные документы.

От 1 до 8 разных идентификаторов A–H через запятую. Пропущенные документы остаются в эталонной коллекции.

Расчёт выполняется в браузере. Два инструмента независимы.

Начальный список A,C,E,B; k = 4. Идеальная коллекция включает также D и F, отсутствующие в выдаче.

Результаты одного запроса

Точность P@k
0,5
Полнота Recall@k
0,5
Первый успех RR@k
0,5
AP@k, знаменатель R = 4
0,25
P@k = найдено/k; Recall@k = найдено/4; RR@k = 1/первая релевантная позиция (иначе 0); AP@k = Σ[rel(i) × P@i]/4
Детализация первых позиций
ПозицияДокументОценкаНакоплено релевантных документовТочность на позицииВклад AP
1A0000
2C110,50,125
3E010,3333330
4B320,50,125
Полностью оценённая эталонная коллекция
ДокументОценкаРелевантен при оценке > 0
A0Нет
B3Да
C1Да
D2Да
E0Нет
F3Да
G0Нет
H0Нет

Что учитывать в досье

Учебный пример, а не измерение реальной системы. Идентификаторы уникальны, порядок полный; равенство оценок автоматически не разрешается. Вывод округлён до шести знаков, промежуточные значения не округляются.

Почему одинаковая точность не означает одинаковый RR?

В списках A,C,E,B и B,A,E,C по два релевантных документа из четырёх. Точность и полнота равны 0,5, но первый успех находится на позиции 2 или 1: RR@4 равен 0,5 или 1.

Первичная документация

Документация просмотрена .

Что сохранить

  • Задача, точный запрос, язык, фильтры и обоснованные ожидаемые страницы.
  • Позиция, фрагмент, открытый URL и полезное содержание.
  • Пустой результат, клавиатурный сценарий и пагинация.
  • Версия индекса, причина, исправление и повторная проверка.
  • Намерение, допустимые виды ответов и причины исключения примеров.

Официальные источники

Связанные протоколы

Проверки перед выводом

  • Включает ли набор запросов поиск без результата, омоним и выражение, встречающееся только в основном тексте?
  • Открывают ли ссылки нужный раздел, сохраняя язык, параметры и полезный якорь?
  • Сохранены ли ожидаемые результаты и найденные ошибки вместе с проверяемой версией корпуса?
  • Различает ли выдача методику и шаблон, сохраняя другие полезные ответы?

Частые вопросы

Сколько запросов проверять?

Охватите главные группы и намерения, затем реальные проблемы. Добавляйте запросы с отдельными пробелами. Количество не доказывает представительность.

Каждый запрос должен давать результат?

Нет. Честный пустой ответ с видимыми фильтрами и полезными подсказками лучше нерелевантного. Затем оцените необходимость нового материала.

Как измерить улучшение?

Повторите задачи, сравните успех, позицию нужной страницы и число действий. Храните среду и версию корпуса; рост числа результатов может скрывать падение качества.

Индексировать всё?

Включайте полезные материалы и параметры их идентичности. Исключайте ошибки, устаревшие тексты и бесполезные технические состояния. Проверьте пересборку после обновлений.

Как выбрать запросы на тестирование?

Используйте вопросы аудитории, операции, описанные руководством и некоторые полезные синонимы. Добавление случаев без ожидаемого ответа также позволяет проверить понимание пустых результатов.

ПОДРОБНЕЕ / ПРАКТИКА

Проверьте, что в поиске есть полезный контент.

Существует страница, но естественные запросы не показывают ее. Контроль должен тестировать слова читателя, вариации и фильтры с четкими ожиданиями.

Обновлено .

Приоритетные проверки

Создание запросов на навигацию, тему и методы. Проверьте наличие ожидаемого результата, актуальность описания, назначение и поведение фильтров.

Ошибки интерпретации

Исследование может показаться эффективным на точных заголовках, но не удается на обычных формулярах. Старый индекс может игнорировать недавно добавленный контент.

Рабочий документ для сохранения

В исследовательской книжке сочетаются запрос, намерение, ожидаемый результат и наблюдаемый результат. Актуализации корпуса запускают проверку новых полезных формуляций.