Perusteelliset käytännön oppaat

Sisäisen haun osuvuuden testaaminen

Laadi edustavat haut, tarkista kielikohtaiset tulokset ja paranna hyödyllisen sisällön löytämistä.

Päivitetty :

Käyttöliittymän tarkistus tietokoneella, tabletilla ja puhelimella.

Tekoälyllä luotu kuvitus

Löytääkö käyttäjä tarpeeseensa vastaavan sisällön?

Sisäinen haku auttaa löytämään tunnetun kortin, tutkimaan aihetta tai valitsemaan työkalun. Palautettu tulos ei osoita hyödyllisen sisällön näkyvyyttä. Liitä haku tehtävään ja tarkista otsikko, ote, kohde ja kieli. Dokumentoidut merkitykselliset kysymykset ovat hyödyllisempiä kuin tarkoituksettomien hakujen pistemäärä.

  1. Laadi tehtäväjoukko

    Valitse tärkeää sisältöä kaikista ryhmistä: opas, kortti, luokka, työkalu ja aineisto. Kuvaa tarve ja todella vastaavat sivut. Sisällytä tarve ilman tunnettua vastausta tyhjän tuloksen testaamiseen.

  2. Vaihtele mielekkäitä ilmauksia

    Testaa tarkka nimi, arkinen ilmaus, ammattitermi ja lyhyempi muoto. Lisää tarkkeita, heittomerkkejä, muita kirjoitusjärjestelmiä ja käytettyjä lyhenteitä. Edusta mahdollisia käyttötilanteita, älä vain toimituksen sanastoa.

  3. Tarkista kielet erikseen

    Hae kaikista kuudesta käyttöliittymästä. Tarkista suodattimet, otteet, viestit ja kohdekieli. Lokalisoitu tulos ei saa huomaamatta johtaa toiseen kieliversioon.

  4. Arvioi tulos ja kohdesivu

    Kirjaa odotetun sivun sijoitus ja otsikon tunnistettavuus. Avaa sivu ja varmista tiedon olemassaolo. Vanhat otteet, poistetut kortit ja liian laajat luokat voivat johtaa harhaan.

  5. Tarkista käyttökulun tilat

    Testaa tyhjä haku, tuloksettomuus, aktiivinen suodatin, sivutus ja paluu. Varmista haun ja kielen säilyminen. Käytä näppäimistöä ja arvioi lomakkeen nimikettä sekä viestien ymmärrettävyyttä.

  6. Korjaa syy ja toista

    Erota puuttuva sisältö, vanha indeksi, eri sanasto, väärä linkki ja huono järjestys. Korjaa havaittu syy. Rakenna indeksi uudelleen ja toista tehtävät parannusten ja muiden ryhmien heikennysten löytämiseksi.

  7. Määritä useita hyväksyttäviä vastauksia

    Laajaan tarpeeseen voi sopia useita sivuja. Erota ennen testausta suora vastaus, hyväksyttävä lisämateriaali ja aiheeton tulos. Kirjaa, etsitäänkö selitystä, tietokorttia vai ladattavaa mallia. Näin järjestystä voi arvioida vaatimatta yhtä URL-osoitetta jokaiseen sanamuotoon.

Tietojen lukemisen työpaja

Lue tulosjärjestystä ilmoitetulla katkaisukohdalla

Viiden kuvitteellisen tuloksen joukko laskee tarkkuuden, saannin ja käänteisen sijoituksen vaihtamatta nimittäjiä kesken tarkastelun.

Kuvitteellisia tietoja ja merkintöjä oppimista varten: tulokset eivät ole peräisin suorista palvelukyselyistä.

Kysely DEMO-Q03 ja sen relevanssiarviot

Järjestys on A, B, C, D, E. Relevantti vertailujoukko sisältää C:n, E:n ja F:n. Tarkastellaan vain kolmea ensimmäistä: k=3 ja tosiasiassa mukaan otettuja m=3.

Jos taulukko ylittää näytön, vieritä vaakasuunnassa; nuolinäppäimet toimivat alueen ollessa kohdistettuna.

Kysely DEMO-Q03 ja sen relevanssiarviot
Laskennan osaEsimerkin arvoTulkintaSäilytettävä tarkistus
Tulokset katkaisukohtaan astiA, B, C; m=3E esiintyy järjestyksessä mutta jää katkaisun ulkopuolelle.Päätä katkaisukohta ennen laskentaa ja säilytä alkuperäinen järjestys.
Relevantti vertailujoukkoC, E, F; kolme vastaustaF ei ole palautetuissa tuloksissa.Säilytä arvioiden perustelut ja korpuksen versio.
Leikkaus kohdassa k=3Vain C; yksi löydetty relevantti tulosTarkkuus = 1/3; saanti = 1/3.Tässä tarkkuus jaetaan m:llä eli tosiasiassa mukaan otetuilla tuloksilla k:hon asti; ilmoita käytäntö.
Ensimmäinen relevantti tulosC sijalla 3; käänteinen sijoitus RR = 1/3Tämä on yksi kysely, ei MRR-keskiarvo.Älä esitä yksittäistä tapausta hakukoneen yleisenä suorituskykynä.

Arvioi tulosjärjestys omalla relevanssivertailulla

Yksi kysely ja tarkat ASCII-tunnisteet (kirjaimet, numerot, piste, yhdysmerkki, kaksoispiste tai alaviiva), enintään 32 merkkiä. Yksi tunniste riville; reunavälit ja tyhjät rivit ohitetaan. Enintään 20 järjestettyä tulosta ja 100 relevanttia vertailuasiakirjaa ilman toistoja. Katkaisu k väliltä 1–20.

Annetun joukon tulos

Pyydetty katkaisu k
3
Tutkittuja tuloksia m
3
Löytyneitä relevantteja
1
Vertailun relevantit asiakirjat
3
Tarkkuus m tuloksessa (%)
33,33
Saanti vertailujoukossa (%)
33,33
Ensimmäisen relevantin järjestysluku
3
Käänteinen järjestysluku, yksi kysely
0,3333

m on todella annettujen tulosten määrä k:hon asti. Tarkkuus = löydetyt relevantit / m; saanti = löydetyt relevantit / vertailujoukon koko. Nollanimittäjällä osuus ei ole määritelty. Käänteinen järjestysluku on 1/ensimmäisen relevantin sijainti tai nolla ilman osumaa.

Todella tutkitut sijainnit
SijaintiTarkka tunnisteAnnettu arvio
1APuuttuu vertailusta
2BPuuttuu vertailusta
3CRelevantti vertailussa

Annetut arviot määrittävät laskennan; vertailusta puuttuvat asiakirjat tulkitaan epärelevanteiksi. Puutteellinen vertailu ei anna yleistä saantia. Hakukonetta ei käytetä. Tämä ei ole MRR-keskiarvo; jos m on pienempi kuin k, tarkkuus jaetaan m:llä eikä kiinteällä k:lla.

Mikä yhteenveto noudattaa katkaisua ja arvioita?

Avaa jokainen väite ja vertaa sen tulkintaa. Lisätarkistuksia voi silti tarvita.

Tarkkuus 2/5, koska C ja E ovat relevantteja.

Tämä käyttää kaikkia viittä tulosta, vaikka katkaisukohta on kolme. Se vastaa eri kysymykseen.

Saanti 1/5, koska järjestyksessä on viisi kohdetta.

Väärä nimittäjä. Relevantissa vertailujoukossa on kolme kohdetta, joista yksi löytyi katkaisun sisältä.

Kohdassa k=3: tarkkuus 1/3, saanti 1/3 ja RR 1/3.

Tämä on esimerkin tulos, kun m=3. Murtoluvut ovat samoja eri syistä eivätkä tarkoita samaa asiaa.

Kuvitteellinen laskentatietue

Kysely: DEMO-Q03
Järjestys: A, B, C, D, E
Relevantti vertailujoukko: C, E, F
Katkaisu: k=3; todella mukana: m=3
Leikkaus: C; määrä: 1
Tarkkuus: 1/3; saanti: 1/3
Ensimmäinen relevantti: sija 3; RR: 1/3

A–F ovat keksittyjä tunnisteita. Arviot on asetettu tehtävää varten, eivätkä ne ole sivuston todellisen arvioinnin tuloksia.

Sääntöjen dokumentaatio erillään kuvitteellisista esimerkeistä

Vertaa muita tilanteita ja harjoituksia

Sivu on olemassa mutta ei löydy

Hae otsikkoa ja tarkista kielikohtainen indeksi. Korjaa puuttuva sisällytys tai poiminta. Jos sivu on mukana, tutki sanoja ennen päällekkäisen sisällön luomista.

Suodatin muodostaa umpikujan

Tarkista rajattu tyyppi ja suodattimen näkyvyys tyhjässä tuloksessa. Tarjoa poistamista tai uudelleenmuotoilua, älä keksittyjä tuloksia.

Tulos vaihtaa avattaessa kieltä

Vertaa URL-osoitetta vastaavaan sisältöön. Korjaa parametrit tai reititys ja testaa sivutus sekä paluu. Otsikon käännös ei riitä.

Oppaalla ja mallilla on sama otsikko

Kuvitteellisessa tapauksessa sama otsikko avaa menetelmän tai tyhjän asiakirjan. Testaa menetelmän ymmärtäminen ja mallin saaminen erikseen. Järjestä tehtävän mukaan ja näytä tuloksen laji; toimiva linkki voi silti avata vääränlaisen vastauksen.

Lyhyt lyhenne tuottaa satunnaisia osumia

Testiesimerkissä API ei saa löytää sivua vain sanan capital sisältämien kirjainten vuoksi. Tarkista lyhyet sanat erillisinä yksikköinä sekä lyhenteet otsikoissa ja tekstissä. Säilytä hyödyllinen ja hylätty tapaus, jotta korjaus ei paisuta löytyvyyttä keinotekoisesti.

Harjoitus ja ratkaisu

Arvioi hakua ratkaistun tehtävän perusteella

Kuvitteellinen esimerkki: arvot ja asiakirjat opettavat menetelmää eivätkä kuvaa todellista organisaatiota.

Tehtävä: tarkista monta yhteen -liitos. Alla olevat relevanssiarviot ovat harjoituksen lähtötietoja.

Jos taulukko ylittää näytön, vieritä vaakasuunnassa; nuolinäppäimet toimivat alueen ollessa kohdistettuna.

Lähtötiedot
SijaKuvitteellinen tulosTukee tehtävää
1YleisartikkeliEi
2Liitoksen tarkistusopasKyllä
3Organisaation tietosivuEi
4Ratkaistu liitosesimerkkiKyllä
5KardinaliteettitarkistuksetKyllä

Tarkistettavat asiat

  1. Laske tehtävän todella ratkaisevat tulokset.
  2. Laske viiden tuloksen tarkkuus.
  3. Kirjaa ensimmäinen hyödyllinen sijoitus ja sen käänteisluku.
Lue ratkaisu

Ratkaisu ja päätös

Tarkkuus viidellä tuloksella on 3/5 eli 60 %. Ensimmäinen hyödyllinen tulos on sijalla 2; käänteinen sijoitus on 1/2. Mittarit erottavat listan hälyn ensimmäisen hyödyllisen vastauksen löytämisestä.

Jos tilanne muuttuu

Liitoksen mainitseminen ilman tarkistusohjetta ei ratkaise tehtävää. Arvioi tulos uudelleen sisällön muuttuessa.

Säilytettävä jälki

Säilytä kysely, tehtävä, viisi kohdetta, relevanssiarviot ja tarkistuspäivä.

DOKUMENTOIDUT TIEDOT

Ensimmäiset tulokset: tarkkuus, saanti ja ensimmäinen osuma

Kaksi järjestystä voi löytää yhtä monta relevanttia asiakirjaa mutta sijoittaa ne eri kohtiin. Harjoitus erottaa k ensimmäisen tuloksen laadun, kokoelman kattavuuden ja ensimmäisen hyödyllisen tuloksen odotuksen.

Ensimmäiset tulokset: tarkkuus, saanti ja ensimmäinen osuma
ViiteArvo tai muotoMitä se yksilöi
CorpusA–H · R = 4Tässä itse laaditussa opetusesimerkissä kaikki kahdeksan asiakirjaa A–H on arvioitu yhdelle kyselylle. Nollaa suurempi arvosana tarkoittaa relevanssia: B, C, D ja F; R = 4.
P@k / Recall@khits / k · hits / RTarkkuuden jakaja on k. Saannin jakaja on kokoelman kaikkien neljän relevantin asiakirjan määrä, myös palauttamatta jääneiden.
RR@k1 / first relevant rankRR@k on ikkunan ensimmäisen relevantin tuloksen sijaluvun käänteisluku tai nolla, jos osumaa ei ole. Tämä on yhden kyselyn mittari, ei MRR-keskiarvo.
AP@k · R denominatorΣ P@i × rel(i) / RTässä AP@k = relevanttien sijojen tarkkuuksien summa sijoille k asti jaettuna R:llä. Palauttamatta jääneet relevantit asiakirjat antavat nollan. Muut työkalut voivat käyttää eri jakajaa.

Tutki järjestystä

Itse laadittu harjoitus: yhden kyselyn kiinteät arvosanat ilman henkilötietoja tai hakukoneelle lähetettävää pyyntöä. A = 0, B = 3, C = 1, D = 2, E = 0, F = 3, G = 0, H = 0. Tunnisteet eivät edusta oikeita asiakirjoja.

1–8 eri tunnistetta A–H pilkuilla erotettuina. Pois jätetyt asiakirjat säilyvät vertailukokoelmassa.

Laskenta pysyy selaimessasi. Kaksi työkalua toimivat erillään.

Alkujärjestys A,C,E,B; k = 4. Ihannevertailu sisältää myös D:n ja F:n, joita ei palautettu.

Yhden kyselyn tulokset

Tarkkuus P@k
0,5
Saanti Recall@k
0,5
Ensimmäinen osuma RR@k
0,5
AP@k, jakaja R = 4
0,25
P@k = osumat/k; Recall@k = osumat/4; RR@k = 1/ensimmäinen relevantti sija (muuten 0); AP@k = Σ[rel(i) × P@i]/4
Ensimmäisten sijojen erittely
SijaAsiakirjaArvosanaRelevantteja yhteensäTarkkuus sijallaAP-panos
1A0000
2C110,50,125
3E010,3333330
4B320,50,125
Kokonaan arvioitu vertailukokoelma
AsiakirjaArvosanaRelevantti, kun arvosana > 0
A0Ei
B3Kyllä
C1Kyllä
D2Kyllä
E0Ei
F3Kyllä
G0Ei
H0Ei

Huomioitavaa aineistossa

Opetusesimerkki ei mittaa oikeaa hakukonetta. Tunnisteiden on oltava yksilöllisiä ja järjestyksen täydellinen; tasapisteitä ei käsitellä automaattisesti. Tulos pyöristetään kuuteen desimaaliin ilman välivaiheiden pyöristystä.

Miksi sama tarkkuus voi antaa eri RR-arvon?

Listoissa A,C,E,B ja B,A,E,C on kummassakin kaksi relevanttia asiakirjaa neljästä. Tarkkuus ja saanti ovat 0,5, mutta ensimmäinen osuma on sijalla 2 tai 1: RR@4 on siis 0,5 tai 1.

Alkuperäisdokumentaatio

Dokumentaatio tarkistettu .

Säilytettävä näyttö

  • Tehtävä, tarkka haku, kieli, suodattimet ja perustellut kohdesivut.
  • Sijoitus, ote, avattu URL ja hyödyllinen sisältö.
  • Tyhjä tila, näppäimistökulku ja sivutus.
  • Indeksiversio, syy, korjaus ja uusintatulos.
  • Hakutarve, hyväksyttävät vastaustyypit ja poissuljettujen esimerkkien perustelut.

Viralliset lähteet

Aiheeseen liittyvät protokollat

Tarkistukset ennen johtopäätöstä

  • Sisältävätkö testikyselyt tuloksettoman haun, kaiman ja vain leipätekstistä löytyvän ilmauksen?
  • Avaavatko tuloslinkit oikean osion säilyttäen kielen, parametrit ja hyödyllisen ankkurin?
  • Onko odotetut tulokset ja havaitut virheet tallennettu yhdessä testatun sisältöversion kanssa?
  • Erottaako järjestys selityksen ja mallin säilyttäen muut hyödylliset vastaukset?

Usein kysytyt kysymykset

Montako hakua testataan?

Kata pääryhmät ja aikomukset, sitten todelliset ongelmat. Lisää eri puutteita osoittavia hakuja. Määrä ei yksin osoita edustavuutta.

Pitääkö jokaiselle haulle olla tulos?

Ei. Rehellinen tyhjä tila näkyvine suodattimineen ja hyödyllisine vihjeineen on epärelevanttia tulosta parempi. Arvioi sitten uuden sisällön tarve.

Miten parannus mitataan?

Toista tehtävät ja vertaa onnistumista, hyödyllisen sivun sijoitusta ja vaiheita. Säilytä ympäristö ja aineistoversio; tulosmäärän kasvu voi peittää huonomman osuvuuden.

Indeksoidaanko kaikki?

Sisällytä hyödyllinen sisältö ja sen tunnisteparametrit. Jätä pois virheet, vanhentunut sisältö ja hyödyttömät tekniset tilat. Tarkista uudelleenrakennus päivitysten jälkeen.

Miten valita testausvaatimukset?

Käytä yleisön kysymyksiä, oppaiden kuvattuja toimintoja ja joitakin hyödyllisiä synonyymejä. Lisää tapauksia ilman odotettua vastausta voi myös tarkistaa ymmärrystä tyhjistä tuloksista.

SYVENTÄVÄ LUKEMINEN / KÄYTÄNTÖ

Tarkista, että tutkimus löytää hyödyllisen sisällön

Sivua on olemassa, mutta luonnolliset kyselyt eivät anna sitä näkyviin. Hallinnan on testattava lukijan sanoja, muunnelmia ja suodattimia selkeillä odotuksilla.

Päivitetty .

Ensisijaiset tarkistukset

Suunnittele navigointihakemukset, aihe ja menetelmä. Tarkista odotetun tuloksen läsnäolo, kuvauksen merkityksellisyys, tarkoitus ja suodattimien käyttäytyminen.

Tulkinnan sudenkuopat

Tutkimus voi tuntua tehokkaalta tarkissa otsikoissa, mutta epäonnistuu tavallisissa muotoiluissa. Vanha indeksi voi jättää huomiotta äskettäin lisättyä sisältöä.

Säilytettävä työasiakirja

Tutkimuslehti yhdistää kysely, aikomus, odotettu tulos ja havaittu tulos. Corpus-päivitykset johtavat uusien hyödyllisten muotoilujen tarkistamiseen.