Perusteelliset käytännön oppaat

Dokumentoi otos ennen mittaustuloksen julkaisua

Määritä perusjoukko, valinta, toistot ja poissulut tulkintaa varten.

Päivitetty :

Valitut kortit ja mittauskirjanpito. Havainnollistava näkymä.

Tekoälyllä luotu kuvitus

Mitä sivuja tai havaintoja tulos koskee?

Helppojen tapausten osuus kuvaa niitä, ei koko sivustoa. NIST käsittelee mittaussuunnitelmaa ja WCAG-EM vaatimustenmukaisuuden otosta. Tarkoitukset ja säännöt eroavat.

  1. Määritä perusjoukko

    Kirjaa URLit, kielet, päivät, kyselyt ja laitteet. Nimeä yksikkö: sivu, polku, vastaus tai istunto. Säilytä lista ja versio.

  2. Kuvaa valinta

    Erota kriittiset tapaukset etusijattomasta valinnasta. Kata mallit, toiminnot ja kokonaiset prosessit; kirjaa mekanismi, järjestys ja vaihdot.

  3. Erota toistot

    Kymmenen kysymyksen toistoa ei ole kymmenen tarkoitusta. Säilytä tapaus, toisto, aika ja konteksti; kuvaa riippuvuus ennen epävarmuutta.

  4. Julkaise poissulut

    Kirjaa häiriöt ja testaamattomat poistamatta salaa. Esitä osajoukot ennen koostetta; selitä painot ja rajat.

Havainnosta päätökseen

Kokonaistulos riippuu testien koostumuksesta

Sata polkua valittiin kattamaan tietokone ja puhelin tasan. Onnistuminen tarkoittaa polun loppuun suorittamista samalla kriteerillä; valinta ei edusta liikennettä.

Kuvitteellinen opetusesimerkki: määrät ja päivämäärät havainnollistavat menetelmää eivätkä kuvaa todellista toimeksiantoa.

Tulokset testitilanteittain

Asteikko 0–100 %; 50 valittua polkua tilannetta kohti.

  • Tietokone: 20 / 5040 %
  • Puhelin: 35 / 5070 %
Esimerkin tarkastelutaulukko
HavaintoTarpeellinen tarkistusSeuraava toimi
Tietokone: 20 onnistumista 50:stä20 / 50 = 40 %.Esitä tämän alaryhmän tulos.
Puhelin: 35 onnistumista 50:stä35 / 50 = 70 %.Pidä käyttötilanteiden ero näkyvänä.
Kaikki testit: 55 sadasta(20 + 35) / (50 + 50) = 55 %.Kuvaa testatut tapaukset yleistämättä kaikkiin kävijöihin.
Päätä itse — Mitä hypoteettiset painot 80 % tietokoneelle ja 20 % puhelimelle antaisivat?

Vastauksen perustelu

0,8 × 40 % + 0,2 × 70 % = 46 %. Se näyttää painojen vaikutuksen, ei näiden testien yksin vahvistamaa edustavaa estimaattia.

Viite: NIST suosittelee tavoitteiden ja otantasuunnitelman määrittelyä sekä poikkeusten dokumentointia. Tässä esitetyt polut ja tulokset ovat kuvitteellisia. NIST — Data Collection for PPC

Tilanteet ja päätökset

Tyypillisiä tilanteita tarkistuksen suunnitteluun. Ne eivät kuvaa toteutettuja toimeksiantoja tai todellisia havaintoja.

Vain helpot sivut

Kuvitteellinen tarkistus testaa artikkeleita mutta väittää kattavansa haun ja lomakkeet. Lisää puuttuvat toiminnot ennen yleistystä.

Toistettu kysely

Kymmenen esimerkkivastausta mittaa yhden kyselyn vaihtelua, ei kymmentä erillistä tarvetta.

Harjoitus ja ratkaisu

Kaksitoista tarkistusta ei kata kahtakymmentä polkua

Kuvitteellinen esimerkki: arvot ja asiakirjat opettavat menetelmää eivätkä kuvaa todellista organisaatiota.

Valitussa joukossa havaittiin kaksi virhettä. Tarkista myös puuttuvat sivutyypit.

Jos taulukko ylittää näytön, vieritä vaakasuunnassa; nuolinäppäimet toimivat alueen ollessa kohdistettuna.

Lähtötiedot
KohdeKokonaismääräTarkistettu
Artikkelit88
Tietosivut64
Lomakkeet40
Haut20

Tarkistettavat asiat

  1. Laske kokonaiskattavuus ja perhekohtainen kattavuus.
  2. Nimeä kokonaan puuttuvat toiminnot.
  3. Määrittele havaitun virheosuuden soveltamisala.
Lue ratkaisu

Ratkaisu ja päätös

Kattavuus on 12/20 eli 60 %: artikkeleista 100 %, korteista noin 66,67 %, lomakkeista ja hauista 0 %. Osuus 2/12 kuvaa tätä valittua erää, ei automaattisesti koko sivustoa. Lisää puuttuvat toiminnot ennen niitä koskevia päätöksiä.

Jos tilanne muuttuu

Dokumentoitu satunnaisotos esittää eri tilastollisen kysymyksen; älä siirrä sen ominaisuuksia helppouden perusteella valittuun erään.

Säilytettävä jälki

Säilytä luettelo, valinta, valinnan syy, virheet ja yleistämisen rajat.

Säilytettävä näyttö

  • Perusjoukko ja lista
  • Valintasääntö ja yksiköt
  • Toistot, poissulut ja konteksti
  • Nimittäjä, painot ja rajat

Viralliset lähteet

Aiheeseen liittyvät protokollat

Tarkistukset ennen johtopäätöstä

  • Onko joukko määritelty?
  • Ovatko yksiköt erillisiä?
  • Näkyvätkö poissulut?
  • Pysyykö päätelmä rajauksessa?

Valintasuunnitelma ja havaintorekisteri selvällä nimittäjällä.

Usein kysytyt kysymykset

Yhdistetäänkö kriittiset ja satunnaiset yhdeksi osuudeksi?

Ei ilman valinnan ja painojen selitystä. Kriittiset löytävät ongelmia; niiden osuus ei automaattisesti ole yleisyys.

Voiko paneelia käyttää uudelleen muutoksen jälkeen?

Kyllä vertailuun muutokset seuraten. Lisää uudet mallit ja ilmoita poistetut tapaukset.

Miten valita sivuston edustavat tapaukset?

Tunnista tärkeät komponentit, sisältö ja toimenpiteet ja valitse sitten tapaukset, jotka kattavat niiden variantit. Kriteerien ja poikkeusten dokumentointi auttaa ymmärtämään valvonnan laajuutta väittämättä, että olet testannut kaiken.

TYÖKALUT / REKISTERIT

Kirjattavat tiedot

Yleispätevää otoskokoa ei ole. Luottamusväli ei korjaa valintaharhaa tai epämääräistä joukkoa. Otos ei todista jokaisen sivun testausta.

  • Katselupäivä ja aikavyöhyke
  • Tarkka URL
  • Otos / perusjoukko
  • Valintayksikkö ja tapauksen tunniste
  • Kehikko, menetelmä ja valintajärjestys
  • Toistot ja havaintojen riippuvuus
  • Pois jätetyt ja testaamattomat tapaukset syineen
  • Mittari / mittaus
  • Rajoite / epävarmuus
  • Päätös / seuraava toimi
  • Tarkistuksen vastuuhenkilö
  • Seuraava tarkistus

DOKUMENTOIDUT TIEDOT

Riippumaton arviointi: jako ei riitä vastausten ohjattua säätöä

Oikea kaava voi tuottaa optimistisen luvun. Erota opetus, säätö ja lopputesti myös agentin ohjeissa.

TRAINVALIDATETESTfit → select → evaluate
Riippumaton arviointi: jako ei riitä vastausten ohjattua säätöä
ViiteArvo tai muotoMitä se yksilöi
HoldoutVaraa tapaukset ennen säätöäVaraa testit ennen säätöä; vastausten käyttö promptiin poistaa riippumattomuuden.
fit / transformSovita vain opetusdataanSovita esikäsittely vain opetuksessa ja muunna testi; imputointi ja valinta voivat vuotaa.
Threshold selectionValidointi ≠ lopputestiValidointi valitsee kynnyksen, lopputesti arvioi. Parhaan kynnyksen valinta samasta testistä valitsee suotuisaa kohinaa.
GroupKFoldRyhmät erillään kussakin jaossaPidä riippuvaiset ryhmät yhdessä; läheiset versiot ja toistot voivat helpottaa keinotekoisesti.
TimeSeriesSplitMenneisyys opettaa → tulevaisuus testaaSäilytä aikajärjestys tulevaisuutta arvioitaessa. TimeSeriesSplit gap laskee havaintoja, ei yleistä aikaa.
random_stateToistettavuus ≠ edustavuusKiinteä siemen toistaa jaon, ei takaa riippumattomuutta, kattavuutta tai palvelun vakautta.

Huomioitavaa aineistossa

Kirjaa yksikkö, riippuvuudet, poistot, versiot ja tapaukset. Jako ei todista edustavuutta.

Onko ohjeita parantanut aineisto yhä testi?

Se on kehitystä/validointia; varaa uusia tapauksia ja ilmoita roolit.

Alkuperäisdokumentaatio

Dokumentaatio tarkistettu .

DOKUMENTOIDUT TIEDOT

Puutteelliset arviot: säilytä tuntematon ja rajaus

Relevanssi arvioidaan tietylle tiedontarpeelle. Osittain arvioitu kokoelma ei tee arvioimattomista asiakirjoista hyödyttömiä. Erillinen esimerkki erottaa arvioiden kattavuuden, havaitun tarkkuuden ja mahdolliset rajat.

Puutteelliset arviot: säilytä tuntematon ja rajaus
ViiteArvo tai muotoMitä se yksilöi
Judged / retrieved3 / 5 = 60%Erillinen itse laadittu esimerkki: viisi tulosta, kaksi relevanttia, yksi epärelevantti ja kaksi arvioimatonta. Arvioiden kattavuus on 3/5 = 60 %.
P@5 bounds2 / 5 ≤ P@5 ≤ 4 / 5Jos molemmat tuntemattomat ovat epärelevantteja, tarkkuus on 2/5 = 40 %. Jos molemmat ovat relevantteja, se on 4/5 = 80 %. Nämä ovat deterministiset rajat, eivät luottamusväli.
P among judged2 / 3Vain arvioitujen tulosten tarkkuus on 2/3. Se vastaa eri kysymykseen eikä korvaa viiden sijan tarkkuutta. Tuntemattomien poistaminen muuttaa myös sijoja.
Recall · collection?Ilman kokoelman kaikkien relevanttien asiakirjojen joukkoa viidestä tuloksesta ei voi päätellä kokonaissaantia. Kirjaa arviointipooli, ohjeet, arvioija, kokoelman versio ja päiväys.
Erillinen esimerkki: viisi tulosta ja kaksi puuttuvaa arviota
SijaArvion tila
1Relevantti
2Arvioimaton
3Epärelevantti
4Relevantti
5Arvioimaton

Puuttuvaa arviota ei korvata automaattisesti nolla-arvosanalla.

judged = 3/5 = 0.6
P@5 ∈ [2/5, 4/5] = [0.4, 0.8]
P(judged) = 2/3 ≈ 0.666667

Huomioitavaa aineistossa

Viisi tilaa ovat opetusesimerkki, eivät sivuston havaintoja. Poolaus voi jättää relevantteja asiakirjoja arvioimatta. Järjestysmittarit eivät todista generoidun vastauksen faktatarkkuutta tai kaikkien käyttäjien tyytyväisyyttä.

Mitä protokollaan tarvitaan ennen hakukoneiden vertailua?

Arvioi samat kyselyt ja asiakirjat samoilla ohjeilla, säilytä tuntemattomat ja ilmoita niiden käsittely. Erota tekstikatkelmien haku, vastauksen uskollisuus katkelmille ja lähteiden pätevyys; järjestysmittari ei kata kaikkia kolmea.

Alkuperäisdokumentaatio

Dokumentaatio tarkistettu .

DOKUMENTOIDUT TIEDOT

Kokoa otos: 20 harkittua näkymää, 2 arvottua ja puuttuvat prosessin vaiheet

WCAG-EM 2.0, ryhmän muistio 23.7.2026, kuvaa satunnaisen lisäotoksen, jonka koko on 10 % rakenteisesta otoksesta. Jo valitut näkymät jätetään arvonnan ulkopuolelle. Prosentti koskee otosta, ei sivuston kaikkia sivuja. Menetelmä sisältää myös kokonaiset prosessit; URL yksin ei välttämättä erota lomakkeen peräkkäisiä tiloja.

Rakenteinen otos20S01…S20
Kuvitteellinen tilanne: 20 erillistä näkymää kattaa valitut sisältötyypit ja toiminnot. Sama näkymä voi edustaa useita piirteitä, mutta sitä ei siksi lasketa moneen kertaan.
Satunnainen lisäotos2R01, R02
Ensimmäisen joukon ulkopuolelta arvotaan kaksi erillistä näkymää: 10 % × 20 = 2. Säilytä lähtölista, menetelmä ja arvotut tunnisteet. Lasku ei ratkaise rakenteisen otoksen kokoa.
Prosessin täydennys3P01, P03, P04
R02 on neljän näkymän prosessin vaihe 2. Vaiheet 1, 3 ja 4 puuttuvat molemmista joukoista: lisätään kolme näkymää P01, P03 ja P04.
Esimerkin summa25S ∪ R ∪ P
Joukot eivät leikkaa tässä esimerkissä: 20 + 2 + 3 = 25 näkymää. Päällekkäisyys muuttaisi summaa. Luku ei mittaa kaikkien tilojen kattavuutta eikä tuotteen vaatimustenmukaisuutta.

25 erillistä näkymää, kolme valintaperustetta

Rakenteinen otos
20
Satunnainen lisäotos
2
Prosessin täydennys
3
Jokainen ruutu kuvaa esimerkin näkymää, ei tämän sivuston oikeasti auditoitua sivua. Kirjain säilyttää ensimmäisen valintaperusteen: S, rakenteinen; R, satunnainen; P, prosessin täydennys.

Yksi osoite, neljä tunnistettavaa näkymää

Kuvitteellisessa /demande-palvelussa URL ei muutu siirtymissä. R02 näyttää täytetyn lomakkeen vaiheessa 2. Sen testaaminen ei kuvaa prosessin alkua eikä loppua.

  1. P01 · avaa lomake
  2. R02 · syötä tiedot
  3. P03 · tarkista yhteenveto
  4. P04 · näytä vahvistus

Jos taulukko ylittää näytön leveyden, vieritä sitä vaakasuunnassa; näppäimistöllä kohdista alueeseen ja käytä nuolinäppäimiä.

Näkymien määrästä toistettavaan havaintoon
Näkymä tai tilanneSäilytettävä tietoMitä vielä tarkistetaan
R02 · täytetty lomakeURL /demande, vaihe 2, kieli, versio, kuvitteelliset testitiedot ja tarvittavat toimet.Avaa muut vaiheet; älä päättele niitä tästä kuvasta.
SyötevirheSama URL, virheellinen kenttä, viesti ja tilan laukaiseva toiminto.Lisää tämä olennainen haara: se ei vielä kuulu 25 näkymään.
Toinen kieliKieliversion tunniste, kieli ja lukusuunta.Havaittu ranska ei automaattisesti kata arabiaa; valitse sen olennaiset vuorovaikutukset.
Näkymä ei avauduSuunniteltu tunniste, yritys, este ja perusteltu korvaava valinta.Säilytä testaamaton tila näkyvänä; helppo korvaaja ei osoita estyneen näkymän testausta.
Entä jos arvonta paljastaa uuden lomaketyypin?

Tarkista rakenteinen kattavuus ja kirjaa lisäykset; vertaa sitten joukkojen havaintoja. Arvonta auttaa myös havaitsemaan puutteellisen kartoituksen. Tässä 25 on suunnitelman nykyinen koko, ei enimmäismäärä.

Säilytä esimerkin toistamista varten rivi jokaisesta näkymästä: tunniste, valintaperuste, konteksti, toimet, odotettu tila ja testattu / testaamaton. Yhdistä vaiheet samaan prosessiin; erota puuttuva havainto onnistuneesta tarkistuksesta.

Huomioitavaa aineistossa

Luvut ja tunnisteet ovat kuvitteellisia. Pelkkä arvioitu otos ei osoita koko tuotteen WCAG-vaatimustenmukaisuutta. Myös kriittiset haarat on huomioitava; esitetyt neljä vaihetta kuvaavat vain tavallisen polun.

Alkuperäisdokumentaatio

Dokumentaatio tarkistettu .

DOKUMENTOIDUT TIEDOT

Todellinen sarja: internetin käyttö 2020–2024

Havainnoilla voi verrata prosenttiyksikkömuutosta ja suhteellista muutosta julkaistussa sarjassa. Kolme maata on valittu lukuesimerkiksi, ei digitaalisen suorituskyvyn järjestykseksi.

Indikaattori kuvaa internetiä edeltävien kolmen kuukauden aikana käyttäneen väestön osuutta. Se ei mittaa käyttöaikaa, yhteyden laatua tai tekoälyavustajan käyttöä.

IT.NET.USER.ZS · Poimittu · API:n ilmoittama viimeisin päivitys .

Osuus väestöstä · % · akseli 0–100Kolmen sarjan kaavio; kaikki arvot löytyvät seuraavasta taulukosta.025507510020202021202220232024RanskaSaksaEspanja
Osuus väestöstä · % · akseli 0–100 · RanskaSaksaEspanja
Todellinen sarja: internetin käyttö 2020–2024 · %
Maa20202021202220232024
Ranska84,7186,1085,3386,8488,65
Saksa89,8191,4391,6392,4893,50
Espanja93,2193,9094,4995,4595,76

Ranska: 84,71% vuonna 2020, 88,65% vuonna 2024; 3,95 prosenttiyksikköä eli 4,66% suhteessa alkuun.

Taulukko on pyöristetty kahteen desimaaliin; laskut käyttävät vastaanotettuja arvoja ennen pyöristystä. Tutki tarkistukset ja keruutapojen erot ennen syyselitystä.

Lähde: ITU, jakelija Maailmanpankki. Poiminta ja kaavio Alexis Roux ZG. CC BY 4.0

Avaa virallinen sarja · Määritelmä ja menetelmä

SYVENTÄVÄ LUKEMINEN / KÄYTÄNTÖ

Kuvaa otos ennen osuuden esittämistä

Tilintarkastus kontrolloi vain osan korpusista. Dokumentissa on ilmoitettava väestö, valintayksikkö, valintamekanismi ja testattavat tapaukset ennen tulosten tulkintaa.

Päivitetty .

Ensisijaiset tarkistukset

Pidä lähtöluettelo, kriteerit, valintajärjestys ja poikkeukset. Erota suuntautunut näyte, satunnainen valinta ja tiettyjen tilanteiden kattamiseen valitut reitit.

Tulkinnan sudenkuopat

Korkea määrä testejä ei korjaa epätäydellistä kattavuutta. Toistuvat havainnot samasta sivusta voivat antaa petollisen monimuotoisuuden vaikutelman.

Säilytettävä työasiakirja

Näytteet osoittavat väestön, tapausten, poikkeusten ja johtopäätöksen laajuuden. Toimenpiteet julkaisevat tosiasiallisesti havaitun nimittäjän.