Perusteelliset käytännön oppaat

Mittaa AI-viittausosuuden epävarmuus

Erota havaittu osuus, otoskoko ja tilastollinen epävarmuus AI-vastausten seurannassa.

Päivitetty :

Avustajien vastausten ja viitteiden arviointi kahdella näytöllä.

Tekoälyllä luotu kuvitus

Onko viittausosuus riittävän tarkka päätökseen?

Osuus ilman nimittäjää peittää epävarmuuden. Neljä kymmenestä ja neljäkymmentä sadasta antavat saman osuuden, mutta eri tarkkuuden binomimallissa. Wilsonin väli näyttää eron muuttamatta valittua kysymyspaneelia edustavaksi käyttäjäotokseksi.

  1. Määritä onnistuminen

    Valitse ennen keruuta kriteeri: linkki, väitettä tukeva viite tai oikea vastaus. Pisteytä havainto kaksiluokkaisesti. Kirjaa epäonnistumiset, poissulut ja saavuttamattomat vastaukset muuttamatta sääntöä tulosten jälkeen.

  2. Säilytä protokolla

    Kiinnitä kieli, käyttöliittymä, maa, malli tai tila ja jakso. Toistot samassa keskustelussa voivat riippua toisistaan. Erota muuttuvat olosuhteet; yhden kysymyksen toisto ei luo monipuolisuutta.

  3. Lue osuus ja väli

    Wilsonin 95 prosentin väli koskee tässä riippumattomia kaksiluokkaisia havaintoja vakiolla todennäköisyydellä. Se voidaan laskea nollalla tai kaikilla onnistumisilla. Luottamustaso kuvaa menetelmää toistuvassa otannassa, ei viitteen totuutta tai paneelin edustavuutta.

  4. Päätä harkiten

    Säilytä osuus, määrät, oletukset ja päätösraja. Jos epävarmuus estää päätöksen, suunnittele keruu uudelleen ennen lisätoistoja. Samojen kysymysten ennen/jälkeen-vertailu on parittainen ja tarvitsee muutosanalyysin; kaksi erillistä väliä ei ole tämä testi.

Tietojen lukemisen työpaja

Kaksi ratkaisematta jäänyttä luokkaa eivät katoa osuudesta

DEMO-erässä on kymmenen keksittyä vastausta. Onnistuminen tarkoittaa väitettä tukevaa viitettä, ei vain linkin olemassaoloa.

Kuvitteellisia tietoja ja merkintöjä oppimista varten: tulokset eivät ole peräisin suorista palvelukyselyistä.

40 %, 50 % vai luokittelun vaihteluväli?

Neljä vastausta on tuettuja, neljä vailla tukea ja kaksi jää lukemisen jälkeen avoimeksi. Paneeli on valittu harjoitukseen; riippumattomuutta tai edustavuutta ei ole osoitettu.

Jos taulukko ylittää näytön, vieritä vaakasuunnassa; nuolinäppäimet toimivat alueen ollessa kohdistettuna.

40 %, 50 % vai luokittelun vaihteluväli?
TulkintaLaskelmaMitä luku kuvaaPäätös
Luokittelun tila4 tuettua; 4 tuetonta; 2 avointaKymmenen saatua vastausta, ei kymmentä valmista binääriluokkaaSäilytä avoimet tapaukset syineen.
Vahvistettu osuus erästä4 / 10 = 40 %Erässä jo vahvistettu tukiÄlä nimitä kahta avointa tapausta todetuiksi epäonnistumisiksi.
Osuus vain luokitelluista4 / 8 = 50 %Osuus ehdolla, että luokka on ratkaistuIlmoita myös molemmat poissulut ja kokonaismäärä kymmenen.
Mahdolliset uusintaluvun tulokset4 / 10 – 6 / 10: 40–60 %Luokittelun vaihteluväli, ei luottamusväliRatkaise luokat ennen binäärimallin käyttöä.

Mitä voi ilmoittaa keksimättä tilastollista tarkkuutta?

Avaa jokainen väite ja vertaa sen tulkintaa. Lisätarkistuksia voi silti tarvita.

50 % kymmenestä vastauksesta ilman varausta

Ei. 50 prosentin nimittäjä on kahdeksan. Tämä piilottaa joukon muutoksen ja kaksi avointa luokkaa.

40–60 % on Wilsonin 95 prosentin väli

Ei. Rajat tulevat vain luokittelun mahdollisista tuloksista; otantatodennäköisyyttä ei laskettu.

Neljä tuettua viitettä kymmenestä, kaksi tapausta vielä avoinna

Kyllä. Lisää ehdollinen osuus tarvittaessa ja kuvaa paneeli. Luokittelun epävarmuus eroaa otantaepävarmuudesta.

Kuvitteellinen luokittelukirjaus

Erä: DEMO, kymmenen valittua vastausta
Sääntö: viite tukee väitettä
Ratkaistu: 4 tuettua ja 4 tuetonta
Avoinna: 2, katkelmat tarkistettava
Vahvistettu: 4/10; ehdollinen: 4/8
Luokittelutulokset: 40–60 %, ei luottamustasoa
Seuraavaksi: kahden tapauksen dokumentoitu ratkaisu

Väli ei mittaa mallin tulevaa käyttäytymistä tai paneelin harhaa. Älä korvaa kymmentä kahdeksalla automaattisesti kaikissa laskelmissa.

Sääntöjen dokumentaatio erillään kuvitteellisista esimerkeistä

Vertaa muita tilanteita ja harjoituksia

Neljä kymmenestä

Neljä onnistumista kymmenestä antaa 40 % ja oletuksilla Wilsonin 95 prosentin välin noin 16,8–68,7 %. Pelkkä osuus peittää leveyden eikä osoita yleistä palvelujärjestystä.

Nolla kymmenestä

Havaittu osuus on nolla, yläraja noin 27,8 %. Otoksen viitteettömyys ei osoita viittauksen mahdottomuutta.

Korkea osuus ei aina vahvista päätösrajaa

Kahdeksantoista onnistumista kahdestakymmenestä antaa 90 %. Binomioletuksilla Wilsonin 95 prosentin väli on noin 69,9–97,2 %. Jos vaaditaan yli 80 %, alaraja ei vahvista ylitystä. Julkaise määrät ja päätössääntö.

Kaksikymmentä toistoa ei ole kaksikymmentä tilannetta

Kuvitteellisessa tapauksessa sama kysymys toistetaan kaksikymmentä kertaa yhdessä keskustelussa; toinen paneeli sisältää kaksikymmentä erilaista tarvetta. Sama osuus ei tee monipuolisuudesta tai riippuvuudesta vertailukelpoista. Säilytä kysymys- ja istuntotunnisteet ja kuvaa ryhmät ennen yhteistä mittaria.

Havainnosta päätökseen

Sama havaittu osuus, hyvin erilainen tarkkuus

Kaksi kuvitteellista keruuta antaa 40 %: 4 onnistumista 10:stä ja 40 onnistumista 100:sta. Laskenta olettaa riippumattomat kaksiluokkaiset havainnot vakiolla todennäköisyydellä. Välit eivät osoita kysymysten edustavuutta.

Kuvitteellinen opetusesimerkki: määrät ja päivämäärät havainnollistavat menetelmää eivätkä kuvaa todellista toimeksiantoa.

Lue leveyttä pisteen lisäksi

Vasemmalta oikealle: 0–100 %. Palkki: Wilsonin 95 prosentin väli; pystymerkki: havaittu osuus 40 %.

  • 4 / 1040 % · 16,8–68,7 %
  • 40 / 10040 % · 30,9–49,8 %
Esimerkin tarkastelutaulukko
HavaintoTarpeellinen tarkistusSeuraava toimi
4 onnistumista 10:stäOsuus: 40 %; Wilsonin 95 prosentin väli: 16,8–68,7 %.Noin 51,9 prosenttiyksikön leveys jättää suuren epävarmuuden.
40 onnistumista 100:staOsuus: 40 %; Wilsonin 95 prosentin väli: 30,9–49,8 %.Leveys on noin 18,9 prosenttiyksikköä; protokolla on silti tarkistettava.
Sama osuus, eri havaintomääräMäärä muuttaa tarkkuutta mallin oletuksilla.Julkaise onnistumiset, kokonaismäärä, väli ja oletukset yhdessä.
Päätä itse — Onko sata toistoa sata tilannetta?

Vastauksen perustelu

Ei. Rivimäärä ei todista riippumattomuutta tai monipuolisuutta. Säilytä kysymys, istunto ja olosuhteet; tutki riippuvat ryhmät. Ellei protokolla tue todennäköisyyspäätelmiä, kuvaa vain paneelin tulokset.

Menetelmä: kaksisuuntainen Wilsonin 95 prosentin väli, z ≈ 1,96. Määrät ovat kuvitteellisia; rajat pyöristetty prosenttiyksikön kymmenesosaan. NIST — Confidence intervals for proportions

Harjoitus ja ratkaisu

Neljä lukematonta vastausta eivät ole neljä viitteetöntä

Kuvitteellinen esimerkki: arvot ja asiakirjat opettavat menetelmää eivätkä kuvaa todellista organisaatiota.

Paneelin luokat ovat erillisiä. Lukukelvoton vastaus ei ole havaittu viitteen puuttuminen.

Jos taulukko ylittää näytön, vieritä vaakasuunnassa; nuolinäppäimet toimivat alueen ollessa kohdistettuna.

Lähtötiedot
HavaintoLukumäärä
Havaittu viite12
Luettava ilman viitettä4
Ei tarkistettavissa4

Tarkistettavat asiat

  1. Erota lukemisen epäonnistuminen havaitusta puutteesta.
  2. Laske osuus luettavista vastauksista.
  3. Anna kuvailevat rajat koko joukolle.
Lue ratkaisu

Ratkaisu ja päätös

Kuudestatoista luettavasta 12/16 = 75 %. Kahdessakymmenessä viitteitä on 12–16 eli 60–80 % tuntemattomien mukaan. Nämä ovat puuttuvan tiedon rajoja, eivät Wilsonin luottamusväli. Käsittely ei tee tuntematonta havaituksi.

Jos tilanne muuttuu

Kun neljä saadaan, korvaa tuntemattomat oikeilla tiloilla ja julkaise päivitetty yhteenvetoversio.

Säilytettävä jälki

Säilytä tilakohtaiset määrät, nimittäjät, lukemattomuuden syy ja poissulkusääntö.

Säilytettävä näyttö

  • Onnistumisen määritelmä, kysymykset, poissulut ja keruukonteksti.
  • Onnistumiset k, havainnot n ja sarjan päivä.
  • Wilsonin menetelmä, 95 %:n taso, oletukset ja päätöskynnys.
  • Ennalta päätetty raja, mahdolliset ehdolliset osuudet, istunnot ja käyttövirheet erikseen.

Viralliset lähteet

Aiheeseen liittyvät protokollat

Tarkistukset ennen johtopäätöstä

  • Määriteltiinkö onnistuminen ennen laskemista?
  • Ovatko havainnot riippumattomia ja protokolla vakaa?
  • Erotetaanko tulos viitteiden oikeellisuudesta?

Usein kysytyt kysymykset

Tarkoittaako 95 %, että 95 % vastauksista sisältää viitteen?

Ei. Osuus on k/n. 95 % kuvaa välimenetelmää mainituilla oletuksilla.

Todistaako välien päällekkäisyys eron puuttumisen?

Ei. Päällekkäisyys ei ole erotesti, ja parittaiset havainnot vaativat sopivan käsittelyn.

Miten teknisesti saavuttamaton vastaus lasketaan?

Päätä sääntö ennen keruuta. Luettavissa olevien vastausten osuus tarvitsee rinnalleen käyttövirheiden määrän ja kaikki yritykset. Älä luokittele saavuttamattomia vastauksia automaattisesti puuttuviksi viittauksiksi tai poista niitä kertomatta.

Kuinka käsitellä vaikeaa tapausta?

Luo epävarma luokka ja kuvaile syytä. Toinen lukeminen voi tarkistaa tuomion; se ei saa poistaa rajoituksia tai asettaa varmuutta, että tapaus ei salli.

MITTAUS / NÄKYVYYDEN LÄHTEET

Näyttökerta, viittaus ja käynti ovat eri havaintoja

Näkyminen tekoälyvastauksessa ja vierailu sivustolla tapahtuvat eri vaiheissa. Valitse kysymykseesi vastaava mittari ennen ajanjaksojen vertailua.

  1. Ole saavutettavissa

    Indeksointikäynti voi tuoda sivun haun saataville.

  2. Näy tai tule viitatuksi

    Linkki voi näkyä vastauksessa ilman klikkausta.

  3. Saa käynti

    Sivusto kirjaa saapumisen mittausjärjestelmänsä rajoissa.

Mitä raporttia käytät ja mitä se kertoo?
Havainnon lähdeMitä mitataanTulkinnan raja
Google · Generatiivinen tekoäly Search Consolessa
Virallinen dokumentaatio
Linkkien näyttökerrat AI Overviews- ja AI Mode -toiminnoissa, jaotteluna esimerkiksi sivu, maa ja laite.Päivät ovat Tyynenmeren ajassa (PT). Sivuston kokonaistulos voi poiketa sivurivien summasta aggregoinnin vuoksi. Googlen mukaan raportti jää yleensä näkymättä, jos sivusto saa näissä ominaisuuksissa liian vähän näyttökertoja.
Bing Webmaster Tools · AI Performance
Virallinen dokumentaatio · Bingin ilmoitus
Näkyvät viittaukset ja viitatut sivut tuetuissa tekoälypalveluissa; grounding-hakukyselyt ryhmitellään.Viittaus ei ole klikkaus, sijoitus tai sivun tärkeyden mitta. Ryhmitellyt kyselyt eivät toista yksittäisiä kehotteita. Näytetyt kyselyt perustuvat otokseen viittaustapahtumista.
Sivuston mittausSaapumiset ja toiminnot mittausasetustesi mukaisesti.Kohdennettu käynti ei edusta kaikkia näyttökertoja. Puuttuva viittaustieto tai estetty mittaus rajoittaa kohdentamista.
Dokumentoitu kysymyspaneeliViittausten esiintyminen ja vastaavuus havaittujen vastausten joukossa.Tulos riippuu kysymyksistä, tilasta, kielestä ja ajankohdasta. Se ei kuvaa kaikkia käyttäjiä.

Googlen tekoälyraportin näyttökerrat sisältyvät Search Consolen Web-tietoihin: älä lisää niitä Web-kokonaistulokseen. Vertaa näkyvyyttä, viittauksia ja käyntejä erikseen.

Vertaa kahden havainnon rajausta

Dokumentaatio tarkistettu .

DOKUMENTOIDUT TIEDOT

Hajonta ja epävarmuus: erota SD ja keskivirhe

Hajonta kuvaa havaintoja, epävarmuus estimaatin vaihtelua mallissa. Sama yksikkö ei tee niistä vaihtokelpoisia.

Hajonta ja epävarmuus: erota SD ja keskivirhe
ViiteArvo tai muotoMitä se yksilöi
Sample varianceΣ(xᵢ − mean)² / (n − 1)Otosvarianssi jakaa n − 1:llä. Jakaminen n:llä eroaa; kirjaa nimittäjä.
Sample SD√varianceVarianssin neliöjuuri alkuperäisyksikössä, varianssi neliöyksikössä. Suuri SD ei todista keruuvirhettä.
IQRQ3 − Q1Q3 miinus Q1 kuvaa keskustaa ja riippuu kvartiilisopimuksesta; säilytä algoritmi.
Rangemax − minMaksimi miinus minimi reagoi ääripäihin; ei luottamusväli.
SE(mean)s / √n · assumptions requireds/√n edellyttää sopivaa kehystä ja riippumattomuutta; ei riitä kaikkiin painotettuihin kyselyihin, sarjoihin tai toistoihin.
n < 2R sd(): NAR sd() palauttaa NA:n nollalle tai yhdelle havainnolle. Älä korvaa nollalla.

Huomioitavaa aineistossa

Väli vaatii mallin, tason ja menetelmän. Tekoälyviitteet ja toistovastaukset voivat riippua toisistaan; lisärivit eivät takaa riippumattomien havaintojen vähennystä.

Voiko SD- ja SE-palkkeja verrata?

Vain tietäen merkityksen. SD kuvaa hajontaa, SE keskiarvon arviointia mallissa. Lyhyempi palkki ei todista pienempää väestöhajontaa.

Alkuperäisdokumentaatio

Dokumentaatio tarkistettu .

DOKUMENTOIDUT TIEDOT

Havaittu osuus: ilmoita lukumäärät ja Wilsonin väli

Viisi positiivista tapausta kahdestakymmenestä on 25 %, samoin 250 tuhannesta. Sopivassa binomimallissa arvioiden tarkkuus silti eroaa. Työkalu erottaa havaitun osuuden, luottamustason ja lasketut rajat.

Havaittu osuus: ilmoita lukumäärät ja Wilsonin väli
ViiteArvo tai muotoMitä se yksilöi
Observed proportionx / nx laskee ennalta määritellyt positiiviset ja n kaikki arvioitavat tapaukset. Puuttuva tai ratkaisematon vastaus ei ole negatiivinen: kirjaa poistot erikseen.
Wilson scoretwo-sidedWilson on kaksisuuntainen score-väli. Sen keskipiste yleensä eroaa x/n:stä ja rajat pysyvät välillä 0–1. Se ei ole Waldin eikä tarkka Clopper–Pearsonin binomiväli.
Confidence level90% · 95% · 99%Tasot ovat 90 %, 95 % ja 99 % vastaavine normaalikvantiileineen. Luottamus kuvaa menetelmän peittävyyttä toistuvassa otannassa, ei tämän yksittäisen välin posterioritodennäköisyyttä.
x = 0upper limit > 0Kun x = 0 ja n > 0, yläraja on edelleen positiivinen. Havaintojen puuttuminen ei todista mahdottomuutta. Kun n = 0, väliä ei lasketa.
Sampling modelindependent · common probabilityMalli edellyttää riippumattomia kokeita samalla todennäköisyydellä. Saman kyselyn toistot, ryhmittyneet tapaukset ja mukavuusotanta eivät takaa ehtoja.

Tutki osuutta

Opetusharjoitus ilman oikean palvelun havaintoja. Positiivinen ja negatiivinen tarkoittavat vain ilmoitettua kriteeriä.

Mallin oletukset: riippumattomat kokeet samalla todennäköisyydellä. Valikoitu otos tai riippuvat toistot eivät muutu edustaviksi välin avulla.

Anna kokonaisluvut: 1 ≤ n ≤ 1000000 ja 0 ≤ x ≤ n.

Laskenta pysyy selaimessa; syötteitä ei lähetetä eikä tiedostoa luoda.

Tulokset laskettu · x = 5 · n = 20 · 95%

Havaittu osuus (%)
25
Alaraja (%)
11,18617
Yläraja (%)
46,870088
Leveys (prosenttiyksikköä)
35,683918
Wilsonin väli ja havaittu osuusPiste on x/n ja jana kaksisuuntainen Wilsonin väli. Akseli pysyy välillä 0–100 %. Arvot esitetään myös yllä.0%25%50%75%100%Wilson · 95%
Piste on x/n ja jana kaksisuuntainen Wilsonin väli. Akseli pysyy välillä 0–100 %. Arvot esitetään myös yllä.

Kaava ja laskentakäytäntö

z = {"90":1.6448536269514715,"95":1.9599639845400536,"99":2.5758293035489}
p = x/n; D = 1 + z²/n
center = (p + z²/(2n)) / D
half = z × sqrt(p(1−p)/n + z²/(4n²)) / D
Wilson = [center − half, center + half]

Hyvin pienet p-arvot näytetään tieteellisessä muodossa nollan sijaan. Muut tulokset pyöristetään kuuteen desimaaliin.

95 %:n esimerkit: taulukon taso säilyy valitsinta muutettaessa.
x / nHavaittu osuus (%)Alaraja (%)Yläraja (%)Leveys (prosenttiyksikköä)
0 / 50043,44824643,448246
1 / 5203,62241162,44653758,824126
5 / 510056,55175410043,448246
5 / 202511,1861746,87008835,683918
25 / 1002517,54521134,30446416,759252
250 / 10002522,4153127,7760285,360718
0 / 100003,699353,69935
100 / 10010096,300651003,69935

Esimerkit selittävät laskentaa eivätkä ole kaupallisia suorituskykytietoja.

Luottamustaso ei ole väitteen todenperäisyyden todennäköisyys. p-arvokaan ei mittaa sitä.

Huomioitavaa aineistossa

Itse laadittuja esimerkkejä, ei oikean palvelun mittauksia. Wilsonin peittävyys on likimääräinen eikä takaa 95 %:a joka otoskoolla. Se ei korjaa valintaharhaa, riippuvuutta tai arviointivirheitä eikä ennusta hakukoneen muutoksia.

Mitä viittausosuuden yhteydessä pitää ilmoittaa?

Kirjaa x ja n, positiivisen kriteeri, poistot, kyselyt ja valinta, versiot, ajat, riippumaton yksikkö ja välin menetelmä. Viittauksen esiintyminen ei todista oikeellisuutta; arvioi se erikseen.

Alkuperäisdokumentaatio

Dokumentaatio tarkistettu .

SYVENTÄVÄ LUKEMINEN / KÄYTÄNTÖ

Ilmaise, mitä tulosten perusteella voi todeta

Kaksi vastauksen sarjaa osoittavat eri viittausasteita. Ongelma on määrittää, onko ero kuvailee toistettavaa vaihtelua vai yksinkertaisesti testattujen kysymysten koostumusta.

Päivitetty .

Ensisijaiset tarkistukset

Tutkimus henkilöstön, toistojen ja huomautusten välisten riippuvuuksien välillä. Erota tulokset luokkiin, kun kysymykset liittyvät eri aikomuksiin tai vaikeustasoihin.

Tulkinnan sudenkuopat

Tarkka prosenttiosuus voi antaa väärän vaikutelman vakaudesta. Pieni näyte tai suuntautunut valinta pysyy rajallisena, jopa desimaalien ja grafiikan mukana.

Säilytettävä työasiakirja

Epävarmuusluettelo sisältää tapausten lukumäärän, luokitusperiaatteen ja havaitut vaihtelut. Siinä esitetään puolustettavat vertailut ja tarpeelliset lisätiedot.

ESIMERKKI / LUKUJEN TULKINTA

Näkyminen ei aina tarkoita oikeaa kuvausta

Kuvitteellista aineistoa menetelmän selittämiseksi; ei asiakastuloksia eikä tämän sivuston mittauksia.

Näkyminen ei aina tarkoita oikeaa kuvausta
HavaintoLukumääräTulkinta
Paneelin kysymykset40Kiinteä vertailupohja.
Brändin mainitsevat vastaukset1212 / 40 = 30 % paneelista.
Tarjonnan oikein kuvaavat vastaukset88 / 40 = 20 % paneelista; 8 / 12 ≈ 66,7 % maininnoista.
Näytä tulkinnan rajoitus

Mitä luvut eivät todista

Havainnot eivät mittaa markkinaosuutta tai myyntiä. Maininta voi olla virheellinen. Ilmoita paneeli, päivä, kieli ja toistot.