Perusteelliset käytännön oppaat

Mittaa AI-viittausosuuden epävarmuus

Erota havaittu osuus, otoskoko ja tilastollinen epävarmuus AI-vastausten seurannassa.

Päivitetty :

Raportteja ja kaavioita datan tarkastuspöydällä. Havainnollistava näkymä, ilman todellisia tietoja.

Raportteja ja kaavioita datan tarkastuspöydällä. Havainnollistava näkymä, ilman todellisia tietoja.

Onko viittausosuus riittävän tarkka päätökseen?

Osuus ilman nimittäjää peittää epävarmuuden. Neljä kymmenestä ja neljäkymmentä sadasta antavat saman osuuden, mutta eri tarkkuuden binomimallissa. Wilsonin väli näyttää eron muuttamatta valittua kysymyspaneelia edustavaksi käyttäjäotokseksi.

  1. Määritä onnistuminen

    Valitse ennen keruuta kriteeri: linkki, väitettä tukeva viite tai oikea vastaus. Pisteytä havainto kaksiluokkaisesti. Kirjaa epäonnistumiset, poissulut ja saavuttamattomat vastaukset muuttamatta sääntöä tulosten jälkeen.

  2. Säilytä protokolla

    Kiinnitä kieli, käyttöliittymä, maa, malli tai tila ja jakso. Toistot samassa keskustelussa voivat riippua toisistaan. Erota muuttuvat olosuhteet; yhden kysymyksen toisto ei luo monipuolisuutta.

  3. Lue osuus ja väli

    Työkalu käyttää 95 %:n Wilson-väliä riippumattomille kaksiluokkaisille havainnoille vakiolla todennäköisyydellä. Se toimii myös nollalla ja kaikilla onnistumisilla. Luottamustaso koskee menetelmän peittävyyttä toistossa, ei viitteen totuuden todennäköisyyttä.

  4. Päätä harkiten

    Säilytä osuus ja lukumäärät. Jos väli ylittää päätöskynnyksen, suunnittele täsmällisempi keruu. Ennen/jälkeen samoilla kysymyksillä on parittainen vertailu ja vaatii muutosanalyysin; tämä työkalu ei testaa eroa.

Laske 95 %:n Wilson-väli

Laskenta selaimessa. Tiedostoja ja syötettyjä arvoja ei lähetetä palvelimelle. UTF-8

Valmis laskemaan.

Vain vahvistetuilla oletuksilla. Ei korjaa paneelin valintaa eikä testaa kahden sarjan eroa.

Tilanteet ja päätökset

Tyypillisiä tilanteita tarkistuksen suunnitteluun. Ne eivät kuvaa toteutettuja toimeksiantoja tai todellisia havaintoja.

Neljä kymmenestä

Tulos on 40 % ja noin 16,8–68,7 %. Oletuksilla tulos sopii laajaan osuuksien joukkoon, eikä osoita yleistä sijoitusta.

Nolla kymmenestä

Havaittu osuus on nolla, yläraja noin 27,8 %. Otoksen viitteettömyys ei osoita viittauksen mahdottomuutta.

Säilytettävä näyttö

  • Onnistumisen määritelmä, kysymykset, poissulut ja keruukonteksti.
  • Onnistumiset k, havainnot n ja sarjan päivä.
  • Wilsonin menetelmä, 95 %:n taso, oletukset ja päätöskynnys.

Viralliset lähteet

Aiheeseen liittyvät protokollat

Tarkistukset ennen johtopäätöstä

  • Määriteltiinkö onnistuminen ennen laskemista?
  • Ovatko havainnot riippumattomia ja protokolla vakaa?
  • Erotetaanko tulos viitteiden oikeellisuudesta?

Usein kysytyt kysymykset

Tarkoittaako 95 %, että 95 % vastauksista sisältää viitteen?

Ei. Osuus on k/n. 95 % kuvaa välimenetelmää mainituilla oletuksilla.

Todistaako välien päällekkäisyys eron puuttumisen?

Ei. Päällekkäisyys ei ole erotesti, ja parittaiset havainnot vaativat sopivan käsittelyn.