Perusteelliset käytännön oppaat

Lue puuttuvat arvot ja tilastoliput

Erota nolla, puuttuminen, salassapito, arvio ja ennakkotieto ennen laskelmia ja kuvioita.

Päivitetty :

Tilastoanalyysin työpiste, jossa on havainnollistavia kaavioita.

Tekoälyllä luotu kuvitus

Voiko tyhjän solun käsitellä nollana?

Havaintoon kuuluvat arvo ja tila. Koodit vaihtelevat tuottajan ja tiedoston mukaan; kirjaimella ei ole yleispätevää merkitystä. Säilytä huomautukset.

  1. Lue selite

    Etsi koodilista ja rakenneversio. Erota arvo, tila, yksikkö ja huomautus.

  2. Luokittele puuttuminen

    Erota keräämättä jäänyt, soveltumaton, julkaisematon, salainen ja poimintavirhe. Säilytä tuntematon syy.

  3. Määritä laskelma

    Ilmoita odotettu perusjoukko ja käytettävät havainnot. Älä korvaa puuttuvaa nollalla; selitä poistot ja imputoinnit.

  4. Näytä kattavuus

    Julkaise käytettävien arvojen määrä. Säilytä arvio- ja ennakkoliput; näytä puuttuva kuvion piste eri tavalla kuin nolla.

Havainnosta päätökseen

Keskiarvo 72 arvosta, ei 100 rivistä

Taulukossa odotetaan 100 riviä: 72 käyttökelpoista lukuarvoa, 18 puuttuvaa ja 10 luottamuksellista arvoa. Saatavilla olevien 72 arvon summa on 720 yksikköä.

Kuvitteellinen opetusesimerkki: määrät ja päivämäärät havainnollistavat menetelmää eivätkä kuvaa todellista toimeksiantoa.

Sadan odotetun arvon saatavuus

Asteikko 0–100 riviä; kolme toisensa poissulkevaa luokkaa, yhteensä 100.

  • Käyttökelpoiset72
  • Puuttuvat18
  • Luottamukselliset10
Esimerkin tarkastelutaulukko
HavaintoTarpeellinen tarkistusSeuraava toimi
72 käyttökelpoista arvoa720 / 72 = 10 yksikköä.Julkaise saatavilla olevien arvojen keskiarvo ja määrä: 72 sadasta.
18 puuttuvaa arvoaArvot ja puuttumisen syyt vaativat selvitystä.Älä korvaa automaattisesti nollalla.
10 luottamuksellista arvoaSalaus ei tarkoita toiminnan puuttumista.Säilytä tila äläkä kierrä suojausta.
Päätä itse — Miksi 720 / 100 = 7,2 ei ole havaittu keskiarvo?

Vastauksen perustelu

Se antaisi epäsuorasti nollan 28 arvolle, joita ei ole saatavilla. Se lisää oletuksen, jota taulukko ei anna, ja voi siirtää tulosta keinotekoisesti.

Viite: Eurostatin selite erottaa sarjakatkoksen, ennakkotiedon ja puuttuvan arvon. Lue käytettävän aineiston selite; esimerkin luvut ovat kuvitteellisia. Eurostat — Database: flags and coding conventions

Tilanteet ja päätökset

Tyypillisiä tilanteita tarkistuksen suunnitteluun. Ne eivät kuvaa toteutettuja toimeksiantoja tai todellisia havaintoja.

Numerokoodi päätyy keskiarvoon

ACS-osion kuvitteellinen lasku näyttää, miksi 10, 20 ja puuttuvan arvon koodi eivät ole kolme havaittua määrää. Saatavilla olevien arvojen keskiarvo on 15 kahdesta havainnosta; nollalla korvaaminen lisää oletuksen.

Salassapito

Piilotettu solu ei tarkoita toiminnan puuttumista. Älä palauta sitä vähennyslaskulla suojauksen kiertämiseksi.

Nimittäjä muuttaa viestin

Kuvitteellisessa esimerkissä kuusi kymmenestä organisaatiosta ilmoittaa summan: kaksi ilmoittaa nollan ja neljä ei vastaa. Kattavuus on 6/10 eli 60 %. Positiivisten summien osuus vastanneista on 4/6 eli noin 66,7 %. Väite 40 prosentin positiivisista summista ei ratkaise neljän tuntemattoman tapauksen tilannetta.

Sarjan tarkistus ei ole pelkkä solukorjaus

Havainnollistava poiminta sisältää ennakkotiedon 100 ja myöhemmin tarkistetun 104. Säilytä molemmat versiot päivineen. Vertaa jaksoja samassa aineistoversiossa tai ilmoita osittaiset tarkistukset; älä korvaa alkuperäisiä huomaamatta.

Harjoitus ja ratkaisu

Kolme kelvollista vastausta viidestä odotetusta

Kuvitteellinen esimerkki: arvot ja asiakirjat opettavat menetelmää eivätkä kuvaa todellista organisaatiota.

Odotettuja yksiköitä on viisi. Kuvitteellinen sanasto erottaa havaitun arvon, vastaamattomuuden ja salatun arvon.

Jos taulukko ylittää näytön, vieritä vaakasuunnassa; nuolinäppäimet toimivat alueen ollessa kohdistettuna.

Lähtötiedot
KohdeArvoTausta
A10Havaittu
B0Havaittu
CTyhjäVastaamattomuus
D20Havaittu
ELuottamuksellinenSalattu

Tarkistettavat asiat

  1. Erota kaksi puuttuvaa arvoa havaitusta nollasta.
  2. Laske saatavilla olevien arvojen keskiarvo.
  3. Ilmoita kattavuus ja kohdejoukko.
Lue ratkaisu

Ratkaisu ja päätös

Saatavilla oleva summa on 30 ja kolmen havainnon keskiarvo 10. Kattavuus on 3/5 eli 60 %. Viidellä jakaminen antaa 6 ja korvaa kaksi tuntematonta huomaamatta nollilla. Saatavilla oleva keskiarvo ei osoita kaikkien viiden keskiarvoa.

Jos tilanne muuttuu

Jos imputointi tarvitaan, julkaise sääntö ja erillinen tulos; säilytä raaka-arvot.

Säilytettävä jälki

Säilytä puuttumiskoodit, odotettu ja havaittu määrä, saatavilla oleva keskiarvo ja kattavuusrajoitus.

Dokumentaatioviite : W3C — Tabular data model, null values · Luettu

Säilytettävä näyttö

  • Tiedosto, versio ja lippujen selite.
  • Raaka-arvot, koodit ja tunnetut syyt.
  • Odotettu ja käytettävä havaintomäärä.
  • Poisto-, imputointi- ja pyöristyssäännöt.
  • Muuttujakohtaiset nimittäjät, kattavuus sekä havaintojen ja arvioiden visuaalinen erottelu.

Viralliset lähteet

Liittyvät lähdesivut

Aiheeseen liittyvät protokollat

Tarkistukset ennen johtopäätöstä

  • Eroavatko nolla ja puuttuva?
  • Vastaako selite tiedostoa?
  • Näkyykö nimittäjä?
  • Säilyvätkö liput viennissä?

Usein kysytyt kysymykset

Poistanko vajaat rivit?

Niitä voi käyttää muille muuttujille. Dokumentoi muuttujakohtainen sääntö ja menetetty kattavuus.

Onko ennakkotieto väärää?

Lippu kertoo mahdollisesta tarkistuksesta, ei todistetusta virheestä. Viittaa versioon ja tarkista muutokset.

Miten puuttuva havainto esitetään aikasarjassa?

Jätä aukko tai selitetty puuttuvan arvon merkki. Pisteiden yhdistäminen voi näyttää havaitsemattoman kehityksen. Esitä mahdollinen interpolointi erikseen ja kerro menetelmä sen sijaan, että kutsuisit sitä julkaistuksi mittaukseksi.

TYÖKALUT / REKISTERIT

Kirjattavat tiedot

Julkaise käytettävien arvojen määrä. Säilytä arvio- ja ennakkoliput; näytä puuttuva kuvion piste eri tavalla kuin nolla.

  • Katselupäivä ja aikavyöhyke
  • Tarkka URL
  • Aineiston / sarjan koodi
  • Tarkka sarakenimi
  • Yksikkö / laskentaperusta
  • Puuttuvat arvot ja null-sallinta
  • Havaittu tila
  • Otos / perusjoukko
  • Menetelmä / määritelmä
  • Versio / tarkistus
  • Rajoite / epävarmuus
  • Päätös / seuraava toimi
  • Tarkistuksen vastuuhenkilö
  • Seuraava tarkistus

DOKUMENTOIDUT TIEDOT

Eurostat: erota havaintotila ja luottamuksellisuus

Eurostat erotti OBS_STATUS- ja CONF_STATUS-koodit 27.1.2025. Luettelot tarkistettiin 22.10.2026. Säilytä kirjain kenttänsä kanssa: pieniksi kirjaimiksi muuttaminen voi vaihtaa merkityksen.

Eurostat: erota havaintotila ja luottamuksellisuus
ViiteArvo tai muotoMitä se yksilöi
bOBS_STATUSAikasarjan katkos. Lue metatiedot ennen sen ylittävää muutoslaskua; koodi ei osoita syytä tai kokoa.
dOBS_STATUSMääritelmä eroaa: katso metatiedot. Sama muuttujan nimi ei takaa vertailukelpoisuutta.
pOBS_STATUSAlustava arvo. Säilytä poiminta-aika ja tila erottaaksesi tarkistuksen talouden muutoksesta.
iOBS_STATUSEurostatin tai muun vastaanottajan imputoima arvo, ei suoraan kerätyksi merkitty havainto.
mOBS_STATUSPuuttuva arvo: tietoa ei voi olla olemassa. Ei mitattu nolla eikä lupa keksiä syytä.
bdipOBS_STATUSJulkaistu yhdistelmä: katkos, eri määritelmä, imputointi ja alustavuus. Säilytä koko koodi.
CCONF_STATUSLuottamuksellinen CONF_STATUS-koodi. Korvaa dokumentoidussa muutoksessa vanhan julkaisukoodin c.
NCONF_STATUSEi julkaistavaksi. Julkaisematon luku ei osoita toiminnan puuttuvan.
PCONF_STATUSMuu kuin tilastollinen salassapito. Iso P ei tarkoita alustavaa, toisin kuin OBS_STATUSin p.

Huomioitavaa aineistossa

Käytännöt eroavat muodoittain ja järjestelmittäin. Tässä palvelussa s ja z vaihtuivat i:ksi ja m:ksi; älä yleistä ilman ohjeita. Pidä arvo, tila, salassapito ja huomautukset erillään.

Voiko vanhan z-tiedoston lukea nykyisellä selitteellä?

Selvitä ensin versio ja julkaisukanava. Säilytä alkuperäinen koodi ja dokumentoi vastaavuus kirjoittamatta arkistoa huomaamatta nykyiseen muotoon.

Alkuperäisdokumentaatio

Dokumentaatio tarkistettu .

DOKUMENTOIDUT TIEDOT

Tyhjä solu: CSV ei yksin määrää merkitystä

W3C CSVW erottaa merkkijonon ja semanttisen arvon, ei lainattua tyhjää omaksi arvokseen. Ei kaikkien tuontiohjelmien sääntö.

Tyhjä solu: CSV ei yksin määrää merkitystä
ViiteArvo tai muotoMitä se yksilöi
CSVW · a,,z""Keskikenttä tyhjä: CSVW:n oletus on null, ei nolla.
CSVW · a,"",z""Lainattu tyhjä on mallissa sama merkkijono.
null · default[""]Oletusmerkki on tyhjä jono, ei yleinen NA.
null · example override["NA"]Opetusesimerkki ["NA"] korvaa oletuksen; molemmat vaativat molemmat merkit. Ei oikean toimittajan metadataa.
datatypestring / integer / date …Tyyppi ohjaa muunnosta; virheellinen kokonaisluku ei ole nolla.
requiredrequired = truerequired on erillinen: null rikkoo pakollisuutta vaikka CSV-syntaksi kelpaa.

Huomioitavaa aineistossa

Lue metadata ennen laskemista. Puuttuvuusmerkki voi olla muualla kelvollinen koodi. Poisjättö muuttaa nimittäjää.

Säilyttääkö lainaus tyhjän erillään nullista?

Ei yksin CSVW:ssä. Määritä merkit, tyypit ja testaa lukija.

Alkuperäisdokumentaatio

Dokumentaatio tarkistettu .

DOKUMENTOIDUT TIEDOT

SQL NULL: tuntematon ei tarkoita epätotta

SQL käyttää kolmea arvoa. PostgreSQL 18:n säännöt eivät edellytä tiettyä aineistoa.

SQL NULL: tuntematon ei tarkoita epätotta
ViiteArvo tai muotoMitä se yksilöi
NULL = NULLNULLNULL = NULL on tuntematon; ei IS NULL -testi.
NULL IS NULLTRUEIS NULL testaa puuttumista, ei tekstiä NULL.
NULL IS NOT DISTINCT FROM NULLTRUEIS NOT DISTINCT FROM rinnastaa kaksi NULLia muttei todista kohdeidentiteettiä ja voi monistaa pareja.
FALSE AND NULLFALSEFALSE AND tuntematon on FALSE; arviointijärjestystä ei taata.
TRUE OR NULLTRUETRUE OR tuntematon on TRUE; kaikkea tuntematonta ei voi korvata epätodella.
NOT NULLNULLNOT tuntematon pysyy tuntemattomana.
WHERE conditionTRUEWHERE säilyttää vain TRUE:n; FALSE ja tuntematon poistuvat mutta eroavat.

Huomioitavaa aineistossa

Erota puuttuva, tyhjä teksti ja NULL-teksti. Puuttuvien avainten rinnastus tarvitsee päätöksen.

Onko WHERE NOT condition täydellinen komplementti?

Ei tuntemattomille: molemmat poistavat ne. Määritä käsittely, esimerkiksi IS NOT TRUE.

Alkuperäisdokumentaatio

Dokumentaatio tarkistettu .

DOKUMENTOIDUT TIEDOT

ACS: negatiivinen kokonaisluku voi olla koodi eikä määrä

Census Bureaun American Community Survey julkaisee numerokoodeja ja niihin liittyviä huomautuksia. Säilytä estimaatin E ja EA sekä virhemarginaalin M ja MA yhdessä. Tämä sanasto koskee kyseistä tuottajaa; se ei muuta kaikkia negatiivisia lukuja puuttuviksi.

Kuusi dokumentoitua arvo / huomautus -paria

Estimaatti

E
Raaka-arvo
-666666666
Huomautus
-

Estimaattia ei voida laskea. Huomautus mainitsee liian vähän havaintoja, eräät avoimiin luokkiin sijoittuvien mediaanien suhteet sekä viisivuotisen mediaanin virhemarginaalin, joka ylittää mediaanin.

Estimaatti tai marginaali

E / M
Raaka-arvo
-999999999
Huomautus
N

Estimaattia tai marginaalia ei voida näyttää: valitulla alueella on liian vähän otostapauksia.

Estimaatti tai marginaali

E / M
Raaka-arvo
-888888888
Huomautus
(X)

Estimaatti tai marginaali ei sovellu tai ei ole saatavilla. Koodi ei yksin erota näitä syitä.

Virhemarginaali

M
Raaka-arvo
-222222222
Huomautus
**

Virhemarginaalia ei voida laskea liian vähien havaintojen vuoksi. Tämä ei tarkoita nollaestimaattia.

Virhemarginaali

M
Raaka-arvo
-333333333
Huomautus
***

Marginaalia ei voida laskea: mediaani sijaitsee jakauman alimmassa tai ylimmässä avoimessa luokassa.

Virhemarginaali

M
Raaka-arvo
-555555555
Huomautus
*****

Marginaali ei sovellu: estimaatti on täsmäytetty riippumattomaan väestö- tai asuntoestimaattiin. Tässä nimenomaisessa tapauksessa Census sallii marginaalin käsittelyn nollana.

Null-huomautus ei ole null-estimaatti

Censuksen huomautus esittää tämän ACS 2024 -vertailuprofiilin esimerkin Yhdysvalloille (us = 1). Alla olevat arvot on kirjattu dokumentaatiosta, johon tutustuttiin 28.10.2026; tietokyselyä ei ajettu uudelleen tätä esitystä varten.

Julkaistun esimerkin estimaatti

CP02_2024_001E
"132737146"

Kotitalouksien määrä vuoden 2024 dokumentaatioesimerkissä, ei uudelleen laskettu nykyinen kokonaismäärä.

Estimaatin huomautus

CP02_2024_001EA
null

Null kuuluu EA-kenttään. E:llä on arvo: älä korvaa kotitalouksien määrää puuttuvalla arvolla.

Vertailu vuoteen 2023

CP02_2024to2023_001SS
"*"

Vertailuprofiileissa yksi tähti osoittaa tilastollisesti merkitsevän eron uusimpaan vuoteen 90 %:n luottamustasolla. Se ei kerro eron suuntaa eikä kokoa.

Yksi tähti SS-kentässä ja viisi tähteä MA-kentässä tarkoittavat eri asioita. Sarakkeen nimi kuuluu symbolin merkitykseen.

Kolme käsittelyä samalle pienelle kuvitteelliselle aineistolle

ACS-tiedoista erillinen opetusesimerkki: kolme odotettua määrää, 10, 20 ja puuttuvan arvon koodi -999999999. Vain kaksi määrää on saatavilla. Esimerkki koskee koodien käsittelyä, ei tulomediaanien keskiarvon laskemista.

Koodi käsitellään määränä

-333333323
(10 + 20 − 999999999) / 3

Laskutoimitus onnistuu, mutta syöte on tulkittu väärin. Tulos ei ole kolmen havaitun määrän keskiarvo.

Puuttuva korvataan nollalla

10
(10 + 20 + 0) / 3

Tulos 10 olettaa nollaimputoinnin. Se ei ole pelkkää tietojen siivousta.

Saatavilla olevien arvojen keskiarvo

15
(10 + 20) / 2

Keskiarvo 15 kuvaa kahta havaintoa kolmesta odotetusta. Se ei automaattisesti ole koko perusjoukon keskiarvo.

Kattavuus: 2 saatavilla olevaa arvoa / 3 odotettua. Säilytä kolmas rivi ja puuttumisen syy havaintolokissa.

Pitääkö kaikki negatiiviset luvut muuttaa puuttuviksi?

Ei. Saldo -7 voi olla kelvollinen havainto, jos muuttuja sallii sen. Kohdista sääntö dokumentoituihin koodeihin, oikeisiin sarakkeisiin ja niiden versioon. Säilytä tuntematon tila, jos koodi tai huomautus on ristiriidassa sanaston kanssa, ja tarkista lähde.

Huomioitavaa aineistossa

Sovella koodia oikeaan kenttään ja tuotteeseen. Puuttuva marginaali ei automaattisesti poista estimaattia, eikä tyhjä huomautus yksin vahvista arvoa. Säilytä julkaisuversio, alue, muuttuja, raaka-arvo ja huomautus.

Alkuperäisdokumentaatio

Dokumentaatio tarkistettu .

DOKUMENTOIDUT TIEDOT

Todellinen sarja: internetin käyttö 2020–2024

Havainnoilla voi verrata prosenttiyksikkömuutosta ja suhteellista muutosta julkaistussa sarjassa. Kolme maata on valittu lukuesimerkiksi, ei digitaalisen suorituskyvyn järjestykseksi.

Indikaattori kuvaa internetiä edeltävien kolmen kuukauden aikana käyttäneen väestön osuutta. Se ei mittaa käyttöaikaa, yhteyden laatua tai tekoälyavustajan käyttöä.

IT.NET.USER.ZS · Poimittu · API:n ilmoittama viimeisin päivitys .

Osuus väestöstä · % · akseli 0–100Kolmen sarjan kaavio; kaikki arvot löytyvät seuraavasta taulukosta.025507510020202021202220232024RanskaSaksaEspanja
Osuus väestöstä · % · akseli 0–100 · RanskaSaksaEspanja
Todellinen sarja: internetin käyttö 2020–2024 · %
Maa20202021202220232024
Ranska84,7186,1085,3386,8488,65
Saksa89,8191,4391,6392,4893,50
Espanja93,2193,9094,4995,4595,76

Ranska: 84,71% vuonna 2020, 88,65% vuonna 2024; 3,95 prosenttiyksikköä eli 4,66% suhteessa alkuun.

Taulukko on pyöristetty kahteen desimaaliin; laskut käyttävät vastaanotettuja arvoja ennen pyöristystä. Tutki tarkistukset ja keruutapojen erot ennen syyselitystä.

Lähde: ITU, jakelija Maailmanpankki. Poiminta ja kaavio Alexis Roux ZG. CC BY 4.0

Avaa virallinen sarja · Määritelmä ja menetelmä

SYVENTÄVÄ LUKEMINEN / KÄYTÄNTÖ

Erota puuttuva arvo, nolla ja soveltumaton arvo

Taulukossa on tyhjiä soluja, viitteitä ja erityisiä koodeja. Niiden merkitys on tunnistettava ennen keskiarvon laskemista tai käytettävissä olevien havaintojen laskemista.

Päivitetty .

Ensisijaiset tarkistukset

Tarkista dokumentti, selvitä menetelmät ja laskea niiden taajuus. Pidä eroja ei havaittu, ei sovellettava, luottamuksellinen ja nolla, kun lähde antaa ne.

Tulkinnan sudenkuopat

Kaikki puutteet voidaan korvata nollaan, mikä voi merkittävästi muuttaa indikaattoria. Poista kyseiset rivit voi myös tuoda vaikean valinnan nähdä.

Säilytettävä työasiakirja

Puuttuvien arvojen raportti dokumentoi koodeja, merkitystä, tehokkuutta ja käsittelyn sääntöjä. Tulokset osoittavat, kuinka paljon havaintoja on käytetty.