Подробные практические руководства

Читать пропуски и статистические статусы

Различайте ноль, пропуск, конфиденциальность, оценку и предварительное значение перед расчётами и графиками.

Обновление :

Рабочее место анализа статистики с условными графиками.

Иллюстрация, созданная ИИ

Пустая ячейка равна нулю?

Наблюдение включает значение и статус. Коды зависят от производителя и файла; у буквы нет универсального смысла. Сохраняйте примечания.

  1. Прочитать легенду

    Найдите коды и версию структуры. Разделите значение, статус, единицу и примечание.

  2. Классифицировать пропуски

    Различайте отсутствие сбора, неприменимость, неопубликованность, конфиденциальность и ошибку извлечения. Неизвестную причину сохраняйте.

  3. Определить расчёт

    Укажите ожидаемую совокупность и пригодные наблюдения. Не заменяйте пропуск нулём; объясните исключения и восстановление значений.

  4. Показать охват

    Публикуйте число доступных значений. Сохраняйте предварительные и оценочные статусы; отличайте пропуск точки от нуля.

От наблюдения к решению

Среднее по 72 значениям, а не по 100 строкам

В таблице ожидается 100 строк: 72 пригодных числовых значения, 18 пропусков и 10 скрытых конфиденциальных значений. Сумма 72 доступных значений — 720 единиц.

Вымышленный учебный пример: числа и даты иллюстрируют метод, а не реальное задание.

Доступность 100 ожидаемых значений

Шкала от 0 до 100 строк; три непересекающиеся категории, всего: 100.

  • Пригодные72
  • Отсутствующие18
  • Конфиденциальные10
Таблица разбора примера
НаблюдениеЧто проверитьСледующее действие
72 пригодных значения720 / 72 = 10 единиц.Опубликовать среднее доступных значений и их число: 72 из 100.
18 пропусковЗначения и причины отсутствия требуют изучения.Не заменять автоматически нулями.
10 конфиденциальных значенийСокрытие не означает нулевую активность.Сохранить статус, не обходить защиту.
Ваше решение — Почему 720 / 100 = 7,2 — не наблюдаемое среднее?

Разбор ответа

Такой расчёт неявно присвоит ноль 28 недоступным значениям. Это дополнительная гипотеза, которой нет в таблице и которая может искусственно сместить результат.

Ориентир: легенда Eurostat различает разрыв ряда, предварительный статус и недоступное значение. Читайте легенду используемого набора; числа примера вымышлены. Eurostat — Database: flags and coding conventions

Ситуации и решения

Типовые ситуации для подготовки проверки. Они не описывают выполненные проекты или реальные наблюдения.

Числовой код попал в среднее

Вымышленный расчёт в разделе ACS показывает, почему 10, 20 и код пропуска — не три наблюдавшихся количества. Среднее доступных значений равно 15 по двум наблюдениям; замена пропуска нулём добавляет предположение.

Конфиденциальность

Скрытая ячейка не означает нулевую деятельность. Не восстанавливайте её вычитанием в обход защиты.

Знаменатель меняет смысл

Вымышленный пример: суммы представлены шестью из десяти организаций; две указали ноль, четыре не ответили. Охват — 6/10, или 60 %. Положительные суммы среди ответивших — 4/6, примерно 66,7 %. Формулировка «40 % организаций имеют положительную сумму» не определяет положение четырёх неизвестных случаев.

Пересмотр ряда — не просто исправление ячейки

Условная выгрузка содержит предварительное 100, затем пересмотренное 104. Сохраните обе версии с датами. Сравнивайте периоды в согласованной версии данных либо отмечайте частичные пересмотры; не заменяйте оригиналы незаметно.

Упражнение с разбором

Три допустимых ответа из пяти ожидаемых

Вымышленный пример: значения и документы служат для изучения метода и не описывают реальную организацию.

Ожидается пять единиц. Условный словарь различает наблюдение, неответ и скрытое значение.

Если таблица шире экрана, прокрутите её по горизонтали; стрелки работают, когда область в фокусе.

Исходные данные
ЭлементЗначениеКонтекст
A10Наблюдалось
B0Наблюдалось
CПустоНеответ
D20Наблюдалось
EКонфиденциальноСкрыто

Что проверить

  1. Отделить два отсутствующих значения от наблюдаемого нуля.
  2. Вычислить среднее доступных значений.
  3. Указать охват и целевую совокупность.
Прочитать разбор

Разбор и решение

Доступная сумма — 30, среднее трёх наблюдений — 10. Охват — 3/5, или 60 %. Деление на пять даёт 6, неявно заменяя два неизвестных нулями. Доступное среднее не устанавливает среднее всех пяти единиц.

Если условия изменятся

Если нужна импутация, раскрыть правило и отдельный результат; не менять исходные значения.

Что сохранить

Сохранить коды пропусков, ожидаемое и наблюдаемое число, среднее и оговорку об охвате.

Документальная ссылка : W3C — Tabular data model, null values · Дата обращения

Что сохранить

  • Файл, версия и легенда.
  • Исходные значения, коды и причины.
  • Ожидаемое и пригодное число наблюдений.
  • Правила исключения, восстановления и округления.
  • Знаменатели по переменным, охват и визуальное различие наблюдений и оценок.

Официальные источники

Связанные карточки источников

Связанные протоколы

Проверки перед выводом

  • Ноль отделён от пропуска?
  • Легенда соответствует файлу?
  • Указан знаменатель?
  • Статусы сохраняются в экспорте?

Частые вопросы

Удалять неполные строки?

Они могут пригодиться для других переменных. Опишите правила по переменным и потерю охвата.

Предварительные данные ложны?

Статус означает возможность пересмотра, а не доказанную ошибку. Укажите версию и проверьте изменения.

Как показать отсутствующее наблюдение в ряду?

Оставьте разрыв или пояснённый символ отсутствия. Соединение точек может создавать видимость ненаблюдаемой траектории. Полезную интерполяцию показывайте отдельно с методом, а не как опубликованное измерение.

ИНСТРУМЕНТЫ / РЕЕСТРЫ

Какие сведения сохранить

Публикуйте число доступных значений. Сохраняйте предварительные и оценочные статусы; отличайте пропуск точки от нуля.

  • Дата просмотра и часовой пояс
  • Точный URL
  • Код набора / ряда
  • Точное имя столбца
  • Единица / база расчёта
  • Пропуски и допустимость null
  • Наблюдаемый статус
  • Выборка / совокупность
  • Метод / определение
  • Версия / пересмотр
  • Ограничение / неопределённость
  • Решение / следующий шаг
  • Ответственный за проверку
  • Следующая проверка

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

Eurostat: разделять статус наблюдения и секретность

С 27 января 2025 года Eurostat разделяет OBS_STATUS и CONF_STATUS. Справочники проверены 22 октября 2026 года. Храните поле вместе с буквой: перевод всего в нижний регистр может изменить смысл.

Eurostat: разделять статус наблюдения и секретность
ОриентирЗначение или формаЧто обозначает
bOBS_STATUSРазрыв ряда. Изучите метаданные до расчёта изменения через него; код не определяет причину или масштаб.
dOBS_STATUSОпределение отличается: читайте метаданные. Одно название переменной не обеспечивает сопоставимость.
pOBS_STATUSПредварительное значение. Храните дату выгрузки и статус, отличая пересмотр от экономического изменения.
iOBS_STATUSЗначение восстановлено Eurostat или принимающим агентством, а не обозначено как непосредственно собранное.
mOBS_STATUSПропуск: данные не могут существовать. Это не измеренный ноль и не повод выдумывать причину.
bdipOBS_STATUSОпубликованная комбинация разрыва, другого определения, восстановления и предварительности. Храните весь код.
CCONF_STATUSКонфиденциально в CONF_STATUS. При миграции заменяет прежний код распространения c.
NCONF_STATUSНе для публикации. Отсутствие опубликованного числа не означает нулевую деятельность.
PCONF_STATUSНестатистический режим секретности. Заглавная P не означает предварительность, в отличие от p в OBS_STATUS.

Что учитывать в досье

Правила отличаются по форматам и системам. В этом сервисе s и z заменены i и m; не обобщайте без документации. Разделяйте значение, статус, секретность и примечания.

Можно трактовать старый файл с z по новой легенде?

Сначала установите версию и канал. Сохраняйте исходный код и документируйте соответствие, не переписывая архив как современные данные.

Первичная документация

Документация просмотрена .

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

Пустая ячейка: CSV не задаёт смысл

CSVW W3C разделяет строку и семантическое значение; пустота с кавычками не отличается в модели. Это не правила всех импортёров.

Пустая ячейка: CSV не задаёт смысл
ОриентирЗначение или формаЧто обозначает
CSVW · a,,z""Среднее поле пусто: по умолчанию CSVW null, не ноль.
CSVW · a,"",z""Пустое в кавычках имеет ту же строку.
null · default[""]По умолчанию маркер — пустая строка, не универсальный NA.
null · example override["NA"]Учебный ["NA"] заменяет умолчание; для обоих нужны оба маркера. Не реальные метаданные поставщика.
datatypestring / integer / date …Тип задаёт преобразование; ошибочный целый текст не становится нулём.
requiredrequired = truerequired отдельно: null нарушает обязательность даже при корректном CSV.

Что учитывать в досье

Читайте метаданные до агрегации. Маркер одного домена — код другого. Исключение пропусков меняет знаменатель.

Кавычки сохраняют пустоту отдельно от null?

Не сами по себе в CSVW. Задайте маркеры, типы и проверьте читатель.

Первичная документация

Документация просмотрена .

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

SQL NULL: неизвестно не означает ложно

SQL использует три значения. Правила PostgreSQL 18 не зависят от набора данных.

SQL NULL: неизвестно не означает ложно
ОриентирЗначение или формаЧто обозначает
NULL = NULLNULLNULL = NULL неизвестно; это не IS NULL.
NULL IS NULLTRUEIS NULL проверяет отсутствие, не текст NULL.
NULL IS NOT DISTINCT FROM NULLTRUEIS NOT DISTINCT FROM уравнивает два NULL, но не доказывает личность и может множить пары.
FALSE AND NULLFALSEFALSE AND неизвестно даёт FALSE; порядок вычисления не гарантирован.
TRUE OR NULLTRUETRUE OR неизвестно даёт TRUE; нельзя всюду подменить неизвестно ложью.
NOT NULLNULLNOT неизвестно остаётся неизвестным.
WHERE conditionTRUEWHERE сохраняет только TRUE, исключая разные FALSE и неизвестно.

Что учитывать в досье

Различайте пропуск, пустую строку и текст NULL. Равенство отсутствующих ключей требует отдельного решения.

WHERE NOT condition — полный остаток?

Нет при неизвестном: оба фильтра его исключают. Задайте обработку, например IS NOT TRUE.

Первичная документация

Документация просмотрена .

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

ACS: отрицательное целое может быть кодом, а не количеством

American Community Survey Бюро переписи США публикует числовые коды и связанные аннотации. Сохраняйте E вместе с EA для оценки, M вместе с MA для погрешности. Словарь относится к этому источнику и не превращает все отрицательные числа в пропуски.

Шесть документированных пар «значение / аннотация»

Оценка

E
Исходное значение
-666666666
Аннотация
-

Оценка не вычисляется. В примечании указаны нехватка наблюдений, некоторые отношения медиан в открытых интервалах и, для пятилетней медианы, погрешность больше самой медианы.

Оценка или погрешность

E / M
Исходное значение
-999999999
Аннотация
N

Оценку или погрешность нельзя показать: мало случаев в выбранной географической области.

Оценка или погрешность

E / M
Исходное значение
-888888888
Аннотация
(X)

Оценка или погрешность неприменима либо недоступна. Один код не различает эти причины.

Погрешность

M
Исходное значение
-222222222
Аннотация
**

Погрешность не вычисляется: недостаточно наблюдений. Это не означает нулевую оценку.

Погрешность

M
Исходное значение
-333333333
Аннотация
***

Погрешность не вычисляется: медиана находится в нижнем или верхнем открытом интервале распределения.

Погрешность

M
Исходное значение
-555555555
Аннотация
*****

Погрешность неприменима: оценка согласована с независимой оценкой населения или жилья. Именно для этого случая Census разрешает считать погрешность нулевой.

Аннотация null не равна оценке null

Примечание Census приводит этот пример сравнительного профиля ACS 2024 для США (us = 1). Ниже переписаны значения из документации, просмотренной 28 октября 2026 года; запрос данных заново не выполнялся.

Оценка из опубликованного примера

CP02_2024_001E
"132737146"

Число домохозяйств в документированном примере за 2024 год, а не пересчитанный текущий итог.

Аннотация этой оценки

CP02_2024_001EA
null

Значение null относится к EA. У E есть значение: не заменяйте число домохозяйств пропуском.

Сравнение с 2023 годом

CP02_2024to2023_001SS
"*"

В сравнительных профилях одна звёздочка означает статистически значимое отличие от самого последнего года при доверительном уровне 90 %. Она не указывает направление или величину различия.

Одна звёздочка в SS и пять в MA означают разное. Имя столбца — часть смысла символа.

Три обработки одного маленького вымышленного набора

Учебный пример отдельно от данных ACS: три ожидаемых количества — 10, 20 и код пропуска -999999999. Доступны только два количества. Пример объясняет коды, а не предлагает усреднять медианы доходов.

Код принят за количество

-333333323
(10 + 20 − 999999999) / 3

Арифметика выполняется, но входные данные истолкованы неверно. Это не среднее трёх наблюдавшихся количеств.

Пропуск заменён нулём

10
(10 + 20 + 0) / 3

Результат 10 предполагает импутацию нулём. Это не просто очистка данных.

Среднее доступных значений

15
(10 + 20) / 2

Среднее 15 описывает два наблюдения из трёх ожидаемых. Оно не становится автоматически средним всей совокупности.

Охват: 2 доступных значения / 3 ожидаемых. Сохраните третью строку и причину пропуска в журнале.

Все ли отрицательные числа нужно превращать в пропуски?

Нет. Баланс -7 может быть допустимым наблюдением, если переменная это разрешает. Правило должно учитывать документированные коды, нужные столбцы и версию. При противоречии кода или аннотации словарю сохраните неизвестный статус и проверьте источник.

Что учитывать в досье

Применяйте код к правильному полю и продукту. Отсутствующая погрешность не удаляет оценку автоматически; пустая аннотация сама по себе не подтверждает значение. Сохраняйте выпуск, географию, переменную, исходное значение и аннотацию.

Первичная документация

Документация просмотрена .

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

Реальный ряд: использование интернета, 2020–2024

Наблюдения позволяют сравнить изменение в процентных пунктах и относительное изменение опубликованного ряда. Три страны выбраны для чтения, а не для рейтинга цифровой эффективности.

Показатель отражает долю населения, использовавшего интернет за предыдущие три месяца. Он не измеряет время подключения, качество доступа или использование ИИ-помощника.

IT.NET.USER.ZS · Дата извлечения · Последнее обновление по API .

Доля населения · % · ось от 0 до 100График трёх рядов; все значения доступны в следующей таблице.025507510020202021202220232024ФранцияГерманияИспания
Доля населения · % · ось от 0 до 100 · ФранцияГерманияИспания
Реальный ряд: использование интернета, 2020–2024 · %
Страна20202021202220232024
Франция84,7186,1085,3386,8488,65
Германия89,8191,4391,6392,4893,50
Испания93,2193,9094,4995,4595,76

Франция: с 84,71% в 2020 до 88,65% в 2024; 3,95 процентных пункта, или 4,66% относительно начала.

Таблица округлена до двух знаков; расчёты используют полученные значения до округления. Перед причинным объяснением изучите пересмотры и различия сбора данных.

Источник: МСЭ, распространение Всемирного банка. Выборка и график Alexis Roux ZG. CC BY 4.0

Открыть официальный ряд · Определение и метод

ПОДРОБНЕЕ / ПРАКТИКА

Различать отсутствие значения, ноль и неприменимость

Таблица содержит пустые клетки, шрифты и специальные коды. Их значение должно быть определено до расчета среднего или расчета имеющихся наблюдений.

Обновлено .

Приоритетные проверки

Проверьте документацию, изучите методы и расчетите их частоту. Сохранение различий между не наблюдаемым, не применяемым, конфиденциальным и нулевым, когда источник предоставляет их.

Ошибки интерпретации

Замена всех отсутствий на нуль может сильно изменить показатель. Удаление соответствующих линий также может привести к сложному выбору.

Рабочий документ для сохранения

Отчет недостающих значений документирует коды, смысл, эффективность и правила обработки. Результаты показывают, сколько наблюдений было использовано.