Подробные практические руководства

Создать рабочий словарь данных

Описать уровень строки, столбцы, типы, единицы, пропуски и ключи до расчётов или соединений.

Обновление :

Ноутбук с условной таблицей и карточками описания её столбцов на столе. Иллюстративная сцена.

Иллюстрация, созданная ИИ

Позволяет ли определение проверить каждое значение?

Заголовка столбца недостаточно. Словарь связывает поля с определениями, допустимыми значениями и версией схемы. Различайте набор и его представления, например CSV и API.

  1. Определить строку

    Опишите объект, территорию и период: компания-год отличается от подразделения-месяца. Укажите ожидаемый уникальный ключ и связи таблиц.

  2. Описать каждое поле

    Для столбца запишите имя, определение, логический тип, формат, единицу, коды, допустимость пропуска и источник. ID с ведущими нулями храните как текст.

  3. Проверить и версионировать

    Проверьте уникальность, допустимые значения и обязательные поля в файле. Пустая строка, неприменимо и ноль различаются. Датируйте изменения определений, кодов и типов.

Практикум чтения данных

Контракт записи дела без незаметного исправления

Контракт DEMO задаёт одну строку на дело. Придуманные правила не описывают реальный реестр.

Вымышленные данные и записи для обучения: результаты не получены запросами к действующим сервисам.

Сохранить полученное и отклонить нарушение

Формат — JSON: record_id является строкой из четырёх цифр, state принимает OPEN или CLOSED, amount — десятичное число либо null. record_id должен быть уникальным. Регистр и типы входят в контракт.

Если таблица шире экрана, прокрутите её по горизонтали; стрелки работают, когда область в фокусе.

Сохранить полученное и отклонить нарушение
Поле или правилоПроверяемое значениеПрочтение контрактаДействие
record_id: текст"0042"; число 42Строка допустима; число нарушает типОтклонить 42, не придумывая нули.
state: точный кодOPEN; openOPEN допустим; open вне области значенийНе менять регистр без согласованного правила.
amount: число или null12.5; "12.5"; null; ""Число и null допустимы; обе строки отклоняютсяnull означает неизвестное; не подставлять ноль.
Уникальность record_idДве строки с "0042"Ключ повторяется даже при разных суммахНе утверждать результат; запросить верный уровень записи.

Можно ли сделать все строки допустимыми автопреобразованием?

Раскройте каждый вариант и сравните разбор. Дополнительные проверки могут оставаться необходимыми.

Да: достаточно преобразовать числа, регистр и пустоты

Нет. Так стираются аномалии и добавляются отсутствующие в контракте предположения.

Нет: сохранить исходные значения и названные нарушения

Да. Разделить ошибки типов, неверные коды и повтор ключа. Разрешить по документации или с производителем.

null и пустая строка всегда равнозначны

Нет. Этот JSON-контракт различает их. В CSV может быть другое отдельно описанное правило.

Вымышленная запись проверки

Контракт: DEMO, строка на дело, JSON
record_id: текст из четырёх цифр, уникальный ключ
state: OPEN или CLOSED, точный регистр
amount: десятичное число или null; null=неизвестно
Нарушения: тип, код, пустая строка, повтор ключа
Решение: исходные данные сохранены, результат не утверждён

Это краткая запись учебного контракта, не полная исполняемая схема. Файлы пользователя не проверяются.

Документация правил отдельно от вымышленных примеров

Сравнить другие ситуации и упражнения

Код преобразован в число

Сохраните точный код и проверьте ведущие нули при загрузке.

Сумма без единицы

Уточните валюту, масштаб и период до суммирования; величина не определяет единицу.

Разбор фрагмента

Три строки и четыре правила проверки

В этом вымышленном примере строка описывает площадку за один год. Словарь ниже задаёт правила чтения; в данных намеренно оставлена ошибка.

Вымышленное упражнение: идентификаторы, значения и даты иллюстрируют проверку. Это не ответ, полученный в реальном времени.

  1. Прочитать ключ

    Пара site_id и year должна быть уникальной. Одна площадка может встречаться за разные годы.

  2. Прочитать значения

    site_id — текстовый идентификатор из трёх цифр. amount_kEUR — годовая сумма в тысячах евро; пустая ячейка означает отсутствие сведений.

  3. Проверить до расчёта

    Сравните пары ключей, сохраните ведущие нули и различайте нулевую и неизвестную сумму до агрегирования.

Фрагмент и упрощённый словарь

site_id,year,amount_kEUR
007,2024,
007,2025,0
007,2025,12.5

site_id     : string; pattern = ^[0-9]{3}$; required
year        : integer; required
amount_kEUR : decimal; unit = 1000 EUR; empty = unknown
key         : (site_id, year); unique

Что изучить

Составной ключ
Последние две строки содержат одну пару 007 и 2025: уникальность нарушена. Не выбирайте произвольно, какую строку оставить.
Единица
12.5 означает 12 500 EUR в этом примере, без пересчёта валюты.
Пропуск
Пустая сумма в первой строке неизвестна; 0 во второй строке — заявленная нулевая сумма.
Можно ли сразу сложить значения столбца сумм?

Обоснование

Нет. Сначала выясните причину дублирования ключа у производителя и определите обработку пропусков. Сумма только известных значений скроет неизвестную строку и может дважды учесть одну площадку за один год. Сохраните исходные строки и зафиксируйте решение.

Официальные источники : W3C — Model for Tabular Data and Metadata on the Web

Упражнение с разбором

В словаре нет единицы и точности

Вымышленный пример: значения и документы служат для изучения метода и не описывают реальную организацию.

Производитель указывает amount в тысячах евро с округлением до десятых. Внутренний словарь сообщает лишь «число»; исходные суммы не даны.

Если таблица шире экрана, прокрутите её по горизонтали; стрелки работают, когда область в фокусе.

Исходные данные
Строкаamount
A1.2
B2.5

Что проверить

  1. Добавить единицу, множитель и округление.
  2. Отделить компьютерный тип от смысла поля.
  3. Проверить прежние расчёты с полем.
Прочитать разбор

Разбор и решение

Сумма опубликованных значений — 3.7 тысячи евро, или 3 700 евро. Запись 3.70 не добавляет точности. Указать единицу и пояснить, что сумма использует округлённые, а не известные точные суммы.

Если условия изменятся

При появлении неокруглённых сумм рассчитать их отдельно и обозначить версию. Добавить пропуск в вымышленный набор: amount=0 означает известную нулевую сумму, а неизвестная ячейка суммы не задаёт. Описать код пропуска и проверить, что импорт не превращает его молча в ноль перед агрегированием.

Что сохранить

Сохранить определение, единицу, масштаб, точность, коды пропусков и верный пример.

Документальная ссылка : W3C — CSV on the Web: A Primer · Дата обращения

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

JSON Pointer: различать отсутствие, ноль и null

RFC 6901 адресует значение в JSON, не является JSONPath или изменением. Читатель использует вымышленный учебный документ, не наблюдения, различая значение, отсутствующий путь и неверный синтаксис.

items0count/items/0/count → 0
JSON Pointer: различать отсутствие, ноль и null
ОриентирЗначение или формаЧто обозначает
""Root valueПустая строка выбирает весь документ, не отсутствие результата.
/Empty member nameОдин слеш выбирает свойство с пустым именем, если оно есть, не корень.
~1/ inside member nameСлеш внутри имени кодируется ~1. Ключ a/b отличается от a с вложенным b.
~0~ inside member nameТильда кодируется ~0. Декодируйте ~1 до ~0: ~01 означает буквальное ~1, не слеш.
/items/0Zero-based array indexПервый индекс ноль; неотрицательное целое без лишних начальных нулей.
/items/01Invalid array index01 недопустим как индекс массива, но допустим как точное имя свойства.
/items/-No existing array memberДефис указывает за последний элемент, не существующий при чтении; это не автоматическое добавление.
#/a~1bURI-fragment formURI-фрагмент начинается # и требует URI-декодирования. Процент там кодируется; обычный текст так не декодируется.

Прочитать JSON Pointer в учебном примере

Документ вымышленный: числа не наблюдения. Локальное чтение без запросов и изменений.

Учебный документ

{
    "items": [
        {
            "id": "A",
            "count": 0,
            "note": null
        },
        {
            "id": "B",
            "count": 3,
            "note": ""
        }
    ],
    "a/b": {
        "m~n": true
    },
    "": false,
    "01": "code",
    "é": "accent",
    "~1": "literal",
    "c%d": "percent"
}

Исходный пример: /items/0/count даёт 0; /items/0/note — null; /items/1/note — пустую строку; / — false.

Значение найдено · число

Выбранное значение

0

Имена точные: пробелы не удаляются, акценты не нормализуются. Читатель ничего не добавляет и не обрабатывает JSONPath.

Что учитывать в досье

Имена сравниваются точно без исправления акцентов, регистра и пробелов. Сохраняйте null, false, ноль и пустую строку. Верный синтаксис может не найти значения; не создавайте ноль. Ключи не переводятся.

Почему /items/0/note находит null, а другой путь нет?

Свойство существует с явным null. Отсутствующее свойство не разрешается; для объединения и таблиц это разные случаи.

Первичная документация

Документация просмотрена .

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

JSON: корректный текст может потерять идентификатор

RFC 8259 задаёт синтаксис, не бесконечную точность. Длинные числа меняются при чтении. Примеры учебные, не выданные идентификаторы.

JSON: корректный текст может потерять идентификатор
ОриентирЗначение или формаЧто обозначает
Integer interoperability−9007199254740991 … 9007199254740991Совместимый диапазон целых для binary64, не синтаксический предел JSON.
Beyond 2^53 − 1binary64 · 2^53 + 1Вне диапазона некоторые целые точны, но соседние различимы не всегда.
"00123" / 123"00123" ≠ 123Строка "00123" хранит нули, число 123 нет; код не обязан быть количеством.
NaN / InfinityJSON: ✗NaN и Infinity не числовые литералы JSON.
Duplicate object namesSHOULDИмена SHOULD быть уникальны: читатели оставляют последнее, отклоняют или показывают все пары.
Network exchangeUTF-8 · RFC 8259 §8.1Обмен вне закрытой среды требует UTF-8; округление это не устраняет.

Что учитывать в досье

Задайте типы до чтения. Строка из округлённого числа не вернёт цифры. Ищите дубликаты до перезаписи и храните источник.

JSON.parse проверяет длинные идентификаторы?

Нет: числа могут округлиться, ключи перезаписаться. Проверяйте исходное представление.

Первичная документация

Документация просмотрена .

Что сохранить

  • Объект строки и ожидаемый ключ.
  • Определения, типы, единицы, коды и правила пропусков.
  • Версия схемы, проверенный файл и найденные отклонения.

Официальные источники

Связанные карточки источников

Связанные протоколы

Проверки перед выводом

  • Уникален ли ожидаемый ключ в проверенном файле?
  • Определены ли типы, единицы и пропуски без неявных допущений?
  • Зафиксированы ли отклонения от словаря до расчёта?

Частые вопросы

Достаточно примеров?

Нет: пример показывает значение, определение задаёт допустимый диапазон.

Нужна версия каждого формата?

Опишите общую схему и различия представлений: имена, форматы, правила null.

Что делать, если отсутствует определение поля?

Поиск документации и сохранение неопределенности. Обсервативные ценности могут помочь сформулировать гипотезу, но не всегда достаточно для подтверждения смысла или соответствующих операций.

ИНСТРУМЕНТЫ / РЕЕСТРЫ

Какие сведения сохранить

Проверьте уникальность, допустимые значения и обязательные поля в файле. Пустая строка, неприменимо и ноль различаются. Датируйте изменения определений, кодов и типов.

  • Дата просмотра и часовой пояс
  • Точный URL
  • Версия / пересмотр
  • Объект строки
  • Точное имя столбца
  • Логический тип и формат
  • Метод / определение
  • Единица / база расчёта
  • Область значений и список кодов
  • Пропуски и допустимость null
  • Ожидаемый ключ и уникальность
  • Производитель / издатель
  • Решение / следующий шаг
  • Ответственный за проверку
  • Следующая проверка

ДОКУМЕНТИРОВАННЫЕ ОРИЕНТИРЫ

Ключи и ограничения дают разные гарантии

Поле id не автоматически первичный ключ. Важны действующие ограничения. Правила PostgreSQL 18; другие СУБД иначе трактуют NULL.

[[null], [null]]UNIQUE → ✓UNIQUE NULLS NOT DISTINCT → ✕ · PRIMARY KEY → ✕
Ключи и ограничения дают разные гарантии
ОриентирЗначение или формаЧто обозначает
PRIMARY KEY (a)Уникально и не NULLПростой первичный ключ уникален и не NULL, но не доказывает верность или стабильность.
UNIQUE (a)NULL различны по умолчаниюUNIQUE по умолчанию допускает несколько NULL; это не полнота.
UNIQUE NULLS NOT DISTINCT (a)Не более одного NULL в столбцеNULLS NOT DISTINCT оставляет максимум один NULL в a, но допускает отсутствие.
PRIMARY KEY (a, b)Уникальная пара · компоненты не NULLСоставной ключ уникален парой, не каждым полем; оба не NULL.
FOREIGN KEY · MATCH SIMPLEЛюбой NULL может освободить от ссылкиMATCH SIMPLE может освободить от ссылки при любом NULL компонента.
FOREIGN KEY · MATCH FULLТолько все NULL освобождаютMATCH FULL освобождает только при всех NULL; смесь запрещена. Обязательности нужен NOT NULL.
CHECK (x > 0)Истина или неизвестно проходитCHECK пропускает истинное или неизвестное; отсутствующий x может пройти x > 0.

Сравнить три правила на одних ключах

Массив JSON из 0–50 строк; в каждой от 1 до 3 компонентов, число одинаково. Компонент — строка до 64 кодовых точек или null. Ширина соединяемых таблиц должна совпадать. Не более 20 000 знаков JSON в поле. Пустая строка остаётся значением, отличным от null.

Учебные примеры и локальный расчёт без запросов к базе и передачи ввода. Сравнение учитывает регистр без удаления пробелов, нормализации Unicode и преобразования типов. Результат описывает только введённые строки и не удостоверяет ограничения реальной базы.

Учебный пример рассчитан; измените ввод и проверьте его.

Введённые строки
2
Строки хотя бы с одним NULL
2
UNIQUE
Совместимо с этим правилом
UNIQUE NULLS NOT DISTINCT
Несовместимо с этим правилом
PRIMARY KEY
Несовместимо с этим правилом
Шесть учебных наборов: совместимость по правилам
Набор ключейUNIQUEUNIQUE NULLS NOT DISTINCTPRIMARY KEY
[["001"],["002"]]Совместимо с этим правиломСовместимо с этим правиломСовместимо с этим правилом
[["001"],["001"]]Несовместимо с этим правиломНесовместимо с этим правиломНесовместимо с этим правилом
[[null]]Совместимо с этим правиломСовместимо с этим правиломНесовместимо с этим правилом
[[null],[null]]Совместимо с этим правиломНесовместимо с этим правиломНесовместимо с этим правилом
[["FR",null],["FR",null]]Совместимо с этим правиломНесовместимо с этим правиломНесовместимо с этим правилом
[["FR","001"],["FI","001"]]Совместимо с этим правиломСовместимо с этим правиломСовместимо с этим правилом
Данные начального учебного примера
{
    "keys": [
        [
            null
        ],
        [
            null
        ]
    ]
}

Что учитывать в досье

Внешний ключ не делает связь один-к-одному; детей может быть много. Храните столбцы и политику NULL. CSV не переносит гарантии автоматически.

UNIQUE разрешает удалить повторы экспорта?

Нет: гранулярность, объединённые годы и потерянные компоненты могут отличаться. Сначала проверьте.

Первичная документация

Документация просмотрена .

ПОДРОБНЕЕ / ПРАКТИКА

Опишите поля, прежде чем их преобразовать

Таблица содержит короткие названия колонн и сложное толкование кодов. Словарь должен дать понятие, которое можно использовать, и сохранить неразрешенные двусмысленности.

Обновлено .

Приоритетные проверки

Документируйте имя, тип, единицу, режимы, недостающие значения и примеры. Идентифицировать ключи и поля, значение которых зависит от другой переменной.

Ошибки интерпретации

Цифровый тип не означает, что можно добавлять ценности. Код может представлять категорию, идентификатор или отсутствующую ценность.

Рабочий документ для сохранения

Речник связывает оригинальное поле, определение, правила чтения и документальный источник. Ипотезы отделены от подтвержденных определений.