Подробные практические руководства

Проверить CSV-файл перед использованием

Проверка структуры, пропусков, повторов и ключей без изменения исходного файла.

Обновление :

Отчёты и графики на столе для проверки данных. Иллюстративная сцена без реальных данных.

Иллюстрация, созданная ИИ · Отчёты и графики на столе для проверки данных. Иллюстративная сцена без реальных данных.

Подходит ли таблица для поставленного вопроса?

При открытии в электронной таблице файл может потерять начальные нули, изменить даты или скрыть неодинаковые записи. Работайте с копией и опишите проблемы до исправления. RFC 4180 описывает распространённый формат CSV; модель CSVW W3C — разделители, типы, пустые значения и ключи. Инструмент проверяет структуру, а не достоверность данных.

  1. Сохранить оригинал

    Запишите происхождение, дату загрузки, лицензию и хеш файла. Храните полученный файл отдельно от преобразований. Даже открытие и сохранение в табличном редакторе может изменить идентификаторы.

  2. Выбрать формат

    Явно выберите запятую, точку с запятой или табуляцию. Поля в кавычках могут содержать разделители и переносы строк; считать физические строки недостаточно. Нужны UTF-8 и заголовок с уникальными именами.

  3. Проверить столбцы

    Посчитайте пустые ячейки, различные значения и пробелы по краям. Пустота не обязательно означает ноль. NA, null и - остаются значениями, пока словарь не определит их как пропуски.

  4. Проверить составной ключ и планируемую очистку

    Для повторных наблюдений используйте несколько столбцов, например станцию и дату. Инструмент сравнивает кортежи точных значений, не склеивая их. Пустой компонент делает ключ неполным. Заполненность не означает достоверность; без записей она не вычисляется. Проверьте совпадения до удаления пробелов: A и A с пробелами по краям станут одинаковыми.

  5. Решить до исправления

    Совпадающие записи и повторяющиеся ключи — разные наблюдения. Определите единицу: компания, подразделение или наблюдение с датой. Документируйте исправления и сравнивайте число записей до и после.

Профиль CSV-файла

Обработка в браузере без отправки файла. UTF-8, до 2 МБ, 10 000 записей и 200 столбцов. Экспорт содержит имена файла и столбцов, но не значения ячеек.

Для ключа станция + дата укажите станцию выше, а дату здесь. Каждый компонент должен быть непустым. Сохраните пробелы в именах.

Готово к анализу.

Ситуации и решения

Типовые ситуации для подготовки проверки. Они не описывают выполненные проекты или реальные наблюдения.

Идентификаторы с нулями

Вымышленный пример: 0012 и 12 здесь различаются как строки. Преобразуйте в числа только при допустимости по словарю; проверьте сопоставления, зависевшие от нуля.

Повтор ключа, разные наблюдения

В условной таблице станция встречается ежедневно. Код станции не уникален; может подойти станция + дата. Повтор ключа не обосновывает удаление наблюдения.

Что сохранить

  • Происхождение, лицензия и хеш оригинала
  • Формат и словарь пропусков
  • Единица записи, ключ и выявленные проблемы
  • Правила преобразования и сравнение количества

Официальные источники

Связанные карточки источников

Связанные протоколы

Проверки перед выводом

  • Сохранились ли начальные нули?
  • Отличаются ли пропуски от нулей?
  • Соответствует ли ключ единице записи?
  • Можно ли проследить и отменить исправления?

Экспортируемый JSON-профиль без значений ячеек и решение о необходимых преобразованиях.

Частые вопросы

Нужно ли удалять все повторы?

Нет. Проверьте единицу записи, версии и столбцы. Одинаковые строки могут описывать разные события, если их идентификатор отсутствует.

Можно ли удалить пустой столбец?

Только после проверки схемы и назначения. Он может требоваться для импорта или обозначать несобранную переменную. Запишите решение.