DATA CHECK REPORT / CP-37

导入前的逐列体检

两遍流式扫描,把类型、空值、唯一值与异常行号摊在一张报告里。先看列,再看行,最后带着行号回源文件核。

—数据健康分
CSV
投放待检查的 CSV点击或拖入 · .csv / .txt / .tsv

读取服务上限…

列画像—
—还没有体检报告

上传 CSV 后点「生成体检报告」;每列会变成一张可展开的卡片。

列口径说明与常见误填 把话说清楚,比报个数更有用

推断口径 两遍流式扫描:第一遍统计类型分布、空值率、唯一值数与数值均值标准差;第二遍按定稿规则标注异常。不使用任何模型。
物理行号 issues[].line 是 CSV 的物理行号,从 1 开始、含表头行、含字段内换行占用的行,不是「第几条记录」。
类型置信度 confidence 与 null_rate 是 0~1 小数,页面乘 100 显示百分比;文本列不做 type_mismatch 告警,避免刷屏。
离群判据 数值列按 |x - mean| > outlier_sigma × std_dev 标注离群,阈值可在 0~10 之间调整。
编码检查 自动识别 UTF-8 / UTF-8 BOM / UTF-16 / GB18030 并统一转无 BOM UTF-8;逐行编码不一致会单独列出。
常见误填 分隔符混用会让列数与类型统计失真;发现 mixed_lines 请先用「CSV 引号与多行字段修复」归一化再分析。

这个工具解决什么问题

导入数据前最贵的错误,是到系统里才发现某列混了文本、某行少了一个字段。本工具给 5 万行以内的 CSV 做一次逐列画像:推断类型、空值率、唯一值数、数值离群,并把每个异常定位到具体物理行,直接导出问题行清单交给负责人修。

三条实用原则

  • 先看分隔符与编码结论,再解读列类型;混用分隔符时类型统计不可信。
  • 离群不等于错误:金额、年龄这类长尾分布要结合业务判断。
  • 清单可能按上限截断,总数一律读 stats;需要全量用文件下载。

按这几步用

  1. 上传 CSV:支持 .csv / .txt / .tsv,单文件默认 20MB 上限。
  2. 设置参数:确认首行是否表头、分隔符(默认自动)与离群阈值 outlier_sigma。
  3. 看列画像:逐列查看推断类型、空值率、唯一值数与异常计数。
  4. 查问题行:按物理行号定位异常,按规则筛选重点问题。
  5. 导出报告:下载列画像 CSV 或问题行 CSV(服务端生成,带 UTF-8 BOM)。

小提示

报告类 CSV 对 = + @ 开头的字段做了公式注入防护;问题行清单与数组同源,超过输出上限会被截断并在 warnings 提示。

更新记录

  • v1.0 2026-11-07 工具上线:列画像、异常行号定位、编码与分隔符报告、两份 CSV 导出。

常见问题

为什么某一列被判为 mixed?

该列同时出现多种互不兼容的类型(如整数、日期、邮箱)。可先看 examples 与 type_counts,再决定清洗规则。

空值率怎么算?

空单元格数除以该列总行数,结果以百分比展示;字段数不足的行会额外记 missing_field。

5 万行会不会卡住?

服务端采用流式统计与 Welford 在线算法,唯一值哈希表有上限;超大文件会返回 413 / 422,请拆分后重试。

行号和 Excel 里看到的行号不一致?

这里的行号是物理行,包含表头行与字段内换行;Excel 里带换行的单元格只占一个表格行,因此会有偏差。

💬 留言板 0

全部留言需审核通过后展示
💬

还没有留言,来抢沙发吧!

✍️ 说点什么
0 / 500
图形验证码