两遍流式扫描,把类型、空值、唯一值与异常行号摊在一张报告里。先看列,再看行,最后带着行号回源文件核。
上传 CSV 后点「生成体检报告」;每列会变成一张可展开的卡片。
| 推断口径 | 两遍流式扫描:第一遍统计类型分布、空值率、唯一值数与数值均值标准差;第二遍按定稿规则标注异常。不使用任何模型。 |
|---|---|
| 物理行号 | issues[].line 是 CSV 的物理行号,从 1 开始、含表头行、含字段内换行占用的行,不是「第几条记录」。 |
| 类型置信度 | confidence 与 null_rate 是 0~1 小数,页面乘 100 显示百分比;文本列不做 type_mismatch 告警,避免刷屏。 |
| 离群判据 | 数值列按 |x - mean| > outlier_sigma × std_dev 标注离群,阈值可在 0~10 之间调整。 |
| 编码检查 | 自动识别 UTF-8 / UTF-8 BOM / UTF-16 / GB18030 并统一转无 BOM UTF-8;逐行编码不一致会单独列出。 |
| 常见误填 | 分隔符混用会让列数与类型统计失真;发现 mixed_lines 请先用「CSV 引号与多行字段修复」归一化再分析。 |
导入数据前最贵的错误,是到系统里才发现某列混了文本、某行少了一个字段。本工具给 5 万行以内的 CSV 做一次逐列画像:推断类型、空值率、唯一值数、数值离群,并把每个异常定位到具体物理行,直接导出问题行清单交给负责人修。
报告类 CSV 对 = + @ 开头的字段做了公式注入防护;问题行清单与数组同源,超过输出上限会被截断并在 warnings 提示。
该列同时出现多种互不兼容的类型(如整数、日期、邮箱)。可先看 examples 与 type_counts,再决定清洗规则。
空单元格数除以该列总行数,结果以百分比展示;字段数不足的行会额外记 missing_field。
服务端采用流式统计与 Welford 在线算法,唯一值哈希表有上限;超大文件会返回 413 / 422,请拆分后重试。
这里的行号是物理行,包含表头行与字段内换行;Excel 里带换行的单元格只占一个表格行,因此会有偏差。
现在只有你自己能看到这条留言(已标上「待审核」),管理员审核通过后才会展示给所有人~
还没有留言,来抢沙发吧!