大文件行数统计几百 MB 的日志,不用打开也能数完
把整份日志粘进文本框不现实。这里用 File.slice 分块读取,每次只处理 2MB,边读边统计总行数、空行、字符数与去重后行数,并实时显示进度。本地处理,文件不上传。
$ count --stream
拖入日志或文本文件或点击选择
等待开始分块 2MB
—等待文件
去重行最多保留 100 万条的集合,超过后去重结果仅作参考。
📏口径说明与常见误填
分块读取不卡页面;去重行最多记 100 万条。
- 为什么分块读
- 一次性把几百 MB 文件读进内存会让浏览器卡死。File.slice 每次取 2MB,用 TextDecoder 流式解码,处理后即释放。
- 空行怎么算
- 去掉行尾回车后,内容为空白的行计为空行;纯空格行也算。
- 去重行是什么
- 完全相同的行只计一次。集合最多保存 100 万条,超过后只会少算不会多算,超出规模建议用命令行工具。
- 编码怎么选
- 默认 UTF-8;老日志用 GBK/GB18030 时切换选项。选错编码会出现乱码,但行数通常仍然正确。
这个工具解决什么问题
大文件行数统计针对「只想数一数,不想打开」的场景:拖入几百 MB 的日志、CSV 或文本,工具按 2MB 分块流式读取,统计总行数、空行、字符数与去重后行数,并实时显示进度。全程在浏览器本地完成,不上传数据。去重使用集合记录,上限 100 万条;超出这个规模建议用命令行 wc/sort,页面也已写明边界。
统计大文件的三条经验
① 选对编码:老系统日志常是 GBK,切错会出现乱码但行数仍然准。
② 看空行比例:空行太多说明导出脚本可能有多余换行。
③ 去重有上限:超过 100 万条时去重结果偏小,别当精确值。
怎么用
-
第 1 步 · 选择文件拖入或选择日志、文本、CSV。
-
第 2 步 · 开始统计进度条按文件体积推进。
-
第 3 步 · 看结果四个指标同时更新。
-
第 4 步 · 导出 CSV把统计结果留档。
更新记录
-
v1.0
2026-11-16
- 首个版本:2MB 分块流式读取、UTF-8/GBK、总行数/空行/字符数/去重行、进度条、CSV 导出
常见问题
能统计多大文件?
没有硬限制,取决于浏览器可用内存;几百 MB 通常没问题。
文件会上传吗?
不会,分块读取与统计都在本地。
去重行准确吗?
最多保存 100 万个不同行,超过后结果偏小,页面会提示。
换行符 CRLF 怎么算?
行尾回车会被去掉,不影响行数与字符数。
编码选错了会怎样?
内容乱码,但换行符仍可识别,行数基本正确;字符数可能不准。
支持拖拽多个文件吗?
当前一次一个,避免进度混淆。
💬 留言板 0
全部留言需审核通过后展示🎉
留言已提交!
现在只有你自己能看到这条留言(已标上「待审核」),管理员审核通过后才会展示给所有人~

还没有留言,来抢沙发吧!