⚠️ 使用说明:本工具按整行去重,一行即为一条数据。
· 忽略大小写只影响「是否算重复」的判断,输出仍保留首次出现时的原始写法;
· 比较时忽略首尾空格可以识别「苹果」与「苹果 」是同一项,非常适合处理从表格或网页复制的数据;
· 若你的数据是逗号分隔的一整行,请先把逗号换成换行(可用「批量文本替换工具」)。
所有处理均在浏览器本地完成,文本不会上传服务器。
效率工具
完全免费
🌙 支持黑夜模式
🔒 纯前端本地处理
📄 一键导出 txt
从 Excel 复制一列名单、从聊天记录里收集一串编号、把几十个网址攒在一起……数据一多,重复项、空行、多出来的空格就全冒出来了。
这个工具把这套「脏活」压缩成一次点击:
· 去重:自动保留首次出现的一条,其余重复项全部去掉;
· 清洗:顺手删掉空行、去掉每行首尾的空格与制表符;
· 统计:直接告诉你原来多少行、去重后剩多少、删掉多少、去重率是多少,哪些条目重复了几次也一并列出;
· 排序与输出:可按拼音/字母升序降序、按长度排序,输出支持「每行一条」「逗号分隔」「带序号」三种格式,复制或导出 txt 直接用。
相比 Excel 的「删除重复项」,这里对大小写和首尾空格的处理是可控的——很多时候「苹果」和「苹果 」本是一回事,Excel 却会当成两条。
所有处理均在浏览器本地完成,文本不会上传服务器。
核心特性
整行去重
忽略大小写
忽略首尾空格
删除空行
五种排序方式
重复项统计
三种输出格式
支持黑夜模式
什么时候用得上
· 名单去重:活动报名表、客户名单、员工通讯录,多次导出合并后常有重复;
· 编号整理:商品 SKU、订单号、快递单号,从多个表格汇总后去重;
· 网址 / 关键词汇总:把散落各处的链接、搜索词、标签收集成一份干净清单;
· 数据清洗前置:先把脏数据去重清洗干净,再拿去统计或导入系统,能避免大量后续麻烦。
如果你还需要批量替换、正则替换,可以配合站内的「批量文本替换工具」一起用。
怎么用
第 1 步
把文本粘贴到左侧输入框,一行一条(也可点「✨ 示例文本」先试试效果)。
第 2 步
按需勾选「忽略大小写」「忽略首尾空格」「去除首尾空白」「删除空行」。
第 3 步
选择排序方式与输出格式,点「🧹 一键整理」。
第 4 步
右侧查看去重率与重复项清单,点「📋 复制结果」或「💾 导出 .txt」拿走成果。
更新记录
-
v1.0
2026-09-11
工具上线:支持整行去重(可控大小写与首尾空格)、删除空行与首尾空白;提供不排序 / 拼音字母升降序 / 长度升降序共 5 种排序;输出支持每行一条、逗号分隔、带序号三种格式;实时统计行数、去重率与重复项清单;支持复制与导出 txt;适配黑夜模式;纯前端本地处理。
常见问题
整行去重和 Excel 的「删除重复项」有什么区别?
核心逻辑相同,都保留首次出现的一条,但细节更可控:
· 大小写:Excel 默认把 Apple 和 apple 当成两条;本工具可选「忽略大小写」,把它们视为同一条。
· 空格:从网页或表格复制时经常混入首尾空格,Excel 会认为「苹果」与「苹果 」不同;本工具可开启「比较时忽略首尾空格」。
· 空行:Excel 的空行往往要单独处理,这里一键删除。
· 可回看:本工具会列出「哪些条目重复了几次」,方便核对数据来源。
我的数据都在同一行、用逗号分隔,能去重吗?
可以,但需要先把逗号换成换行。步骤:
1. 粘贴到「批量文本替换工具」,把「,」替换成「\n」(换行);
2. 再到本工具粘贴,即可按行去重。
反过来,如果去重后需要逗号分隔的一行,直接在本工具把「输出格式」切换为逗号分隔即可。
「按拼音升序」是怎么排的?
使用浏览器的本地化排序规则(localeCompare)。中文会按拼音顺序排列,英文按字母顺序,数字会按数值大小关系处理。
需要注意的是,不同浏览器与系统对中文排序的细节可能略有差异,但同一环境下结果是稳定的。
能处理多少行数据?文本会被上传吗?
全部处理都在你的浏览器里完成,不会上传任何文本,关掉页面即清空。
性能上,几万行毫无压力;10 万行左右也能秒级完成,但超大文本框本身的渲染会成为瓶颈,建议分批处理。
💬 留言板 0
全部留言需审核通过后展示
🎉
留言已提交!
审核通过后就会展示在留言板上,稍安勿躁~
还没有留言,来抢沙发吧!