clean pipeline

语料清洗八步流水线,把爬来的文本洗干净

训练语料里常混着网页标签、广告行、空行、繁简混排、全角符号与重复段落。这里把清洗动作拆成可开关的步骤,按顺序执行,统计字符与行数变化,前后对照后再导出。适合整理语料、读书笔记与爬虫结果。

去 HTML去广告行繁简统一全半角去重去 emojiTXT 导出
① 选择步骤并粘贴语料
等待执行
清洗结果会显示在这里。

繁简转换基于常用字映射表,覆盖高频字,不是完整转换器。

🧹口径说明与常见误填

繁简转换是常用字近似,专业文本请人工复核。

步骤顺序
按 HTML → 广告行 → 繁简 → 全半角 → emoji → 空白 → 空行 → 重复行的顺序执行。先去噪声再做字符串统一,最后去重,效果最稳。
广告行怎么判
包含「广告、推广、点击、扫码、关注我们、版权所有」或 http(s) 链接的整行会被删除。正文里恰好提到这些词时也会误删,需按需关闭。
繁简转换边界
内置常见繁简字映射,覆盖高频字,但不含异体字与地区用词差异。专业出版场景请用完整转换库复核。
emoji 范围
移除常见 Unicode emoji 区段(U+1F300–1FAFF、U+2600–27BF、变体选择符)。部分符号字体字形也可能被移除。

这个工具解决什么问题

语料清洗把常见脏数据整理成一条可开关的流水线:去 HTML 标签、去广告行、去空行、繁简统一、全半角统一、去重复行、去 emoji、压缩空白。八步按顺序执行,页面统计字符与行数变化,并展示每一步是否真的产生改动。适合准备训练语料、整理爬虫结果与批量清理笔记。文本不上传,结果导出 TXT。

清洗语料的三条经验

① 先看统计再导出:字符数骤降说明某一步误删太多,回头关掉对应步骤。

② 广告规则会误伤:正文里出现「点击」「关注」也会被删,谨慎开启。

③ 繁简是近似转换:高频字可覆盖,专业文本仍需人工校对。

怎么用

  1. 第 1 步 · 粘贴语料
    把待清洗文本放进来。
  2. 第 2 步 · 勾选步骤
    默认开启常见的五项。
  3. 第 3 步 · 执行清洗
    看统计与结果预览。
  4. 第 4 步 · 导出 TXT
    下载后抽样检查。

更新记录

  • v1.0 2026-11-16
  • 首个版本:八步可开关清洗管道、前后统计、步骤生效提示、TXT 导出

常见问题

会上传语料吗?
不会,全部在浏览器本地处理。
繁简转换完整吗?
不完整,只映射高频字;生僻字与地区用词需人工校对。
广告行规则能自定义吗?
当前使用内置关键词与链接规则,不可自定义,可按需关闭该步骤。
去重按什么判断?
整行完全相同才算重复,标点或空格不同会被视为不同行。
全角转半角会影响中文标点吗?
会:中文逗号「,」是全角字符,但该转换只处理 U+FF01–FF5E 区段的全角 ASCII,不影响中文标点。
结果能导出吗?
可以导出 UTF-8 编码的 TXT。

💬 留言板 0

全部留言需审核通过后展示
💬

还没有留言,来抢沙发吧!

✍️ 说点什么
0 / 500
图形验证码
👣 做完这一步,顺便看看
🧰 乱码修复 / 文本编码转换 在线乱码修复工具:上传乱码文本文件或粘贴乱码字符串,用 UT… → 💻 假装工作模拟器 老板走近工位的一瞬间,点一下就能从摸鱼切回正经工作界面。代码… → 🧰 IP / 子网掩码计算器 在线子网计算器:输入 IP 地址与掩码(CIDR 前缀或点分… → ⏰ 下班倒计时 打工人专属下班计算器:实时倒计时距离下班还有多久、进度环显示… →
全部工具 →