similarity meter

文本相似度一对多查重,顺带找出重复的那几句

与逐行找不同的文本 diff 不同,这里回答「像不像」。中文按 bigram 切分、英文按词切分,过滤停用词后算余弦相似度;再对每段找出连续重复片段。适合文章初筛、投稿查重与素材去重。

一对多比较中文 bigram停用词过滤重复片段CSV 矩阵
① 粘贴文本
停用词:中文 N-gram:

分数为词频向量余弦相似度,0% 完全无关,100% 完全一致;仅供初筛。

📐口径说明与常见误填

停用词先过滤,否则「的了和是」会把分数抬高。

中文怎么切词
不引入分词模型,用 bigram(相邻两字)作为近似词单元。对查重初筛足够,但「 Studied 」这类英文词会按整词计。
余弦相似度是什么
把每段文本变成词频向量,算两个向量夹角的余弦值。它反映的是用词分布相似程度,不关心顺序,所以比逐字比对更能容忍段落重排。
重复片段怎么找
用最长公共子串算法找连续相同的片段,至少 4 个字才显示。超过 600 字的文本跳过这一步以避免卡顿。
结果怎么用
相似度 80% 以上且重复片段明显时值得人工细看;60–80% 可能是主题相近而非抄袭,需结合片段判断。

这个工具解决什么问题

文本相似度回答的是「这两段有多像」,不是「哪里不一样」。工具把中文切成相邻双字、英文按词切分,过滤「的、了、和」等停用词后构建词频向量,计算余弦相似度,并用最长公共子串找出连续重复片段。第二栏用空行分隔即可一次比较多段,结果按相似度排序并导出 CSV 矩阵。这是初筛工具:高相似度不必然等于抄袭,主题相近也会得到较高分数。

用相似度的三条经验

① 先过滤停用词:不去掉高频虚词,任何两段中文都会「很像」。

② 看片段不看总分:主题相同自然得分高,真正要核的是连续重复的那几句。

③ 长文先分段:整篇比较会稀释差异,按段落分别跑更有意义。

怎么用

  1. 第 1 步 · 粘贴文本
    第一栏放基准,第二栏用空行分隔多段。
  2. 第 2 步 · 设停用词
    按题材增删停用词表。
  3. 第 3 步 · 开始比较
    按相似度排序显示重复片段。
  4. 第 4 步 · 导出矩阵
    CSV 留档或继续人工核查。

更新记录

  • v1.0 2026-11-16
  • 首个版本:中文 bigram、英文分词、停用词过滤、余弦相似度、最长公共片段、CSV 矩阵

常见问题

100% 就一定抄袭吗?
不一定。完全相同的两段当然 100%,但短文本(如一两句标语)也容易撞车,需看片段与上下文。
中文为什么不用真分词?
bigram 已足够做查重初筛,且不需要下载分词模型,页面可离线使用。
停用词怎么填?
按题材调整,用逗号分隔。新闻类可加「记者、表示」,技术类可加「我们、可以」。
支持多少段对比?
没有硬限制,但一次超过 50 段会让页面变慢,建议分批。
文本会上传吗?
不会,全部在浏览器本地计算。
导出的是什么?
每段文本的编号、相似度百分比与最长重复片段,CSV 格式带 BOM。

💬 留言板 0

全部留言需审核通过后展示
💬

还没有留言,来抢沙发吧!

✍️ 说点什么
0 / 500
图形验证码
👣 做完这一步,顺便看看
🧰 乱码修复 / 文本编码转换 在线乱码修复工具:上传乱码文本文件或粘贴乱码字符串,用 UT… → 💻 假装工作模拟器 老板走近工位的一瞬间,点一下就能从摸鱼切回正经工作界面。代码… → 🧰 IP / 子网掩码计算器 在线子网计算器:输入 IP 地址与掩码(CIDR 前缀或点分… → ⏰ 下班倒计时 打工人专属下班计算器:实时倒计时距离下班还有多久、进度环显示… →
全部工具 →