文本相似度一对多查重,顺带找出重复的那几句
与逐行找不同的文本 diff 不同,这里回答「像不像」。中文按 bigram 切分、英文按词切分,过滤停用词后算余弦相似度;再对每段找出连续重复片段。适合文章初筛、投稿查重与素材去重。
一对多比较中文 bigram停用词过滤重复片段CSV 矩阵
① 粘贴文本
停用词:中文 N-gram:
分数为词频向量余弦相似度,0% 完全无关,100% 完全一致;仅供初筛。
📐口径说明与常见误填
停用词先过滤,否则「的了和是」会把分数抬高。
- 中文怎么切词
- 不引入分词模型,用 bigram(相邻两字)作为近似词单元。对查重初筛足够,但「 Studied 」这类英文词会按整词计。
- 余弦相似度是什么
- 把每段文本变成词频向量,算两个向量夹角的余弦值。它反映的是用词分布相似程度,不关心顺序,所以比逐字比对更能容忍段落重排。
- 重复片段怎么找
- 用最长公共子串算法找连续相同的片段,至少 4 个字才显示。超过 600 字的文本跳过这一步以避免卡顿。
- 结果怎么用
- 相似度 80% 以上且重复片段明显时值得人工细看;60–80% 可能是主题相近而非抄袭,需结合片段判断。
这个工具解决什么问题
文本相似度回答的是「这两段有多像」,不是「哪里不一样」。工具把中文切成相邻双字、英文按词切分,过滤「的、了、和」等停用词后构建词频向量,计算余弦相似度,并用最长公共子串找出连续重复片段。第二栏用空行分隔即可一次比较多段,结果按相似度排序并导出 CSV 矩阵。这是初筛工具:高相似度不必然等于抄袭,主题相近也会得到较高分数。
用相似度的三条经验
① 先过滤停用词:不去掉高频虚词,任何两段中文都会「很像」。
② 看片段不看总分:主题相同自然得分高,真正要核的是连续重复的那几句。
③ 长文先分段:整篇比较会稀释差异,按段落分别跑更有意义。
怎么用
-
第 1 步 · 粘贴文本第一栏放基准,第二栏用空行分隔多段。
-
第 2 步 · 设停用词按题材增删停用词表。
-
第 3 步 · 开始比较按相似度排序显示重复片段。
-
第 4 步 · 导出矩阵CSV 留档或继续人工核查。
更新记录
-
v1.0
2026-11-16
- 首个版本:中文 bigram、英文分词、停用词过滤、余弦相似度、最长公共片段、CSV 矩阵
常见问题
100% 就一定抄袭吗?
不一定。完全相同的两段当然 100%,但短文本(如一两句标语)也容易撞车,需看片段与上下文。
中文为什么不用真分词?
bigram 已足够做查重初筛,且不需要下载分词模型,页面可离线使用。
停用词怎么填?
按题材调整,用逗号分隔。新闻类可加「记者、表示」,技术类可加「我们、可以」。
支持多少段对比?
没有硬限制,但一次超过 50 段会让页面变慢,建议分批。
文本会上传吗?
不会,全部在浏览器本地计算。
导出的是什么?
每段文本的编号、相似度百分比与最长重复片段,CSV 格式带 BOM。
💬 留言板 0
全部留言需审核通过后展示🎉
留言已提交!
现在只有你自己能看到这条留言(已标上「待审核」),管理员审核通过后才会展示给所有人~

还没有留言,来抢沙发吧!