死链爬取从首页出发,把站内打不开的链接挑出来
页面里的链接今天能点、明天可能就 404。工具从入口页开始只爬同域,最多 500 页、深度 3,按 404/410、超时、跳转异常、其他错误 四类归档,并标出它出现在哪个页面、锚文本写的是什么,导出 CSV 直接交给开发修。
同域爬取深度 ≤3≤500 页来源页与锚文本四类清单CSV 导出
① 设置爬取范围
还没有爬取结果设置范围后点「开始爬取」
大规模全站爬取请用专业工具;本页限定同域、500 页内,避免给站点造成压力。
🔍口径说明与常见误填
只爬同域、最多 500 页;大规模需求请用专业爬虫。
- 为什么要限制同域
- 开放爬取会被用来探测内网或给第三方站点造成压力。这里只跟随与入口域名相同的链接,且拒绝内网地址。
- 四类异常怎么分
- 404/410 是明确失效;超时是 8 秒内没有响应;跳转异常指 3xx 但没有 Location;其他错误包括 500 等服务端问题。
- 来源页与锚文本的作用
- 同样一条死链,出现在首页和出现在深层页的优先级完全不同。锚文本还能告诉你原本期望跳转到什么内容,便于找替代页。
- 为什么最多 500 页
- 数千页的站点需要专业爬虫与队列。这里定位为快速体检,超过上限会提前停止并在结果里标注。
这个工具解决什么问题
死链爬取从你给的入口页出发,沿站内链接逐层访问,把真正打不开的地址整理成可执行的清单。工具限定同域、深度 ≤3、最多 500 页,遇到 404/410、超时、3xx 但缺 Location、5xx 等异常就记录一条,附上它出现在哪个页面、锚文本是什么、耗时多少。结果按分类筛选,导出 CSV 后可以直接派给开发修复。它只做只读抓取,不登录、不提交表单、不修改目标站点;需要全站大规模爬取时,请使用专业爬虫服务。
处理死链的三条经验
① 先修高流量来源页:首页和栏目页的死链影响最大,深层页可以排后。
② 有替代页就做 301:内容搬走了就跳到新地址,别只删链接,权重会流失。
③ 定期跑一次:上线改版后、内容迁移后各跑一次,比收到用户反馈再修省事。
怎么用
-
第 1 步 · 设置范围填入口 URL,选深度与最大页数。
-
第 2 步 · 开始爬取工具按 BFS 逐层访问,结果实时归档。
-
第 3 步 · 筛选分类点顶部标签查看某一类异常。
-
第 4 步 · 导出 CSV按来源页与锚文本分派修复。
更新记录
-
v1.0
2026-11-16
- 首个版本:同域 BFS 爬取、四类异常归档、来源页与锚文本、分类筛选、CSV 导出
常见问题
能爬别的域名吗?
不能。工具只跟随与入口 URL 同域的链接,且在服务端拒绝内网地址。
最多爬多少页?
最多 500 页、深度 3、55 秒内;达到任一上限会提前停止并标注。
超时怎么算?
单页 8 秒内没有返回即记为超时,可能是站点慢、防火墙拦截或 DNS 问题。
跳转为什么算异常?
3xx 正常应带 Location。如果缺少 Location,浏览器无法继续,属于异常链路。
会保存爬取结果吗?
不会。结果只在浏览器内存中,刷新即清空,服务端不落库。
大规模全站爬取怎么办?
请用专业爬虫或站点日志分析;本工具定位为快速体检,不适合数千页以上站点。
💬 留言板 0
全部留言需审核通过后展示🎉
留言已提交!
现在只有你自己能看到这条留言(已标上「待审核」),管理员审核通过后才会展示给所有人~

还没有留言,来抢沙发吧!