crawl report

死链爬取从首页出发,把站内打不开的链接挑出来

页面里的链接今天能点、明天可能就 404。工具从入口页开始只爬同域,最多 500 页、深度 3,按 404/410、超时、跳转异常、其他错误 四类归档,并标出它出现在哪个页面、锚文本写的是什么,导出 CSV 直接交给开发修。

同域爬取深度 ≤3≤500 页来源页与锚文本四类清单CSV 导出
① 设置爬取范围
还没有爬取结果设置范围后点「开始爬取」

大规模全站爬取请用专业工具;本页限定同域、500 页内,避免给站点造成压力。

🔍口径说明与常见误填

只爬同域、最多 500 页;大规模需求请用专业爬虫。

为什么要限制同域
开放爬取会被用来探测内网或给第三方站点造成压力。这里只跟随与入口域名相同的链接,且拒绝内网地址。
四类异常怎么分
404/410 是明确失效;超时是 8 秒内没有响应;跳转异常指 3xx 但没有 Location;其他错误包括 500 等服务端问题。
来源页与锚文本的作用
同样一条死链,出现在首页和出现在深层页的优先级完全不同。锚文本还能告诉你原本期望跳转到什么内容,便于找替代页。
为什么最多 500 页
数千页的站点需要专业爬虫与队列。这里定位为快速体检,超过上限会提前停止并在结果里标注。

这个工具解决什么问题

死链爬取从你给的入口页出发,沿站内链接逐层访问,把真正打不开的地址整理成可执行的清单。工具限定同域、深度 ≤3、最多 500 页,遇到 404/410、超时、3xx 但缺 Location、5xx 等异常就记录一条,附上它出现在哪个页面、锚文本是什么、耗时多少。结果按分类筛选,导出 CSV 后可以直接派给开发修复。它只做只读抓取,不登录、不提交表单、不修改目标站点;需要全站大规模爬取时,请使用专业爬虫服务。

处理死链的三条经验

① 先修高流量来源页:首页和栏目页的死链影响最大,深层页可以排后。

② 有替代页就做 301:内容搬走了就跳到新地址,别只删链接,权重会流失。

③ 定期跑一次:上线改版后、内容迁移后各跑一次,比收到用户反馈再修省事。

怎么用

  1. 第 1 步 · 设置范围
    填入口 URL,选深度与最大页数。
  2. 第 2 步 · 开始爬取
    工具按 BFS 逐层访问,结果实时归档。
  3. 第 3 步 · 筛选分类
    点顶部标签查看某一类异常。
  4. 第 4 步 · 导出 CSV
    按来源页与锚文本分派修复。

更新记录

  • v1.0 2026-11-16
  • 首个版本:同域 BFS 爬取、四类异常归档、来源页与锚文本、分类筛选、CSV 导出

常见问题

能爬别的域名吗?
不能。工具只跟随与入口 URL 同域的链接,且在服务端拒绝内网地址。
最多爬多少页?
最多 500 页、深度 3、55 秒内;达到任一上限会提前停止并标注。
超时怎么算?
单页 8 秒内没有返回即记为超时,可能是站点慢、防火墙拦截或 DNS 问题。
跳转为什么算异常?
3xx 正常应带 Location。如果缺少 Location,浏览器无法继续,属于异常链路。
会保存爬取结果吗?
不会。结果只在浏览器内存中,刷新即清空,服务端不落库。
大规模全站爬取怎么办?
请用专业爬虫或站点日志分析;本工具定位为快速体检,不适合数千页以上站点。

💬 留言板 0

全部留言需审核通过后展示
💬

还没有留言,来抢沙发吧!

✍️ 说点什么
0 / 500
图形验证码
👣 做完这一步,顺便看看
🧰 乱码修复 / 文本编码转换 在线乱码修复工具:上传乱码文本文件或粘贴乱码字符串,用 UT… → 💻 假装工作模拟器 老板走近工位的一瞬间,点一下就能从摸鱼切回正经工作界面。代码… → 🧰 IP / 子网掩码计算器 在线子网计算器:输入 IP 地址与掩码(CIDR 前缀或点分… → ⏰ 下班倒计时 打工人专属下班计算器:实时倒计时距离下班还有多久、进度环显示… →
全部工具 →