尖叫蛙Screaming Frog使用教程：网站链接检测与SEO爬虫工具

用户提到的是Screaming Frog SEO Spider这个软件。大家习惯简称它为Screaming Frog。它的中文名字叫做尖叫蛙。这是一款运行在本地电脑上的桌面端程序。它的主要功能包括网站爬虫和SEO审计。这个程序会模拟搜索引擎的蜘蛛去抓取网站的页面内容。

它会重点检测链接的正常状态。它会查找页面上存在的技术性问题。它会检查SEO元素的配置情况是否正确。最后, 这软件会输出结构化的报告数据。因此, 它是网站管理员用来做网站健康检查的重要工具。它也是进行SEO技术审计的核心帮助。

核心功能

Screaming Frog 这个工具, 它支持对网站进行全量的爬取, 也可以对指定的范围进行爬取, 它会检测包括这些项在内的项目:

进行链接检查操作来发现状态为四千零四的页面, 服务器返回五千系错误代码的情况, 还存在重定向链条的问题, 以及孤立的网页和重复的URL地址这些现象。

你要关注页面元素, 这些元素包括Title、Meta Description、H1-H6标签、图片ALT属性。

技术配置方面的内容包括robots.txt文件的作用、canonical标签的设定、sitemap的设置, 还有SSL证书的安装与确认, 以及HTTPS跳转。

需要排查内容质量, 具体包含重复或者相似的内容, 或者是页面过长或者过短的情况, 也有可能是空页面的现象。

结构化数据这一项内容, 是需要进行Schema标记的校验工作的。

在移动端这一块, 我们要去做响应式的检测工作, 同时还需要做好视口的配置相关事宜。

版本说明

免费版的情况是那样子的, 就是单次爬取的上限数量是500个URL, 它适用的场景是中小站点全检或者单页深度审计这些事情的。

这个付费版的费用大约是每年239英镑, 它没有限制爬取数据的数量, 还支持代理设置、身份认证功能, 同时可以让你把数据批量导出成CSV或者Excel格式的文件, 也支持API接口进行对接。

企业版, 这一版本包括了多用户授权的许可方式, 能够支持团队协作的功能运作,并且还配备有高级的报告中模板供使用者选用。

具体的价格还有功能, 要以在screamingfrog.co.uk这个网址上公布的为准。

基本使用步骤

1. 你要去下载本地客户端, 然后把其安装起来, 这个客户端是支持Windows的, 同时也支持macOS的, 它还支持Linux。

2. 你需要把目标网站首页的网址填进去, 然后对爬取的深度和限制速度进行设置, 建议让请求的频率保持在每秒5个或更少的水平, 这样才不会造成服务器运行受影响的情况。

3. 把爬取的模式设置为全量爬取, 或者指定路径进行爬取, 再不就是仅对链接进行检查。

4. 现在就开始执行抓取任务, 然后你需要安静地等待系统把所有的工作都做完, 在完成以后, 你再去看一看左边的那个分类的面板里面都有什么问题出现在不同的维度下面。

5. 你要先导出报告, 导出的时候可以选择用CSV这种方式, 也可以选用HTML这种方式, 然后你可以根据状态码这一维度去进行筛选处理, 你也可以根据标签缺失这一点再去进行筛选处理。

关键检测指标说明

状态码要是等于200的话, 那就是表示运行正常, 状态码要是等于301或者302的话, 那就是表示需要进行重定向操作, 状态码要是等于404的话, 那就是表示没有找相关内容, 状态码要是以5开头的两位数字的话, 那就是表示服务器出现了错误, 需要去逐一进行排查和处理。

链接的完整性方面, 要进行检测工作, 具体要看看站内的死链情况以及如何查看站外的失效链接。

技术SEO, 去确认那个canonical标签是不是指的方向对了, 有没有重复的索引存在, 还有啊, sitemap文件和robots文件的配置是不是保持一致的。

我们拿页面大小和资源请求数这些性能相关的东西来做参考, 然后把这些数据拿来, 用来辅助判断在加载的时候究竟会出现什么情况, 到底是不是有什么因素导致了加载的瓶颈所在, 这里必须要说明清楚, 这种做法并不是去替代那个叫做PageSpeed Insights的工具所给出的结论或者说功能。

注意事项与局限

Screaming Frog这个工具是在本地环境里模拟进行网页爬取操作的, 它给出的结果会因为有JavaScript渲染方面的限制而受到影响, 如果遇到那种动态变化的内容, 就必须得配合浏览器的相关工具来进行验证。

把检测出来的问题给弄清楚了, 这并不代表它肯定会对你的网站在搜索引擎里的排名产生影响, 你还得去把那些官方给出的工具拿过来用一用, 比如说Google Search Console或者百度搜索资源平台之类的, 通过这些东西来进行交叉确认才行。

在启动大规模网站的爬取工作之前, 务必要设置速率限制机制, 以防止因为请求过于频繁而触发服务器的安全防护策略, 同时也能够避免干扰该平台的正常运行和业务开展。

工具那边的数据, 它就是当下那一刻的快照情况, 需要大家隔一段时间就重新检查一遍, 不能光靠着某一次的单点结果就去做出那种要管很久的长期决定。

工具组合建议

需要把Screaming Frog这个工具, 和搜索引擎给的官方平台, 还有GA4或者是百度统计这类东西, 以及日志分析工具放在一起来用, 这样的话就可以形成一套完整的闭环, 这种闭环专门用来进行技术SEO的诊断, 具体的做法是用Screaming Frog去做一次全站的技术审计, 然后用搜索平台去确认是否存在收录问题或者抓取异常, 最后再拿统计工具去验证这些情况对转化带来了什么影响, 整个过程就是为了达成上面的这个完整闭环。

常见问题

《尖叫蛙Screaming Frog使用教程：网站链接检测与SEO爬虫工具》主要讲什么？

用户提到的是Screaming Frog SEO Spider这个软件。大家习惯简称它为Screaming Frog。它的中文名字叫做尖叫蛙。这是一款运行在本地电脑上的桌面端程序。

文章提到了哪些重点？

你要关注页面元素, 这些元素包括Title、Meta Description、H1-H6标签、图片ALT属性；免费版的情况是那样子的, 就是单次爬取的上限数量是500个URL, 它适用的场景是中小站点全检或者单页深度审计这些事情的

文章给出了哪些建议？

在移动端这一块, 我们要去做响应式的检测工作, 同时还需要做好视口的配置相关事宜。