百度SEO排名优化助手：收录不上先查这5个技术点

当发现网站在百度那边的收录数量变成了0, 或者排名是一路往下掉的时候, 大家先不要着急着去修改页面内容, 建议按照下面列出的那5个技术环节, 一个一个地仔细排查, 因为绝大多数关于收录异常以及排名下滑的问题, 实际上都是出在了技术层面上。

robots.txt与noindex

你可以用curl工具, 或者打开浏览器, 直接去访问你网站上面的robots.txt文件这个位置, 仔细确认一下, 千万不要犯了错误, 把那些核心的页面路径写进了Disallow这一项里面去。

另外, 接下来你需要每一个单独检查那些没有被搜索到的页面的HTML源代码, 具体操作就是看这些代码里面对不对某些东西进行了错误的添加, 看看是不是误加了meta标签, 并且这个标签的name属性设置成了robots, 同时content属性的值也设置成了noindex这样的内容。

请特别注意, robots.txt里的Disallow命令其实只能阻止搜索引擎 spider 去爬取页面, 它并没有能力去阻止页面上索引功能的运行；如果想把某一个页面彻底地从搜索结果里面删掉不让它出来, 那么正确的做法是使用noindex这个标签来进行指示, 或者干脆就把那个页面给删除掉；在完成上述修复操作之后，你应当立刻前往百度搜索资源平台这个官方渠道提交那些URL以便重新让它们被收录。

sitemap与内链入口

需要确认sitemap.xml文件里面包含目标URL, 以及XML格式的没有错误, 并且已经在百度资源平台那边完成提交了动作。

同时还得检查网站内部是否存在能够指向这个页面的内链, 因为如果URL既没有出现在sitemap里面的任何地方, 也没有任何的内链入口可以到达这里的话, Baiduspider这个爬虫它是没有办法发现它的。

对于列表分页和标签聚合页这种情况, 必须保留清晰的翻页链接, 这样才能避免出现空列表页被蜘蛛反复访问的事情发生。

服务器状态与抓取日志

你可以使用curl -I https://你的域名/目标页命令来进行确认, 查看到最终的返回码应该是200。接下来你需要去查看服务器的日志记录。如果你在CDN环境下运行, 那么你需要配置相关的参数来获取用户的真实IP地址, 也就是X-Forwarded-For字段。

你要根据这些信息来确认Baiduspider这个程序是否已经到访, 它访问的时候返回的状态码具体是什么数值。如果服务器持续出现5xx类型的错误信息, 或者你的SSL证书已经过期失效, 又或者DNS解析出现了异常情况, 那么这些问题的存在都会直接阻断搜索引擎的抓取操作, 使其无法正常工作。

把WAF配置得太严格了, 也会出现误拦蜘蛛的情况, 所以需要去核对百度官方的IP段, 然后在防火墙里面进行放行操作。

重复页面与canonical

需要去检查是不是因为用了HTTP或者HTTPS、用了www或者不用www、URL的大小写不一样、结尾有没有斜杠, 还有参数页面这些东西, 导致出现了很多内容完全一样的URL。对于那些能够实现301跳转的情况, 要优先把他们301重定向到主URL上去。

对于不能做301跳转的情况, 就必须在网页代码的部分里面添加上canonical标签。

参数页面可以利用robots.txt中的Allow或者Disallow规则来实现收敛, 也可以通过canonical标签来进行优化, 这样做是为了避免出现索引数量变得过多的情况, 从而避免对网站整体权重的均衡性造成稀释的影响。

结构化数据与移动端适配

在核心页面中增加JSON-LD结构化数据, 内容涉及组织信息、面包屑导航列表以及常见问题页面等板块, 并借助百度资源平台所提供的内置检测工具来进行有效性验证。

针对移动端页面, 需要保证各个可点击区域之间的间隔距离设置得合理适当, 同时正文部分的文字字号大小不得低于12像素, 随后使用百度提供的那个移动友好性检测工具进行逐一的检查与验证操作。

验证与日常预防

进行修复处理之后, 你应该前往百度资源平台, 并在其中的「抓取诊断」这一功能板块里, 提交你所关注的目标网址, 然后认真观察接下来的24个小时到72个小时这个时间段里面的网页抓取情况以及索引状态, 这是很有必要的；在日常维护工作方面, 给大家提出一些具体的建议, 也就是需要每个月都去仔细核查一遍robots.txt文件、sitemap地图、canonical标签以及服务器返回的5xx错误日志内容；如果是计划在网站上进行改版操作, 那么务必要事先制作出一份详细的完整URL映射清单, 并且做好相应的备份动作, 等到改版上线运行之后, 需要特别关注并重点监控出现404错误页面、服务器5xx错误信息以及各个跳转链接的状态变化情况。

平台的功能以及相关的规则, 都是要去看百度搜索资源平台的官方文档的, 并且是以那边的文档为准的。

常见问题

《百度SEO排名优化助手：收录不上先查这5个技术点》主要讲什么？

当发现网站在百度那边的收录数量变成了0, 或者排名是一路往下掉的时候, 大家先不要着急着去修改页面内容, 建议按照下面列出的那5个技术环节, 一个一个地仔细排查, 因为绝大多数关于收录异常以及排名下滑…

文章提到了哪些重点？

你可以使用curl -I https://你的域名/目标页命令来进行确认, 查看到最终的返回码应该是200；

文章给出了哪些建议？

需要去检查是不是因为用了HTTP或者HTTPS、用了www或者不用www、URL的大小写不一样、结尾有没有斜杠, 还有参数页面这些东西, 导致出现了很多内容完全一样的URL。

这篇SEO技术内容适合谁看？

适合关注SEO技术的读者，尤其是需要落地执行的站长、运营和建站从业者。