站长平台抓取异常怎么排查解决？步骤全讲清

站长平台出现抓取异常的情况, 用通俗的话来说, 就是咱们所说的网站对于搜索引擎的机器人的行为不够友好, 从而导致微软搜索的蜘蛛或者百度的蜘蛛无法顺利抵达网站服务器, 或者是这些爬虫在网络访问过程中, 只完成了一部分的读取动作就直接选择退出连接。

在此种情形发生时, 广大运维人员千万不要第一时间就去催促技术研发团队留下来进行额外的加班处理工作, 需要明确指出的一个客观事实是, 百分之八十左右的抓取异常问题本身, 是完全有可能由网站管理者在十分钟以内的时间段里独立完成诊断与定位处理的。

接下来将立即提供一套直接可用的逐步排查流程指南, 相关人员只需要按照该既定路线去依次执行操作措施即可。

站长平台抓取异常到底意味着什么

抓取出现异常这件事, 并不意味着就是你的网站彻底崩塌了, 它的真正含义应该是爬虫在网站被访问的过程当中, 碰到了一个在技术方面形成的阻碍因素, 因为响应时间超过了限制、HTTP状态码不是200 、被robots.txt文件误认为是非法的请求而拦截、或者是服务器直接拒绝了连接,这些情况都是极其典型的引发原因, 当你在Bing站长平台的系统里观察到那个叫做“抓取异常”的状态标签的时候, 它的本质意图就是在向你传递一个信息, 那就是表示在最近这一段时间里面, 我这边已经多次地去尝试着访问你发布的页面内容了, 但是最后能够成功获取到的比例确实是低于了我们预先设定好了的那个门槛数值。

把这个定义看清楚, 接下来要找的方向就并不是去修改内容, 而是要去检查技术链路。

排查站点抓取异常的四个实操步骤

第一步:要去看响应的时间还有状态码。 用站长平台里面的抓取诊断这个工具, 去提交几个页面的URL, 然后看返回的是什么。是200、404、503还是超时这几种情况。

如果状态码是503或者是超时了, 就直接去找运维人员处理。如果状态码是404, 就去查查在这个URL是不是改版之后没有做301跳转这个操作。

第二步:翻robots.txt。 很多站长改版后robots.txt没同步更新, 一条Disallow: /全给禁了, 蜘蛛根本进不来。浏览器直接打开你的域名/robots.txt, 肉眼扫一遍, 五秒钟的事。

第三步:查站点地图状态。如果你已经在站长平台里提过sitemap, 但却看到提示显示为未抓取或者解析失败, 那大概率是因为XML格式写错了, 又或者单个文件里面的条目超过了5万条, 再或者是那个文件的网址本身就已经变成404错误了, 你需要把它们逐个去核对一下。

站长统计最新屏蔽解决方法_站长平台抓取异常怎么排查解决_站长综合查询工具的排名情况

第四步:确认服务器是否屏蔽了蜘蛛IP。 有一部分CDN以及WAF的规则, 是把这个搜索引擎的IP段也给当作攻击流量来进行拦截的。你需要去查阅一下防火墙的日志记录, 然后把Bingbot、Baiduspider、Googlebot这些对应的IP段全部加入到白名单里面去。

站长平台抓取异常和收录异常是一回事吗

这根本不是同一个事情。抓取异常的意思就是蜘蛛爬不过去, 进不来我们的网站。而收录异常的情况是蜘蛛已经进来了, 但是搜索引擎就是不进行收录。

针对前者我们要去检查技术问题, 针对后者我们要去检查内容质量以及站内的结构安排。很多把这两个不一样问题混为一谈然后去折腾的人, 最终都是在做无用功, 完全就是白忙活了一场。

站长平台抓取异常修复后多久恢复

当技术问题得到解决之后, Bing通常48小时内就会重新抓取并更新状态。你其实没有必要天天刷新页面去干等这事。过两天再去看一眼就可以了。真的没必要非跟这个情况较那个劲儿。

不同站点类型的侧重排查方向

针对电商网站和内容网站, 要把重点放在排查分页参数是否遭到禁用这一点上, 还要看 canonical 标签是不是发生了冲突的情况, 另外也要检查大列表页在响应的时候会不会出现超时的毛病。

对于企业官网和落地页, 我们要去把robots.txt给仔细地审查一下, 然后得看看服务器所在的地区是不是存在着访问方面的一些限制内容, 另外还得检查那个HTTPS证书当前这个状态, 确认它到底有没有已经出现过期的情形。

新上线的那一些站点, 大概率的状况是因为sitemap没有去进行提交, 或者是提交的格式存在错误的问题, 建议先去把这一项补充完整, 然后再去排查其他的相关原因。

总结

站长平台在抓取内容的时候出现了异常的这种情况, 需要进行的排查工作其实总共包含四个步骤, 第一个步骤是去看看响应的那个状态码到底是什么情况, 第二个步骤去检查一下那个robots文件里的具体设置是不是有阻拦的意思, 第三个步骤去验证一下那个站点地图也就是sitemap里面的链接对不对头, 第四个步骤就是要把那个服务器的ip白名单给清理掉或者重新确认一下要不要把某些ip加进去, 千万不要在那里乱搞什么玄学的方法, 不要说一发现问题就急急忙忙地往里加内链又或者去改页面标题, 遇到这种技术问题就应该老老实实用技术的手段去解决它, 按照上面说的这四个步骤挨个跑一遍以后, 差不多百分之九十的那些异常情况都能马上就被定位到是哪一个具体的原因造成的, 至于剩下的那一点点情况交给运维部门去修改系统配置也完全来得及, 当天就可以把工作收场完毕不用加班。