SEO优化 : 360Spider和Baiduspider产生http 500 的原因和解决办法

作者: Arvin Chen 分类: SEO 来源: Break易站(www.breakyizhan.com)

这篇文章主要讲的是SEO优化 : 360Spider和Baiduspider产生http 500 的原因和解决办法。 为了查找方便,小A汇总了所有SEO优化的相关教程,方便大家查找到自己想要的SEO优化技巧: SEO优化教程汇总


我们知道,有一些网页的内容优质,用户也可以正常访问,但是360Spider和Baiduspider却无法正常访问并抓取,造成搜索结果覆盖率缺失,对360搜索和百度搜索引擎对站点都是一种损失,这种情况叫“抓取异常”。这样地抓取异常很影响网页地正常收录。小A就是因为不注意,360搜索一直就没有收录我的网站,后来才知道是因为http 500的错误。所以,分析网站的日志很重要。至于具体如何分析网站的日志的,可以查看SEO优化 : IIS日志分析常见代码详细状态篇SEO优化 : IIS日志分析之日志分析篇。我们这篇文章主要讲的是360Spider和Baiduspider产生http 500 的原因和解决办法。

360Spider和Baiduspider产生http 500 的原因

  1. robots.txt设置不对,屏蔽了搜索引擎。
  2. 服务器对搜素引擎(360Spider和Baiduspider)的IP设置了屏蔽作用,主要是为了防止搜索引擎爬虫(360Spider和Baiduspider)访问耗费大量流量。

360Spider和Baiduspider产生http 500 的解决办法

对于第一种情况,我们只需要再检查一下robots.txt的写法对不对,符不符合要求即可。

对于第二种情况,我们要找到服务器提供商,去提交工单,查看一下搜索引擎的IP是不是被屏蔽了。小A用的服务器是阿里云的服务器,这个的解决速度是真的快。

结果最后发现,360Spider的IP真的是被服务器给block了,还好阿里云的小哥给力,快速回复,给我满意地解决了。下面提供对话以供参考:

  • 售后工程师 : 您好,如果同一IP大量扫描,会有被拦截的可能,您这边是否是固定IP去抓取的,可以提供下IP,这边核实下。
  • 我:我提供的第一个截图里面应该就有360Spider的IP,请查看,IP有挺多的,应该不是固定IP。 更多的请查看附件 42.236.10.72 42.236.10.111 42.236.10.108 42.236.10.72 42.236.48.244
  • 售后工程师 : 您好,是有屏蔽记录的,这个目前只能提供所有的IP,然后后端为您加白。 另外您可以核实下您本身程序里是否有robots.txt这个文件,一般屏蔽爬虫的规则都是在这个文件中的。
  • 我:(去log里面,把一个星期内360Spider的IP全部找出来,全都是动态IP,总共有接近100个,提交了上去)

至此,360Spider和Baiduspider产生http 500 的完美地解决了。至于阿里云服务器真心好用,给大家推荐,并且给大家优惠券,点击这里:即可领取阿里云优惠券

 

本文内容来自:SEO优化 : 360Spider和Baiduspider产生http 500 的原因和解决办法 – Break易站


—Author: Arvin Chen —Web Address: www.breakyizhan.com (Break易站)

 

 

  •   本文标题:SEO优化 : 360Spider和Baiduspider产生http 500 的原因和解决办法 - Break易站
    转载请保留页面地址:https://www.breakyizhan.com/seo/1706.html
      微信返利机器人
      免费:淘宝,京东,拼多多优惠券
      腾讯,爱奇艺,优酷的VIP视频免费解析,免费看
      即刻扫描二维码,添加微信机器人!

    发表笔记

    电子邮件地址不会被公开。 必填项已用*标注