您的位置:主页 > 新闻动态 > 技术帮助 >

百度蜘蛛的识别步骤

日期:2018/07/26     阅读:     来源:未知

  百度蜘蛛是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。

  莱芜网络公司小编教给您只需两步,就能正确识别百度蜘蛛。

  a.反查IP

  可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

  (1)在macos平台下,您可以使用dig命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入digxxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

  (2)在linux平台下,您可以使用hostip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

  (3)在windows平台或者IBMOS/2平台下,您可以使用nslookupip命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入nslookupxxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

  b.查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

  移动UA:

  Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko)Version/5.1 Mobile Safari/10600.6.3 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

  PC UA:

  Mozilla/5.0(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

  新增渲染UA:

  移动UA:

  Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOSX) AppleWebKit/601.1.46(KHTML,likeGecko) Version/9.0Mobile/13B143Safari/601.1(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

  PC UA:

  Mozilla/5。0(compatible;Baiduspider-render/2。0;+http://www。baidu。com/search/spider。html)

更多>>相关文章
北京福彩网 天津福彩网 无锡体彩网 山西福彩网 中国竞彩网 中国竞彩网 陕西福彩网 无锡体彩网 无锡体彩网 北京福彩网