您的位置:主页 > 新闻动态 > 技术帮助 >

让搜索引擎蜘蛛到网站上来抓取内容

日期:2018/06/27     阅读:     来源:未知

  对于站长来说,网站的第一步就是解决收录问题,我们每天都在更新,可有时就是不收录。我们要想得到收录和蜘蛛的青睐,你就要懂得蜘蛛的爬行原理和规律。要学习和研究蜘蛛爬行规律,分析网站的访问日志是重要的一项工作。

  整个互联网形如一张网,搜索引擎的抓取程序就是通过这些一个一个的连接来抓取页面内容的,所以搜索引擎被形象的叫做蜘蛛或网络爬虫。

  网络爬虫是搜索引擎的一个自动的抓取页面的程序。搜索引擎蜘蛛通过跟踪连接访问页面。获得页面HTML代码存入数据库。爬行和抓取是搜索引擎工作的第一步,也就是数据收集的任务。然后就是预处理以及根据算法排名。

  网站的优化工作很重要的一个环节就是要让搜索引擎蜘蛛到网站上来抓取内容,如果搜索引擎蜘蛛都不来网站,那网站的内容再多在丰富也是没有用的。下面莱芜网站优化公司自然风网络来介绍如何查看网站的访问日志。

  针对WDCP面板 设置Apache日志记录蜘蛛爬行

  1、山西福彩网,你要在 “站点编辑” 里面把 "开启访问日志 " 这个选项打勾

  2、配置vhost 里面对应站点的 conf 文件( /www/wdlinux/apache/conf/vhost)

  把 CustomLog "/www/web_logs/你的域名_access_log" common 这一行的 common 修改成 combined

  也就是修改成 CustomLog "/www/web_logs/你的域名_access_log" combined

  修改完后保存一下。

  3、请确认CustomLog没有被#号注释掉,把 /www/wdlinux/apache/conf/httpd。conf 这个文件也改一下

  把 #CustomLog "logs/access_log" combined 这一句前面的 # 去掉,然后再重启web服务

  4、重新启动web服务,测试一下效果

  好了,以上操作应该是可以实现效果了,希望大家都可以操作成功

  特别提醒,针对WDCP面板,如果在站点设置里面修改了其他设置,保存之后站点对应的conf配置文件会自动覆盖掉。或者点击了“更新所有站 点配置”,对应的conf配置文件也会覆盖掉你手动添加的代码。到时候默认的设置还会是:CustomLog "/www/web_logs/你的域名_access_log" common,然后又得去手动改一下。我找到一个完美解决的办法,其他地方都不要动,也不用去修改站点的conf配置文件。

  直接修改apache默认的httpd。conf配置文件。打开/www/wdlinux/apache/conf/httpd。conf。找到:

  LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

  LogFormat "%h %l %u %t \"%r\" %>s %b" common

  把common和combined交换一下就行了,最终的代码:

  LogFormat "%h %l %u %t \"%r\" %>s %b" combined

  LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" common

  上传后重启一下web服务就可以了。

  原理就是在“站点编辑” 里面 "开启访问日志"后,默认是添加的CustomLog "/www/web_logs/你的域名_access_log" common 这段代码,生效的就是httpd.conf里面common的配置,改一下默认的common的配置就OK了。

  针对单个主机的配置方案 设置Apache日志记录蜘蛛爬行

  1、打开httpd。conf文件找到以下部分:LogFormat

  “%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined

  LogFormat

  “%h %l %u %t \”%r\” %>s %b” common

  LogFormat

  “%{Referer}i -> %U” referer

  LogFormat

  “%{User-agent}i” agent

  具体有关LogFormat的用法请参照:

  2、接着我们继续向下移动,找到虚拟主机配置段,也就是VirtualHost段,这个是由你自己来配置的。本站的虚拟主机的日志文件是这样设置的:如果你想记录百度蜘蛛的访问全称,就按色部分设置:

  CustomLog

  /var/html/faq/logs/linux520-access.log combined

  如果不想记录百度蜘蛛的头部分,则如下设置:

  CustomLog

  /var/html/faq/logs/linux520-access。log common

  按照以上设置一下,看看你的日志文件是否发生变化了。

  以上就是如何查看网站的访问日志,掌握了上面的步骤就没有什么问题了。

更多>>相关文章
天津福彩网 陕西福彩网 北京福彩网 天津福彩网 北京福彩网 北京福彩网 山西福彩网 山西福彩网 中国竞彩网 中国竞彩网