谈谈怎么利用服务器日志来分析我们页面为什么不被收录

来源:用户投稿 时间:2014-07-11

很多人都在说原创,每天去采集,然后修改后,重新发到自己的网站上,但是不知道你木有想过一个问题,我们发的文章有没有意义,为什么不被收录,蜘蛛怎么去认为我们发的文章有没有意义。

在这之前,我们得知道服务器日志在哪里寻找,服务器日志一般存在于FTP空间一个Log的文件夹下,并且是tor后缀结尾。将他下载后,解压后我们得到俩个文件,将有大小文件后缀名更改为域名.txt 然后打开。我们会得到一大串文字字符,不要担心从何看起,我们一条条的分析。但是我们首先得知道那些IP所代表的意思。下面我都列出来了。

Baiduspider=Baiduspider蜘蛛

Googlebot=Googlebot蜘蛛

Sogou=Sogou蜘蛛

Yahoo=Yahoo蜘蛛

360Spider=360Spider蜘蛛

123.125.68.=123.125.68沙盒

220.181.68.=220.181.68沙盒

220.181.7.=220.181.7预备抓取

123.125.66.=123.125.66预备抓取

121.14.89.=121.14.89新站考察

203.208.60.=203.208.60网站异常

210.72.225.=210.72.225巡逻

123.125.71.106=123.125.71.106低权重

123.125.71.95=123.125.71.95低权重

123.125.71.97=123.125.71.97低权重

123.125.71.117=123.125.71.117低权重

123.125.71.=123.125.71低权重汇总

220.181.108.95=220.181.108.95隔日快照

220.181.108.92=220.181.108.92权重抓取

220.181.108.91=220.181.108.91综合权重

220.181.108.75=220.181.108.75内页权重

220.181.108.86=220.181.108.86权重首页

220.181.108.89=220.181.108.89权重首页

220.181.108.94=220.181.108.94权重首页

220.181.108.97=220.181.108.97权重首页

220.181.108.80=220.181.108.80权重首页

220.181.108.77=220.181.108.77权重首页

220.181.108.83=220.181.108.83权重首页

220.181.108.=220.181.108权重蜘蛛汇总

我们就其中一条分析

123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12 QQDownload/1.7'

根据上面的定义分析:

123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html这句话代表的意思是谷歌蜘蛛在2014年6月24号,15:12:04来我的网站抓取了xingyexinwen/129.html 这么一条URL,然后将其放到沙盒中(123.125.68.45 代表沙盒蜘蛛。)

HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) '至于这个,其中的200是返回码,代表是正常,当然返回码还有301、404、302、304等等一些,可以去查一下代表的意思。其他代表是它访问电脑的属性,swindows操作系统等等。

不知道看了这些,你晕了没有,当然我们一般习惯用exec表格去分析日志,将txt文件导入表格中,能够帮助我们更直观的去分析日志,知道蜘蛛在我们网站上抓取了哪些内容,然后将内容定义为什么。当然还可以利用日志分析软件来分析。

关于更多,也可以搜索MOON虫博客www.croelhui.com,需要我介绍什么,欢迎大家给我留言。

相关文章

标签:

A5创业网 版权所有