有不少站长遇到网站攻击了,就习惯性的去屏蔽IP地址,尤其是访问量比较大的网站,更是如此。但是你知道IP屏蔽,会为网站带来的苦果吗?今天就用一个实际的例子来看一下。
笔者这里近期诊断了一个千万级别收录的网站,在诊断后的3天,收录突然暴增300W。但是,这些收录的增加真的是好事情吗?第二天,网站的流量下降了2W-3W,原因是什么呢?收录的链接,全部都是robots.txt已经屏蔽了的动态链接。
百度蜘蛛不遵循robots.txt协议吗?
常有站长说,百度蜘蛛不遵循robots.txt,屏蔽了的内容弄还是去抓取。事实上不排除偶有这样的例子,但是基本上重新更新robots.txt就会得到解决。那么解决不了,还会是什么原因造成的呢?今天,我这里就透露一个小的秘密:网站有robots.txt,但是蜘蛛访问不到robots.txt文件,你信嘛?
或者说,第一次检测更新可以实现正确的更新,但是继续点击更新就又失败了,继续点击的话,还是这样的反复,让人摸不到一点规律,百度只是反复的提示403错误。最终是怎么解决的呢?就像开头标题说的一样:IP屏蔽错误,导致了蜘蛛无法识别robots.txt,你的网站是否也犯过这样的错误呢?如果你进行了IP地址的屏蔽,请检查一下是否包含了
如:123.125.68.* 220.181.68.* 220.181.7.* 123.125.66.* 121.14.89.* 203.208.60.* 210.72.225.* 125.90.88.* 220.181.108.* 123.125.71.* 59.226.50.* 25.90.88.* 61.135.162.*
上述IP为网络其他资源查找,如有不完善的地方,相关朋友可以联系我进行添加,也为更多的站长指路。
网站适合大量的屏蔽IP段吗?
除了上面的这些IP段,其他的IP就可以随意的屏蔽了吗?友情提示:如果确定某个具体的IP在持续攻击,建议进行屏蔽,如果是泛滥类型的,屏蔽也没有效果,一不小心,还会屏蔽了更多的蜘蛛,如360的好搜:
101.226.166.* 101.226.167.* 101.226.168.* 101.226.169.* 182.118.20.* 182.118.21.* 182.118.22.* 182.118.25.* 182.118.35.* 61.55.185.* 180.153.236.* 182.118.26.110 ~ 182.118.26.239
上面为官方公布的IP段数据,如果站点有屏蔽,一定要注意了,另外还有有更多的如神马搜索等一系列的搜索引擎,虽然占比都不如百度,但是任何一款搜索引擎,排名若达到的足够高了,流量同样是不容忽视的!
那么,遇到攻击不做IP屏蔽要怎么解决呢?红橘子博客(贺贵江)推荐的是:阿里云CDN、腾讯云CDN、百度云加速,都是可以解决的。顺便说一下,腾讯云现在还有半年的新手试用,不过阿里云的品质,也是众人皆知的,百度嘛?前几个月不是很稳定,现在还好。
网站信息不收录,排名低,网站被降权?各种问题皆有可能,如果你不只是玩玩而已,或者多勤奋好读,或者交给我们来做SEO诊断:,相信你会受益匪浅,SEO?A5更专业!想了解我吗?百度一下。
A5创业网 版权所有