怎样减少雅虎搜索对网站发出的请求

时间:2008-12-24

由于雅虎搜索对于网络抓取采取大量系统,因此,我们的网络服务器会从不同的YST(雅虎搜索技术)抓取程序的客户端IP地址登录请求。不同的抓取程序系统彼此配合,来限制任何来自单一网络服务器的活动。所谓单一网络服务器,是由IP地址判断的。因此,如果我们的服务器主机拥有多个IP,它的活动则会处于更高的级别。

YST有一个特定的扩展名,在我们的服务器根目录下的robots.txt里可以应用,通过它可以对雅虎搜索的抓取程序设定一个较低的抓取请求频率。可以在robots.txt里加入Crawl-delay:xx的指示,其中,“xx”是指在crawler程序两次进入站点时,以秒为单位的最低延时。如果crawler频率对我们的服务器是一个负担,我们可以将这个延时设定为任何恰当的数字,例如50或200。

例如:我们想要设定一个5秒的延时,可以在robots.txt里加入以下语句 :

User-agent: Slurp

Crawl-delay: 5

也可以设定更长时间的延时,在此网智成不再赘述。

相关文章

标签:

A5创业网 版权所有