baiduspider

日志里Baiduspider一天出现两万多次，抓的多是带问号的搜索参数页，爬虫带宽和数据库连接数跟着涨，站长后台的收录数却一动不动。带宽账单和收录曲线朝两个方向走，这件事本身就说明来访的那批客户端有问题。真蜘蛛的抓取是有节奏的，两万次摊在全天各处，不会挤在几个小时里，这件事值得花半小时查清楚。User-Agent只是请求头里的一行字符串，用curl加一个-A参数就能随便写，想写成什么就写成什么。这