ai爬虫

带宽从每月两T涨到六T，访问量没涨。日志里每天的请求数翻了三倍，PV统计却基本持平。两个数对不上，说明有一部分请求根本没被统计代码记到。这类流量多半是只抓HTML、不执行JS的。robots.txt里已经写了禁止抓取，照样来。规矩只对守规矩的生效。拉一份日志下来，按URI后缀分组，一眼就能看出这批请求清一色是页面，没有一条css或图片。这批请求的User-Agent都写着Chrome，看着很正常。