蜘蛛抓取

站长看数据的习惯是开统计后台，但统计代码有个天生的盲区：它只能记录带了JS跑起来的真人访问。蜘蛛抓了哪些页面、每次抓返回什么码、什么时候抓得最勤，统计后台一个字都看不到。想回答这些问题只有一条路——翻服务器原始日志。可access.log动辄几百MB，用tail翻到眼花也翻不出个结论。GoAccess就是补这个缺口的工具：直接吃Nginx/Apache日志文件，不开面板后台、不写数据库，一条命令同