robots.txt写错最惨的一种，是里面多了一行Disallow:/，整站被屏蔽，收录唰唰往下掉，自己还以为是搜索引擎出了问题。这种事故每年都在发生，原因往往不是技术难度，而是改文件时随手复制了别人的模板，或者调试时忘了删掉临时规则。下面先说这条底线，再讲怎么自查、怎么恢复。一、这条底线：Disallow:/等于对爬虫关站现象：站点收录几天内掉了一大截，抓取频次归零，页面上什么都没改。原因：在U
A5创业网 版权所有