抓取规则

robots.txt只有几百字节，写错一个字符的影响比整站改版还大。最常见的错法是想禁止一个目录，写成了Disallow:/，只有一根斜杠。这一行等于告诉所有爬虫：整站都不要抓。想禁目录，斜杠后面必须带路径，比如Disallow:/tmp/。想禁单个文件，就写完整路径。另一个高频错误是冒号用了全角，或者行首多打了空格。爬虫解析失败时，有的按无限制处理，看起来没挡，有的会把这条当成无效。结果就是从某