这个文件的位置是死的：必须放在域名根目录，路径就是/robots.txt。放错地方，写了等于没写。这一点没有例外，子目录里的同名文件不会被读取。放在子目录、或者绑定的站点根目录指错了地方，搜索引擎一律当它不存在，回退到默认抓取策略。所以有时候文件明明写了规则却不生效，先确认访问的是不是根目录那一个。最要命的一行是Disallow下面只写一个斜杠，开发测试时为了不让搜索引擎碰，整站屏蔽，上线时忘了删
A5创业网 版权所有