robots.txt别乱写：放行了不该放的，拦住了该来的

网站收录异常，先翻robots.txt。这个文件权力很大：写错了百度和Google就不抓你的页面，而你未必知道。见过把整站Disallow的，见过把后台路径全列出来的，两种都是事故。

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Disallow: /*.pdf$
 
Sitemap: https://www.yoursite.com/sitemap.xml

语法要点三条。User-agent按机器人区分规则，星号对所有机器人生效，写在最前；Disallow一行一个路径，末尾斜杠代表目录；支持通配符星号和美元符，美元符表示精确结尾。Sitemap单独一行，全大写S，能让搜索引擎更快发现你的站点地图。

两个大坑。第一个坑：用robots.txt挡私密页面。它只是君子协定，正规搜索引擎遵守，爬虫和攻击者照样抓，等于把后台路径主动广播。私密内容要靠鉴权，不是靠robots。第二个坑：Disallow了被外链引用的页面，抓取器还会因为外链看到URL，robots不让抓但又出现在结果里显示成无描述的条目，这种半死不活的状态最伤展现。

验证方法：Google Search Console的robots测试工具、百度站长平台的robots检测都能逐行解析。上线前测一次，改版后再测一次。这文件总共十几行，值得你逐字看一遍——它可能是全站权重最高的纯文本。