robots.txt技巧

网站收录异常，先翻robots.txt。这个文件权力很大：写错了百度和Google就不抓你的页面，而你未必知道。见过把整站Disallow的，见过把后台路径全列出来的，两种都是事故。User-agent:*Disallow:/admin/Disallow:/tmp/Disallow:/*.pdf$Sitemap:https://www.yoursite.com/sitemap.xml语法要点三条。