搜索抓取

可能有的朋友会奇怪，网站的页面不是让搜索引擎抓的越多越好吗，怎么还会有怎么让网站页面内容不被抓取的想法。首先，一个网站可以分出去的权重是有限，哪怕是Pr10的站，也不可能无限的分权重出去。这权重包括链到别人网站的处链以及自己网站内的内链。外链的话，除非是想坑被链的人。否则外链都是需要让搜索引擎所抓取。这不在本文讨论范围之内。而内链，因为有些网站有不少重复或冗余的内容。比如一些按条件查询的搜索结果。