ai爬虫

关于AI爬虫，站长的处境有点尴尬：能看到的说法是“它们在抓你的内容、不给回流量”，但自己站上到底来了多少、抓了哪些页、有没有因此损失带宽，多数人答不上来。答不上来的直接后果是要么什么都不做，要么一刀切全拦掉。而第二种做法的代价比想象中大——拦掉搜索类爬虫，你自己也就从AI给出的答案里消失了。要判断该不该拦，先得把“谁来了”这件事看清楚。Cloudflare提供了AI爬虫管理功能，它把AI相关的访问