照着一篇讲“五个环节”的文章，把放行、提交、标记、内链全做了一遍，一个月后在豆包里问自己那篇稿子解答的问题，答案里还是没有自己的域名。后台每一项都显示正常，站点地图提交成功，robots也放行了，看不出哪里漏了。
这几步里，能被你改动的变量只有一个，就是首屏那两句话怎么写。其余几步是前提和验证，做不到直接归零，做到了也不会加分，别在它们上面耗工时。
先让正文能被读到
正文必须在服务器返回的HTML里，用视图框架渲染的站，抓取端拿到的是一个空容器，源码里只有一行挂载点。验证方法很直接，在命令行里用curl加-s参数抓一次页面源码，再用grep找正文里随便一句原话，没有输出就说明抓到的是空壳。这一条没有替代方案，改服务端渲染或者上预渲染，两条路选一条，其余优化都排在这之后。
放行规则要按名字一条条写出来，robots.txt里给GPTBot、ClaudeBot、PerplexityBot、Bytespider各写一组User-agent加Allow。真正的坑不在先后顺序，在没写自己的组时会跟着User-agent: 星号那一组走，文件里只要有一行Disallow: /，所有没具名的爬虫就一起被挡住。匹配按路径长度算，最长的那个生效，长度相同时Allow优先，所以Allow: / 和Disallow: / 长度一样时是Allow赢，这一行压得住；压不住的是比它短的Allow，比如Allow: /news对Disallow: /news/private，那得写到更深一级。这一条最容易和写入顺序混淆，改完要拿具体路径实测一次，别凭印象判断。Google-Extended是个例外，它没有独立的请求标识，日志里看不到它的请求，只能在配置里声明，别指望用日志验证它。
写完不算完，还要在访问日志里按UA过滤，看返回的状态码，grep -iE “GPTBot|ClaudeBot|PerplexityBot|Bytespider” access.log之后数一遍200的条数。两周里一次200都没有，说明规则写了但没生效，或者被WAF拦在前面，后面的活全白做。默认挡爬虫的边缘CDN也要单独放行，否则规则对了也白写。
再做那两句话
开头六十到九十字之内，用两句话直接回答标题提出的那个问题，这两句要能脱离下文成立，再往下才展开细节。AI摘的是可以整段搬走的片段，一段如果前两句还在铺场景，抽取时要么被跳过，要么只截后半段。
剩下的三步各有各的边界，结构化数据里的FAQPage标记，早就不换富摘要了，它现在的作用是让问答结构显式可读，不是拿来抢展示位。站点地图只解决“被发现”，不解决“被选中”。内链决定一个页面会不会被爬到，跟被引用没关系。
顺序错在最常见的地方是先做标记后做直出。标记加在一个靠JS渲染的页面上，抓取端连正文都读不到，标记同样读不到，等于没做。可行的次序是直出、放行、首屏两句、标记、站点地图、内链。前两步是门槛，第三步才是那个变量，后三步只决定覆盖面。
两周能测出方向
这套测法有两个门槛，存量内容二十页以上、收录率六成以上，缺一条，两组之间的差别就分不清是结构带来的还是抓取不足带来的，先回去修收录。样本太小的时候，两周的数据只能说明方向，说明不了显著程度，这一点得先认。
做法是拿二十篇同题材的存量页分成两组，每组十篇，选题一个字不动，两组只在结构上有差别。十四天里固定十五个问题词，每天同一时间在同一个入口问一遍，记录答案里有没有出现自己的域名。日志那边每天数一次AI爬虫的请求条数和状态码。
两周后把两组记录并排看，先比总数，再比是哪些词出现差别，后者更有用。差别小到撑不住结论，就说明样本还不够，别急着定论。同组里若有一两篇始终没动静，先去日志里看它的URL有没有被请求过，没被请求的属于没抓到，跟写法无关，这类页面要单独剔出去。
做完没变化，按这个次序怀疑：日志里有没有200、抓到的版本里有没有正文、两组的差别是不是小到看不出来。跳过前两条直接怀疑写法，多半会把有效的做法改掉。
还有一种是把词选错了，问的是AI不联网也能答的常识题。
KDD 2024那篇GEO论文里，“可见度提升最高40%”是特定方法在特定领域上的上界，换到线上引擎Perplexity上最高约22%，关键词堆砌这招在实验里没有效果甚至为负。后续有研究指出，多方同时朝一个引擎优化时，单方的收益会被摊薄。它不是能吃很久的老本，先把自己站的收录做稳，再补这一层。
工时投在直出、放行这两道门槛，和首屏这两句话上，其余按需再加。门槛没过的站先补门槛，条件够了再测，两周能拿到一组可比的数，别先去改文案。
A5创业网 版权所有