你大概见过这个词:llms.txt。说法的样子很诱人——在网站根目录放一个Markdown文件,把重要页面和内容简介列清楚,AI来了就能快速读懂你的站。听起来跟当年给搜索引擎放sitemap一样顺理成章。问题是,这个类比从一开始就不太成立,而被类比的那一方自己出来说话了。这也是新概念常见的命运:先被讲成一个必需步骤,再被官方一句我们用不上轻轻带过。而中间那段时间,所有人都在为它做无用功。
它被提出时的动机是合理的。传统爬虫抓的是HTML,标签多、噪音多;如果站点主动交出一份结构化的说明,模型的解析成本会低很多。所以有人提议仿照robots.txt的位置、换成更易读的Markdown格式,专门给AI准备一份站点导览。想法本身没错,问题出在它假定的那个前提上。值得注意的是,提出这类方案的往往不是搜索引擎本身,而是做优化服务的一方。这就带来一个问题:一个标准,如果主要推动者是卖服务的人,那它是否会被真正使用,就得打个问号。
它想解决的那个问题,未必真的存在
那个前提是这就出现了一个错位:它想补的是一个可能并不存在的短板,而真正决定内容能不能被引用的那几件事,一份摘要文件都触及不到。“AI读不懂HTML,需要你喂”。而现实是,主流模型对网页的理解能力早就够用,它能从一篇结构正常的页面里自己判断哪一段在讲什么。你额外递一份摘要,改善的边际很小,因为瓶颈从来不在读不懂,而在够不够格被引用。前者已经解决了,后者靠文件解决不了。
有跟踪研究提过一个组合数据:这类文件的数量在短时间内涨了很多倍,但真正被AI爬虫读取的比例极低。写的人越来越多,读的人没跟上,这通常是一个标准还没有被任何一方真正采纳的信号。它被创建的速度,远远快于它被使用的速度,这中间的空档就是热度和实效的差距。这个数据还有一个角度可看:写的人多,说明这件事在圈子里传播得广;读的人少,说明真正决定内容去哪里的那些系统,暂时不认这份文件。热度和实效在这种情况下是完全脱节的。
写了到底会不会被读走
官方口径最直接。Google在自己的生成式AI优化指南里写了:不需要为了在Google搜索包括其生成式AI功能中出现,而专门创建这类文件,因为Google搜索本身并不使用它们;如果你为其他会读这类文件的服务或系统创建并维护它们,完全没问题,它既不会损害也不会提升你在Google搜索中的展示效果或排名。既不会损害也不会提升,就是忽略的同义词。
但也别把它理解成完全没用把这两句放在一起看,官方的态度就很清楚了:它不反对你写,只是告诉你别指望它。。注意措辞的边界:Google说的是自己不用,不是所有地方都不用。确实有一些团队和工具会读这份文件,把它当成站点内容的快速索引。所以结论该分三层:对Google搜索没有影响;对少数会读它的系统可能有帮助;对提升AI时代的可见性这件事,没有可以依赖的证据。那为什么还有人坚持做?一部分原因是它确实显得专业,另一部分原因是它成本低、好交付。但低成本和低价值经常同时出现,判断的时候别把容易做当成应该做。
那还要不要留着
算一下成本收益这个判断方法,对以后出现的各种必备配置同样适用。。维护它并不贵,一个静态文件放上去就完事。如果你已经有它,留着无妨;如果你还没有,它能带来的确定性收益很小。真正需要警惕的是心态:一旦把它写进必做清单,你会以为做完这一步就有了进展,从而不去做那些真正影响可见性的事,比如把页面的内容写得更具体。
更该花时间的还是内容本身。官方那份指南反复强调的,仍是有没有超出常识的独家信息、页面能不能被正常抓取和索引、结构清不清楚。这几件事既影响传统搜索,也决定你在AI场景里能不能成为被引用的那个来源。它们慢、不新鲜、不像技巧,但它们是真正起作用的那一类。而且更该做的那部分,恰好是无法外包的:你对自己的站点最了解,知道哪些内容是真的有独家信息,哪些只是把公开资料换了个说法。这份判断,任何一份自动生成的文件都替代不了。
以后再遇到一个新文件格式、一个新缩写,先问三件事先分清哪些动作真的影响结果,哪些只是让人心安。:谁在读它、有没有官方口径、不做会怎样。这个词在这三个问题上的答案分别是读写方很少、官方明确说不用、不做也不影响。它不坏,只是被讲得太重要了。把注意力从要不要写这个文件,挪回我的内容凭什么值得被引用,方向才算对。顺带说一句同类现象:每当有新的必做清单出现,先回头看历史上类似的清单现在还剩几条在用。多数最后都会被淡忘,留下来的往往还是那几条朴素的原则。
A5创业网 版权所有