gptbot

robots.txt里加了两行，User-agent写GPTBot，Disallow写一个斜杠，按robots的约定，训练语料那条口子就关上了。加完第二天，老板问了一句，AI搜索里是不是也看不到我们了。这两件事在robots里是分开管的。OpenAI官方公布的名字里，GPTBot用于抓取训练语料，OAI-SearchBot用于搜索展示，ChatGPT-User是用户当场触发访问时才来，三个名字管三