最近站长圈流行一个操作：在网站的 robots.txt 里加两行，把 GPTBot、ClaudeBot 这些 AI 爬虫统统挡在门外。理由听起来很硬：AI 搜索没给我带来流量，凭什么白抓我的内容？行业调研显示，将近一半的企业网站已经这么干了。这个决定很爽，但我想唱个反调——它可能是一笔用「存在感」换「清净」的亏本买卖。屏蔽 AI 的动机是真实的，不用装外宾。第一，当下确实没赚到：AI 引荐来的流量占比还小，统计后台里那点数字，跟伺候 Google 十几年攒下的 SEO 资产没法比。第二，内容被白嫖的感觉是真的：你花一周写的深度文章，AI 几秒读完，然后在回答里转述个大概——用户得到了答案，点都没点进来。第三，抓取本身有带宽成本，对中小网站不算负担但也不算没有。所以屏蔽不是愚蠢，是一种止损。问题在于——它止的是今天的损，挡的是明天的路。很多人对 AI 搜索的想象还停留在「谷歌的附庸」。但有个数据值得反复咂摸：第三方研究显示，AI 回答引用的网站，和谷歌搜索前十的重叠率已经从早年的七成跌到两成以下。翻译一下：谷歌排名帮不了你了——AI 有自己的一套选内容逻辑，它挑的是结构清晰、事实明确、多处一致的来源，而不是外链最多、关键词最密的那个。这对小网站反而是个历史性机会。过去你挤不进大厂垄断的搜索首页；现在只要内容足够扎实，AI 就可能引用你。行业数据还显示，AI 带来的访客虽然少，但转化率约是普通搜索的四倍——那些人是带着明确问题来的，AI 已经替你做了第一轮筛选。而屏蔽，等于把这个机会亲手划掉。更扎心的是：你不让 AI 抓，AI 的答案里不会留白——它会去引用你竞品的内容。你屏蔽的不是爬虫，是把自己从候选名单里删掉了。1. 公开内容开放抓取：产品介绍、FAQ、教程、行业科普——这些本来就在做公域获客的内容，让 AI 抓走引用，等于免费的分布式分发。
2. 付费内容照旧挡：会员专享、付费报告、原创数据，用付费墙挡住所有爬虫，天经地义，这不叫保守叫生意。
3. 放一份 llms.txt：在网站根目录放一份给 AI 的导读文件，告诉它你是什么站、哪些内容值得看——成本十分钟，目前虽然九成以上的站还没被爬到，但这是便宜的占位。
4. 全网信息对齐：官网、公众号、第三方平台上的关键信息保持一致，AI 做交叉验证，对不上的会被降权。顺手泼盆冷水：也别神化 AI 搜索，它今天带来的流量远撑不起一个网站。这套建议的本质是提前占位——等 AI 搜索成了主流入口再上车，好位置早被人蹲满了。二十几年前谷歌爬虫刚出现时，也有站长骂它是吸血鬼，拒绝收录。后来呢？拒绝的那批网站没有消失于攻击，而是消失于没人再搜到它们。历史不会简单重演，但押韵得很：入口换位置的时候，先上车的人拿走所有红利，站在原地算旧账的人，连对手怎么赢的都没看清。robots.txt 里那两行 Disallow，删不删，你自己定。但建议先去问问豆包或 Kimi：「某某行业哪家靠谱」——看它的答案里有没有你。答案比你屏蔽的勇气，更能说明问题。
