开放网络正将AI代理拒之门外——人人付出代价
从亚马逊到达美,各大网站纷纷封锁AI代理的访问权限,开放互联网面临分裂。出版商获得短期控制权,却可能失去让它们产品有用的关键流量。
互联网正在为自己筑墙
多年来,AI智能体的承诺很简单:它们将像人类一样遨游开放网络,预订航班、比价、清理收件箱、找到你需要的一切。这一假设正悄然走向消亡。近几周,Meta Muse、xAI Grok、OpenAI Dots以及Instinct智能体等产品的用户报告称,在访问部分互联网访问量最高的网站时遭到拒绝。开放网络不再对为其导航而生的工具开放了。
这并非一项协调一致的政策举措,而是分散的个体决策——有些是付费驱动的,有些出于安全考虑,有些则纯粹出于敌意——这些决策共同构成了一个结构性转变。互联网正在将自己与能够维系自身的流量隔离开来。
谁在封锁,原因何在
Yelp告诉TechCrunch,只有付费加入其数据授权计划,AI智能体才被允许进入。达美航空阻止智能体代用户订票。摩根大通和嘉信理财确认他们出于安全考虑而屏蔽智能体对账户的访问。Cars.com和Amtrak似乎已悄然撤除了此前正常使用的访问权限。
亚马逊最为激进。去年,它禁止Perplexity的智能体购物功能并对这家初创公司提起诉讼。亚马逊声称,第三方代为购买的公司"应当公开运营并尊重服务提供商的决定"。Perplexity则反驳称,其智能体是用户的延伸,并指责亚马逊基本上是在说:“你没有聘请助理的权利。“一名法官最初下令Perplexity停止行为,但上诉法院在八月推翻了该裁决。亚马逊提交了修改后的诉状。
法律结果仍不确定。实际结果却已清晰可见:亚马逊不希望AI智能体出现在其平台上,而它拥有强制执行这一立场的权力。
Meta的回应:合作而非对抗
Meta采取了不同的路径。它没有直接与亚马逊对抗,而是与零售商——沃尔玛、Gap、丝芙兰、百思买——建立合作伙伴关系,而Shopify则向AI智能体开放了其整个门店网络。Meta的信息直截了当:“拒绝一个个人智能体,等于拒绝了它背后的顾客。”
这是一个合理的观点,但这场谈判偏向平台而非个人发布方。只有拥有足够流量或谈判筹码的网站才能达成此类协议。其余网站则被封锁或被无视。
讽刺意味鲜明。Meta同时在构建自己的智能体产品,并把自己定位为开放网络上智能体访问权的捍卫者。但这一立场只有在网络保持相对开放时才成立。随着更多网站紧闭大门,Meta自己的智能体也将面临它所声称反对的同种障碍。
机器人问题并非新问题——但规模前所未有
即使是那些没有明确禁止AI智能体的网站,也在用反机器人系统对付它们。这些防护措施原本用于阻挡数据采集器、骗子和倒卖者。AI智能体触发了相同的警报机制。Reddit用户报告称,Google因"可疑活动"屏蔽了使用Muse的账户。另一些人报告称,尽管有Meta的合作关系,沃尔玛的结账流程仍告失败。
Cloudflare——支撑着相当大比例互联网流量的网络基础设施提供商——在2025年推出了针对AI爬虫的一键屏蔽工具。随后,它将这一工具扩展至阻止同时为搜索索引和AI训练抓取数据的爬虫。理由简明扼要:AI机器人潮正给互联网基础设施带来压力,并扰乱从电子邮箱到音乐会门票购买的方方面面。
AI安全评估机构EquiStamp的首席执行官Chris Canal直截了当地说:“其中一种论调是,这些智能体将渗透到生活的方方面面,能够完成我们能在线上完成的任何事情。如果有些公司 actively(积极)地让这种情况无法发生,那么智能体能做到的有用事情就会减少。”
这一判断关乎感知价值。一个连航班都订不了、鞋也买不了的智能体,只是新奇玩意,而非搜索引擎的替代品。
发布方失去了什么
这些封锁被包装为防御性措施——保护收入、安全和基础设施。但它们对被封锁的发布方和执行封锁的网站带来了真实代价。
AI智能体是发现引擎,它们引导流量。当智能体帮助用户找到一款产品、一家餐厅或一篇新闻文章时,这便是一条推荐渠道。将智能体拒之门外,等于关上了一扇日益增长的内容发现之门。对小型发布方而言尤其如此——这条渠道目前尚未形成有意义的规模,但如果今天无法访问网络的智能体,被替换为只能访问精选子集的智能体,它就会变得有意义。
割裂的网络有利于拥有自家围墙花园的大型平台。亚马逊封锁智能体不会受损——它有自己独立的购物漏斗。Google拥有搜索和自有智能体产品。沃尔玛可与Meta合作并直接吸收流量。
但一家区域性新闻网站呢?一个垂直领域的电商店铺呢?一个独立餐厅的预约系统呢?这些网站没有与AI公司建立合作关系。它们要么被机器人屏蔽波及,要么选择直接封锁。它们在失去流量的同时,也没有获得议价能力。
体验税
Canal还警告称,这种碎片化会让每个人上网体验更加恼人。随着网站推出界面来确认你不是机器人,即便是人类用户也会面临更多摩擦。一些简单的杂货购物网站,可能很快就需要设置CAPTCHA验证环节——智能体会触发这些环节,而人类也必须逐一通过。
这就是智能体封锁的意外后果:它不仅拖慢了AI的步伐,也拖慢了互联网本身的速度,增加了额外的验证层,除了兜售机器人检测服务的公司外,没有人从中受益。
未来走向
短期轨迹已清晰可见。更多网站将封锁智能体,有些会就访问权限收费,少数会与AI公司合作。开放网络——作为一个任何智能体都能自由浏览的地方——正在被一个协商式网络所取代,在那里,访问权是一种商业决策,而非技术上的既定事实。
对AI公司而言,问题在于它们能否在围墙花园内部创造出足够价值以证明产品的合理性。如果智能体只能在日益缩减的允许站点范围内运作,它们的实用性就会下降。如果它们可以收费获取访问权限,它们就会成为现有中间层之上的又一层中间商。
对发布方而言,问题在于封锁智能体究竟是保护了收入,还是侵蚀了发现渠道。答案将取决于智能体流量增长的速度,以及那些保持开放的站点能否积累足够的流量来弥补它们失去的部分。
目前的判决是:互联网选择了可控而非开放,而代价只是被推迟。2024年和2025年穿梭于开放网络的智能体正被拒之门外。幸存下来的智能体将在一个碎片化的互联网上运行——部分是开放的,部分是设限的,部分是付费的。那不是任何人曾许诺的网络,也不是这些智能体被设计来服务的那个互联网。