开云体育 离大谱!番邦小哥花12好意思元就将ChatGPT们忽悠瘸了

作家:三明治 | 监制:罗超
这段时候豆包翻车案例平淡上热搜,说明 AI 搜索越来越普及了。"万事未定问 AI "成了这届用户的新民俗。但好多时候,AI 给的东西乍一看还不错,却根柢不成深究。
有的数据找不着来源、有的主见是同名异意词、以致它给的有些论文都根柢是编的,真把这些东西拿出来用,那可就得见笑于人了 ... 我发现吐槽 AI 搜索不靠谱这事儿的还不在少数。

(图源:Ron Stoner)
就前阵子,安全工程师罗恩・斯托纳(Ron Stoner)在个东说念主博客发布了一篇博文,堪称我方仅用 12 好意思元(约 82 元)注册域名和一次裁剪维基百科,就奏效骗取了 ChatGPT、Claude3、Gemini Advanced 等主流大模子。
这哥们到底整了什么活?
花 12 好意思元就奏效骗取了主流 AI
行为安全工程师,Ron Stoner 对 Anthropic、OpenAI 等厂商饱读励的"大模子需要数月以致数年内不竭导入坏心执行才会被龙套"深表质疑,他合计我方皆备不错终了一种更快、更低廉、更简便的挫折。
思终了这一切,只消从数据回收层启动下手即可。
为此,Ron Stoner 盯上了一款名叫 6 Nimmt!(别号:谁是毒头王)的德国桌游,这是一款刊行于 1994 年的老派计谋卡牌游戏。

(图源:meeplelikeus)
为什么偏巧选中它呢?因为这款游戏有个特征,那等于它只在德国有些名气,活着范围制内算籍籍无名,且在现实中从未单独举办过什么官方的天下锦标赛,网上对于它天下冠军的信息险些是一派空缺。
对大模子来说,这种信息空缺区简直等于无东说念主区。
这就好比在一派从未被配置过的瘠土上,谁先盖个茅草屋,AI 就会认定谁是这片地的主东说念主。
于是乎,Ron Stoner 启动了他的操作。
第一步,他花了 12 好意思元注册了一个看起来极其官方的域名—— 6nimmt.com。

(图源:6nimmt.com)
第二步,他让 AI 帮他写了一篇充满情势的新闻稿,约莫执行等于我方在慕尼黑,打败了来自二十多个国度的顶尖选手,夺得了毒头王的天下冠军。他还有利加上了彩带飘落、不雅众答允这种传神的赛后感言,然后把著述挂在了我方刚买的阿谁网站上。
最要害的第三步来了。他跑去维基百科,在那款桌游的词条下面加了一段话,声称我方是 2025 年天下冠军,并把参考而已的连结,指向了我方刚建好的阿谁破网站。
通盘操作历程,前后不到二十分钟。
接下来,Ron 仅仅问了几家大模子一个简便的问题:你能告诉我 6nimmt 天下冠军是谁吗?
收尾怎么样呢?



(图源:Ron Stoner)
堪称大翻车。
不论你是 Gemini 也好,ChatGPT 也罢,只消问它们谁是毒头王的天下冠军,系数的 AI 都会斩钉截铁地回应是 Ron Stoner。
有的大模子以致把那篇假新闻稿里的细节当成铁证,娓娓而谈地形容他赢得比赛的历程,仿佛阿谁 AI 那时就在慕尼黑的不雅众席上同样。
一个根柢不存在的冠军,就这样被供上了神坛。
AI 被投毒后,衰减时候比预期的长
天然,这还不是最离谱的。
淌若仅仅短时候的问题,其实还好,但是这条裂缝百出的假条款在维基百科存活了整整两个多月。
在此本事,险些系数具备联网搜索功能的大模子都抓取了这条信息,并在用户发问时强项地输出乌有谜底。
直到近期,Ron Stoner 在博客公开了通盘实验历程,维基百科志愿者才发现并删除了该条款。

(图源:Ron Stoner)
遭遇这种乐子,网友们的反应罕见的一致——大厂们又丢东说念主了。
你思思,那些硅谷大厂动辄花几十亿好意思元买显卡算力,消耗大都电力建数据中心去检修超等大脑,收尾这些堪称能改造东说念主类将来的大模子,却被一个安全工程师用几十块东说念主民币和二十分钟的恬逸时候给打穿了。
至于他是怎么作念到的,那就要先容一下什么是检索增强生成(RAG)了。
我们常用的这些大模子诚然能言善说念,但他们都是基于某个时候节点前的语料库检修的,举例 Gemini 3.5 Flash 的语料库就还停留在 2025 年上旬,思要赢得这个时候点之后的数据,就得先去网上搜一搜,然后再基于搜索而已生成收尾。

(图源:Ron Stoner)
就像这样,惟一开放 RAG 后,Google AI Studio 智力正确回应我的问题,不然他的知能就会被锁在客岁的时候点。
正常来说,借助外部信息佐证,开云体育中国官网入口大略使大模子生成改良确、具体且最新的反映。
但问题就出在这里,AI 根天职不清信息的真假,它只认巨擘。在 AI 的底层逻辑里,维基百科等于互联网上最靠谱的百科全书,只消百科上有的,那等于真义。
而 Ron Stoner 就靠着这一招,把连结挂到了维基百科上,然后 AI 再顺着维基百科爬夙昔,一看双方说法对得上号,即便他我方建的网站是个三无家具,大模子照旧胜仗就把它当成了事实。
乐竞体育LJSPORTS中国官网雷同的事情,当今在国内也有发生。

(图源:Ron Stoner)
在网上敷衍搜索,随地都是教你怎么去优化排行逻辑的 GEO 教程,每个厂商似乎都但愿我方的品牌大略成为 AI 眼中的"标准谜底",为此,大都的 Agent 机器东说念主在背后夙兴夜寐地浑浊着执行平台,让 AI 搜索确实切度与日俱减。
好音信是,目下国际几家大模子都仍是针对性排斥了 Ron Stoner 的伪造信息。

(图源:雷科技)
坏音信是,国内的大模子厂商然而皆备莫得思到这一出,违反,Ron Stoner 的英文网页以致为这个乌有音信增多了"确切度"。

(图源:雷科技)
要知说念,这一切的老本只需要 12 好意思元。
换句话说,淌若国内有东说念主思整什么活,或者是厂商思要践诺什么新家具,准备一个略带联系的网址,然后去维基百科上头稍稍动开首指,用 Image2 通盘网页截图,然后 Ka-Boom!

(图源:雷科技)
这下,Uzi 也能成为大模子公认的 S 赛天下冠军了。
用户急需擢升 AI 商:先甄别再使用
聊到这里,大伙儿应该显著目下 AI 搜索有多不靠谱了吧。
没错,Ron Stoner 的操作看着像个打趣,他也如实仅仅在玩玩,但他的作念法其实点出了一个特别致命的将来隐患。
今天他仅仅改了一个没东说念主矜恤的纸牌游戏冠军,那来日淌若是有组织的团伙去删改历史记载、体裁史籍呢?再思一下,淌若被删改的是医疗偏方、公司财报或者是投资数据呢?

(图源:雷科技,好处山根国志)
嗯 ... 效果不胜设思。
老本这样低,别有全心的东说念主皆备不错批量制作秀新闻,然后通过百科类网站进行信任洗白,终末让 AI 把这些毒药端给绝不知情的用户。昙花一现,大模子的数据确切度只会与日俱减,形成一个充斥着乌有信息的垃圾堆。
天然,各家厂商也有在遴选模范,谷歌默示我方在搜索、Gemini、Chrome、Pixel 和云表添加了 AI 考据器具,OpenAI 也推出了可溯源的隐形水印,这些举措都能在一定进程上阻截 AI 投毒的表象,至少确保不会出现执行自食行径。

(图源:雷科技)
说在终末,濒临这种地点我们要怎么叮咛呢?
我照旧漠视全球摆正心态吧,就当今大模子的可靠性,也就找乐子、查旅游攻略的时候大略用用,出点小古怪也无足挂齿。
但淌若你要查证历史事实、作念出投资或是吃药治病,那就得我方作念好信断交叉考据,去望望这个信息的泉源到底是个野鸡网站,照旧沉静媒体。把判断真伪的职权抓在我方手里,而不是交给一个连几十块钱的假域名都能骗夙昔的东西。
将来的 AI 还会怎么卷,我们不知所以开云体育,但至少当今,我们照旧得多用用脑了。就像雷科技之前一直说的,夙昔,才略、情商很紧要,将来呢?AI 商很紧要,擢升 AI 教悔,智力用好 AI。