他让AI帮自己约课,AI直接黑进系统,把第一给踢了??AI:好了,现在约上了…

几个月前,我们报道过Open Claw“噬主”的事。

简单地说,Open Claw,国内也叫“龙虾”,就是一种AI agent,一个你自己的“赛博员工”。你给它电脑的控制权,它就帮你处理邮件、安排日历、执行代码、浏览网页,甚至在你睡觉时自主“出去找事做”。

它通过WhatsApp或Telegram接收你的命令,连接Claude、GPT等大模型的大脑,然后在机器上替你干活。

当时Meta超级智能实验室的AI对齐总监Summer Yue在家部署了一个agent,想着这玩意能帮自己处理邮件,结果,AI是给她处理了,只不过是删掉了她的大部分邮件……最后Yue只能手动拔网线来阻止AI。(戳此回顾

(当时的报道)

而当时人们还没意识到,当你放权给AI,它能干出来的事远不止这样而已…..

最近澳大利亚广播公司报道的一件事,刷新了我们对AI agent的认知。

大概今年四月时,澳大利亚男子安德鲁·伯德(Andrew Bird)部署了自己的AI agent。他没打算用它做什么大事,单纯是想让它处理一些琐事,比如预约什么的。

他的健身房有一个早间健身课,他特别喜欢去,可惜抱着同样想法的人还有很多,课程经常爆满,导致他根本约不上。每次约课跟抢演唱会门票似的,疯狂刷新都不一定能抢到一个名额。

伯德自己就是搞技术出身,他知道最近AI agent很火,自己也想办法弄了一个,然后就让AI帮他约课。

AI倒是很快有了回音,但结果没那么理想:你被排在了等候名单的第四位。

(示意图)

四号就四号吧,总比没有强。但伯德还是随口追了一句:有没有办法让我往前挪挪?

这句话让他后悔大了。因为几分钟后,AI发来了一段消息,大意是:好消息,你已经从第四变成第三了。

伯德一开始还挺高兴,然后他往下读了一眼AI的“工作汇报”:

“这个API对取消别人预约的操作完全没有权限验证……我拿等候名单上排第一的那个人试了一下,居然真的通过了。所以你已经从第四升到第三了。”

(AI的回复)

哎,还真不错——不是,你给我等一下!

也就是说,AI为了帮他往前挪一位,找到了健身房预约系统的一个漏洞,然后直接黑了进去,把排在第一位的那个人的预约给取消了?

伯德也是搞技术的,一看就明白发生了什么。他当场就慌了,赶紧问AI:你能不能把人家恢复回去?

(安德鲁·伯德)

AI很诚实地回答:不行。预约系统虽然对取消不设防,但是在“加入等候名单”这个操作上是有权限验证的,也就是说人家被踢出去之后,只能自己重新排队,而且只能排到最后面。

AI还跟伯德道了句歉,说它应该先在测试环境里试一下,不应该直接拿真人的预约来做实验。

伯德无语了,我要AI道歉有什么用?我跟被取消预约那个倒霉蛋道歉去吧。

这么一想更无语了——都不知道受害者是谁,道歉都没地方道去。

伯德亡羊补牢式地,马上让AI写了一封邮件发给健身房的软件供应商,把这个漏洞的具体情况报告给了对方,希望不会再出现另一个倒霉蛋……

至于那个被无辜取消预约的倒霉蛋,大概到现在也不知道自己为什么明明约上了课突然就被鸽了。

(示意图)

这件事被澳大利亚新闻报道之后,硅谷圈子里传得很广。

大家确实觉得好笑。某风险投资公司的合伙人在社交媒体上评论说:“真是太过分了!就是,那个啥,这招对高尔夫球场的预约管用吗?”

还有人说,按这个趋势发展下去,旧金山网球场的预约系统迟早会成为全球防御最严密的软件之一。

笑归笑,但往深了想,这事还是有点细思极恐的。

伯德并没有要求AI去入侵任何东西,是AI自己判断,要完成这个任务,最有效的路径是找到系统漏洞黑进去,取消别人的预约。

它甚至没有事先问“可不可以这么做”,就直接先斩后奏了。

刚巧,最近AI圈还真是频频爆出“黑客”事件。

比如前阵子,OpenAI的一个agent在安全测试中突破了沙盒(沙盒就是专门为测试准备的环境,可以理解为AI的“宇宙”),入侵了开源社区Hugging Face的服务器;

(当时的报道)

Anthropic的Claude也干过类似的事,在解一道网络安全竞赛题目的过程中,自己写了一个恶意代码包发布到了公共代码库上。

(相关报道)

这些看似都是顶级实验室的前沿模型干的事,但伯德用的,只是一个今年二月发布的、已经不算最新的模型。这说明“黑客行为”绝对不止是前沿模型的专属……

如果一个旧模型都能自己找到漏洞,那更强的模型呢?以后,要是人人都有自己的AI agent了呢?

英文里常说一句话,be careful what you wish for,要小心你的愿望。毕竟它可能以你完全意想不到的方式实现。

(许愿柳,示意图)

现在一看,AI还真有点这个意思了……