当AI开始欺骗全世界:一键换脸,克隆语音,骗钱,骗色,骗媒体,制造恐慌

AI的迅猛发展,令人喜忧参半。

人们一方面惊叹于那碳基生物无法比拟的强大工作效率,期待AI能帮忙节省不必要的劳动力。

另一方面,却又害怕它模糊现实和虚构的边界,切断人类分辨真伪的能力。

几乎AI诞生的那一刻起,AI造假的恐慌也随之不断蔓延。

282382080.png

(AI热图:川普被捕)

事实证明这一天不会太久。

如今,用AI编造的故事不仅能够蒙骗普通网友,就连全球各大媒体也纷纷上当。

3343597663.png

AI新闻造假,全球媒体受骗

上个月,dailymail刊登了一则新闻 —— 22岁的加拿大小哥Saint Von Colucci为了在韩国顺利出道,以防弹少年团的朴智旻为模版,整容了12次后不幸丧命。

新闻瞬间吸引了不少目光。

随后TMZ跟进,印度NDTV、加拿大Postmedia以及韩国的YTN、Osen、star等媒体也都对此进行了报道。

故事有图有真相,从小哥的手术过程到闯韩经历……各种细节应有尽有。

已经被主流媒体筛选过的事实,网友们自然也不会过多怀疑,真情实感地为小哥的遭遇感到惋惜。

3303650851.png

可紧接着,此事就迎来了反转……

有驻韩记者、印度《滚石》助理编辑以及美国知名广播电台iHeartRadio等,进一步查证后提出了质疑:这位Saint Von Colucci的故事应该是编造的,甚至这个人可能压根就不存在。

疑点有很多。

文中说他曾为不少Kpop爱豆写过歌,但他死后却没有任何业内人士公开哀悼。

此外,韩媒MBC询问警方后得到的回复是:当时并未收到类似的死亡案例报告。

还有人把他的照片拿去检测网站,结果显示有75%的可能性是由AI生成的。

这件事于是立马被贴上了“AI新闻造假”的标签。

3424043061.png

眼看质疑声越来越大,dailymail已经默默删文,TMZ也马上澄清了新闻有误。

但事情到这还没结束。之后又又又迎来了反转。

本月初有媒体报道,Saint Von Colucci的家人正准备起诉他的韩国经纪公司,以及宣称他们儿子的死亡是骗局的记者。

言下之意,报道都是真实的。

然而,这篇报道中又没有任何实质性的证据或采访,也没有家人出镜。已经被骗过一次的网友,根本不知道该相信谁了。

本是一场悲剧,现在成了闹剧。

如今,距离第一篇报道发布已经过了半个多月。调动了这么多来自英媒、加拿大、韩国以及印度等地的媒体,却依旧无法判断一个人的身份是真是假。

这让人深刻地意识到,AI除了捏造事实,更可怕的是会让人失去分辨真相的能力。

3796076684.png

AI造谣层出不穷,险些引发社会恐慌

加拿大小哥的事件姑且只涉及到一个人。还有些更恶劣的AI造假操作,不仅会导致社会恐慌,还可能引发针对政府的信任危机。

上个月在国内就有这样一起事件。

甘肃平凉市公安局崆峒分局网安大队发现,多达21个网站上同步出现了一条本地“新闻”:甘肃一火车撞上修路工人,致9人死亡

如此骇人听闻的标题外加大体量的集中报道,这条“新闻”的点击量很快超过了1.5万,引发了不少网友的讨论。

但此事纯属子虚乌有,完全就是一个博流量的幌子。

当地网警立刻介入,调查后发现,犯罪嫌疑人洪某就是利用了AI技术进行的新闻造假。

他购买了大量账号,通过ChatGPT全网抓取社会热点新闻素材,简单修改一番就能避开平台的查重审查,炮制出假新闻。最后再通过购买的软件大量上传至不同账号里,就能非法获利。

这次幸好警方发现及时,在“新闻”尚未引起恐慌时就将犯人捉拿归案。

但此事也足以让人意识到,AI造假后患无穷。

3657455788.png

AI技术日趋完美,图片视频以假乱真

随着midjourney、Stable Diffusion等制图工具的兴起,现在用AI生成照片的效果,早就脱离了“一眼假”的尴尬,达到了肉眼难以分辨的程度,正式宣布“有图有真相”的时代已经结束。

image.png

专家们一直警告,未来AI技术滥用可能产出各种假闻。其实不用未来,这一天早就到来了。

小到恶搞名人,自娱自乐:

比如,之前有国外网友用Midjourney生成“教皇穿羽绒服”,图片质量之高完全做到了以假乱真,被浏览了2800多万次不说,还引起了不小的骚动。

由于当下没有可以交叉比对的新闻报道,很多网友都信以为真。

3710067695.png

大到捏造国际事件,直接改写历史:

还记得2001年时发生在卡斯卡迪亚的9.1级大地震和海啸吗?

当时房屋倒塌,遇难者家属泣不成声,救援人员连夜工作,各国记者都赶往现场报道。

4140489278.png

当然不记得。

因为根本就没有什么地震,这些都是网友发在Reddit上的AI图。

2440161450.png

这位网友模仿新闻报道总共生成了20多张照片,各种角度都有,伪造了一次大型灾难事件。

虽然图片制作得比较粗糙,不少地方都能看出破绽,但不可否认当时确实骗到了不少人:

“难道只有我一个人自问‘我怎么不记得这件事了?’直到看见版块分区?”

而除了照片,AI的视频造假技术也早就成熟。deepfacelab等AI换脸软件的成品,只靠肉眼几乎无法分辨。

比如下面这段网友制作的阿汤哥。那几个经典表情,完全就是阿汤哥本汤,是粉丝都会误判的程度。看原视频的话会发现声音也一模一样。

GIF 2023-5-12 17-57-19.gif

另一段打高尔夫的动作也没什么大问题。乍看之下,根本无从辨别是真人还是虚拟。

这还是2021年制作的,现在技术早就又更迭了无数次。

GIF 2023-5-12 17-57-56.gif

AI克隆人声,诈骗屡次得逞

人声合成是AI技术滥用的重灾区。

现在的AI模型 —— 比如VALL-E —— 可以做到仅凭三秒钟的语音样本,就完美克隆出本人的声线,甚至连说话的语气和习惯都一模一样。

有不少骗子利用这点进行诈骗。最近,西班牙的小型电影制作公司Peabody Films就成了受害者。

公司的编剧兼导演Bob William透露,此前有人伪造本尼的声音跟他们打电话谈合作。

AI的声音听起来完完全全就是本尼本人,最开始公司相信了,还暗喜这么有名的演员会对自己的剧本感兴趣。

可交谈了几次后,对方开始露出了马脚。“本尼”既不愿意见面,还要求公司提前给他打20万英镑。

众人这才意识到被骗了。好在钱还没打,损失不大。

image (1).png

相比“本尼”事件,另一个骗子明显高明许多。

上个月,化名mourningassasin的网友出售了多首R&B歌手法海(Frank Ocean)的“泄露曲目”。

听了一小段公开片段后,网友们都相信歌曲是真的,因为声音和风格一模一样。

很多歌迷联系mourningassasin购买,他趁此赚了13000多加币。

可后来证明,这些歌跟法海一点关系都没有,全是AI制作的。

image (2).png

当前的AI技术可以根据任何歌手的声音,曲风以及唱歌习惯等进行模仿创作,即便死忠粉也很难分辨真假。

这种情况下,除非法海本人否认,仅靠路人很难打假,这就给了骗子可乘之机。

前阵子还流行过AI版本的公鸭、侃爷以及孙燕姿。

虽然大部分只是出于好玩,但这也恰恰证明了AI技术对音乐行业产生的震荡。

明星们的音频容易获取、模仿,因此是AI诈骗的重点“被害人物”,但这并不表示普通人就不会受到波及。

国外有不少利用AI克隆声音进行诈骗的例子。仅在加拿大涉案金额就已超过百万。

诈骗犯大多通过社交媒体搜集音频素材,之后用AI模仿声音主人的声线,再拿去欺骗他们的家人。

3098158831.png

一个月前,美国一位母亲Jennifer DeStefano接到了“绑匪”电话,对方称劫持了她15岁的女儿Brie,要求100万美元的赎金。

电话那头传来了“女儿”的呼救。Jennifer听到的当下就相信了,因为不仅声音,就连哭泣的方式都和女儿一模一样。

好在后来丈夫及时证实了女儿是安全的,骗子才没得逞。

但这件事依旧让人后怕,也给广大网友造成了强烈的不安。

在能媲美“真假美猴王”的技术面前,没人敢保证拥有“火眼金睛”永不上当。

2043998899.png

金融诈骗新方式,AI噱头下的骗局

如果说哪个领域的AI滥用能产生最强的破坏力,那多半就是金融圈。

一旦被有心人士利用,其震动足以使无数人倾家荡产。

众所周知,马斯克曾放话要推出一个TruthGPT人工智能项目,声称要去理解宇宙本质、探索真相。

从狠批AI对社会的潜在危险,再到下海入局……该计划一经公布就备受瞩目。

可没想到,马斯克还没做出什么名堂,这个项目就先被别人拿去骗钱了。

本周三,得克萨斯州监管机构紧急叫停了一项名叫TruthGPT的代币项目。

三月时,它由男子Horatiu Charlie Caragaceanu旗下的两家公司The Shark of Wall Street和Hedge4.ai联合推出。

乍一看名字,不少人都以为该项目与马斯克的TruthGPT相关,是他旗下团队推出的相关产品。

而该团队其实也传达出了“马斯克本人都非常支持”的意思。

相关推广页面上还出现了马斯克本人的头像和动画形象,给人的观感是:这已经得到币圈大佬的专业认证了

除此之外,TruthGPT代币的官网上,还出现了加密货币交易平台币安的创始人赵长鹏、以太坊联合创始人Vitalik Buterin等行业顶尖人士。

普通投资者看到这里,很容易会被权威人士的背书打动,就这么相信了这个代币的合法性。

再加上该项目还一直对外洗脑自己的超强功用:

使用Elon Musk AI的模型,可以分析各种加密货币,从而对各种数字资产进行估价。

同时还能将可投资产品和骗局予以区分。这样,就能在保证投资安全的前提下获得收益。

宣传文案上大胆写着:根据统计,投资后的收益将会翻上1000倍。

整个看下来给人感觉便是:有钱不赚王八蛋。

这一系列操作随后引起了德州监管机构的注意。

结果调查后发现,这根本就是一场人工智能投资骗局。

项目方借着马斯克TruthGPT的名号进行宣传,将所谓的代币项目,包装成利用AI模型获得高利润的投资手段。

实质上,他们压根就没有什么人工智能模型,有的只是一个包装话术。

德州监管机构揭发称:TruthGPT代币从未在当地进行合法注册,而且Caragaceanu的两个公司均未获得运营许可。

总之,这是一个彻头彻尾的骗局。

可怕的是,类似这种假借AI名义进行金融诈骗的行为已非个例。

仅在4月份,美国加州金融保护和创新部门(DFPI)就查出五家公司都在进行AI诈骗。

随着AI技术的发展,揪出一个TruthGPT代币,也还会有下一个xxx代币出现。

对于金融界而言,应该如何防范,已然成为亟待攻克的一大难题。

AI换脸肆虐侵权,法律保护

AI的换脸技术应该是近年来争议最大、也是民众最痛恨的技术之一。

因为用它给女性造黄谣,几乎就是动动手指的事。

受害者太多了……

此前,一个名叫AtriocTwitch主播曾在直播时被网友发现,浏览器显示正在观看色情片。

而色情片的内容,是其他女主播被AI技术伪造后生成的。

这件事立马引起了众怒。很多网友怒斥Atrioc的行为侵犯了女主播们的权益。

但同时,也不乏猥琐人士到处求资源,给受害者带来了二次伤害。

其中一位受害者名叫QTCinderella。

她发现此事时为时已晚,网络上到处流传着“她的”色情视频。不少人把这当真事一样讨论得津津有味。

QTCinderella一度情绪崩溃,在直播中痛哭:

“这种感觉就像遭到侵犯,被利用,看着赤身裸体的自己被肆意传播……不该是我来花钱把这些东西移除掉,也不该是我被骚扰,看着自己的‘裸照’满天飞……我用人格保证,我TM一定会起诉你们。”

类似的遭遇还发生在女生Taylor Klein身上。

大四时她饱受网络霸凌,经常在ins上被陌生男子辱骂。

直到某天Taylor收到好友发来的链接,才明白这是为什么。

链接打开是一个色情网站。而视频的主人公和她长相一模一样,标题还赫然列着她的名字。

Taylor当然知道这不是自己。

原来一直以来,她的脸被AI盗用伪造成了色情片。那些陌生男子因此才会侮辱她是“恶心的bitch”

(示意图)

她试着向警察寻求帮助,等来的答复却是:她所在的州,目前还没有关于深度伪造色情片的相关法律。

而现有法律中“未经同意进行色情行为”的相关规定,也无法对此进行制裁,因为这些黄片里只出现了Taylor的脸,并不涉及她本人。

无奈之下,Taylor只好和其他受害者联手寻找嫌疑人。

可她们央求警方给嫌疑人打电话后,得到的回应也只是“下次不会再发生”。至于惩罚,压根不存在……

被污名化的受害者已经做了所有能做的,却依然无法得到公平的待遇。因此直到现在,用AI造假黄片的行为依旧屡禁不止。

如果一直任由科技发展,却没有相应的法律政策跟上予以规范,不难想象在这个如此依赖网络的时代,人们面临的最坏后果是什么:

即便看到图片和视频,也不敢轻易相信新闻。

接到家人的电话,需要反复确认是不是真人。

拍摄满意的照片上传网络,隔天发现自己成了黄谣主角,百口莫辩……

人人畏惧虚假的楚门世界,人人却都成了主角。