头图来自韩国《朝鲜日报》的Baek Hyeong-seon

作者 | 左卡

编辑 | 石濑

韩国N号房事件又重演。

8月28日，据外媒报道，韩国有近22万人通过即时通讯应用Telegram传播AI深度伪造的色情图片。事件一经曝光便直接冲上了各大热搜、热榜。

犯罪者们通过篡改受害者发布在Instragram等社交媒体平台的照片创建和分享深度伪造的图像，而受害者中还有许多未成年人。

来源：微博博主“维多梨鸭Victoria”

一位女高中生向《韩国先驱报》记者阐述了自己的经历。Song（化名）是一名来自京畿道的17岁高中生，她和其他同龄女孩一样，会在Instagram等社交媒体上发布自己的照片和跳舞视频。

某天她在Instagram上收到了一则匿名消息，信息上写着：“你的朋友和父母知道你生活的这一面吗？”并附上了三张照片。当Song打开这条信息时，她震惊地发现自己的形象出现在色情照片里，但这些照片并不是她拍的，而是通过Deepfake技术深度伪造的。

Song向记者说道，“当我第一次看到这些照片时，我感到非常震惊和害怕。尽管我知道它们是假的，但它们看起来却如此真实”。

“我多么希望这只是一场噩梦。”

Song与施暴者之间的短信截图，截图中的名字为化名

Song只是成千上万名受害者中的一个。

据韩国妇女人权研究所的数据，2018年4月至今，共有2154人因深度造伪的色情内容向该研究所的在线性虐待受害者宣传中心寻求帮助。仅今年，就有781人寻求帮助，其中36.9%是未成年人。

实际受害者只会更多。一个名为Team Datastack的匿名组织推出了一个网站，实时更新此次Deepfake事件所波及的学校。

来源：微博博主“维多梨鸭Victoria”

根据《韩国中央日报》26日发布的数据，波及的学校已经超过300所，而里面竟然还有小学，韩媒更是表示“几乎所有女性都是潜在受害者”。

就在警方对22万多人参与的Telegram聊天室进行内部调查时，又发现了一个有40万人参与的使用Deepfake技术伪造照片的聊天室。

一边是AI深伪犯罪案件屡屡发生，恶性程度愈演愈烈，另一边则是AI深伪技术的不断迭代。

失控的深伪技术，

一张照片实时换脸直播

不仅能伪造图片，Deepfake技术现在还能实现实时换脸直播。

8月26日，X知名博主“@AISafetyMemes”分享了一则视频，并说道“科幻电影成真：AI换脸直播，如果几年前你跟人们说这是真的，没人会相信”。

评论也不敢相信Deepfake技术已经发展到这样了。

视频里的“马斯克”戴着头戴式耳机，与连麦的网友进行互动，直播最高在线观看人数超8000人：

这并不是马斯克本人在直播，是直播的这位用户用Deepfake深度伪造技术，将自己的脸换成了“马斯克”。

除非一帧帧仔细地观看视频，不然“稍显模糊的脸部”、“略有失神的眼神”这些能够帮助我们辨别出这是AI换脸的细节，光凭“乍一看”是看不出来的。

全网都在猜测这位“假马斯克”用的是什么程序，“AISafetyMemes”在评论区分享了自己的猜测，知名科技博主“AshutoshShrivastava”也认为“假马斯克”用Deep-Live-Cam进行换脸直播的可能性最大。

Deep-Live-Cam由开发者“hacksider”发布，一经推出便在社交媒体炸开了锅，目前在GitHub上已经有三万多星标。

Deep-Live-Cam首先检测源图像和目标图像（例如实时视频的一帧）中的脸部，再使用预先训练的AI模型“inswapper”执行实际的换脸操作，并使用另一个模型“GFPGAN”通过增强细节和纠正换脸过程中出现的伪影来提高换脸质量。

在网友“BagasN7”分享的一段视频里，知名足球明星卡卡、梅西和C罗都能被Deep-Live-Cam深度伪造出来。

虽然因为“BagasN7”的发型与上述球星并不相同，所以还是能分辨出差别。不过想象一下若是有人刻意去模仿发型和穿着，也许真的就无法分辨了。

Deep-Live-Cam并非第一个能做到实时AI换脸的项目，其被热议的原因主要在于支持仅用一张图片换脸，而过往的AI换脸项目基本都需要用户提供多张不同角度的照片。

Deep-Live-Cam的效果让我们看到了Deepfake深度造伪技术的发展速度，也引发了有关利用这一技术进行诈骗、侵权等犯罪的担忧。

虚拟之脸，真实之危

Deepfake隐藏的黑暗面

一年前，一个Youtube视频火了。

知名博主“Johnny Harris”用20分钟的时间向观众解释了Deepfake究竟是什么。在视频中，Johnny Harris多次将自己的脸部替换，向观众展示Deepfake技术，而他透露，这几秒钟的视频，花了他和他的团队整整两周的时间。

过去训练一个Deepfake模型所需要的是大量的照片数据，而这也是为什么一开始我们看到的AI换脸视频几乎都是演员：汤姆·克鲁斯打招呼、金·凯瑞演闪灵等，这都得益于名人所拥有的大量高质量的训练数据。

Deepfake深伪技术也造就了一个新的赛道，如上面Deepfake视频的创作者“Ctrl Shift Face”，依靠他所训练的模型在Youtube收获了近50万粉丝，视频最高播放量达到2200万。

在Johnny Harris采访Ctrl Shift Face的过程当中，这位博主还将自己的脸换成了马克·扎克伯格。

与X网友“Joao”近期使用Deep-Live-Cam换脸的马克·扎克伯格相比，我们能够看到Deepfake技术的“进步”。

过去一个团队需要花费几周的时间用成千上万张照片数据训练模型，而现在我们只需要一张照片，30秒，便可以实现直播换脸，而这样的技术发展仅仅用了不到一年的时间。

比起其以假乱真的效果，我们面对Deepfake深伪技术的发展时，更多的是担心其带来的危害。

虽然Deep-Live-Cam的发布者“hacksider”在免责声明处表示Deep-Live-Cam内建检查机制可以防止工具处理裸露、暴力以及战争镜头等敏感内容，并称如果用户使用真实人物的面孔，用户必须获得相关人员的同意，但这次“假马斯克”的直播看起来并未得到“真马斯克”的同意。

使用AI换脸软件，几乎任何人都可以从社交媒体上攫取别人的照片进行深度造伪，并用于灰色产业。比如这次发生的恶劣Deepfake版N号房事件，其带给受害者的影响是巨大的。

使用Deepfake深伪技术进行诈骗的犯罪事件也是屡屡发生。根据科技公司Onfido的调查报告显示，2023年基于AI的深度伪造欺诈暴增了3000%，许多网络犯罪分子试图使用深度造伪的视频和图片绕过生物识别安全措施，以窃取用户的账号信息。

今年2月，据南华早报报道，香港一间跨国公司的财务人员也被深度伪造技术欺骗，将公司的2500万美金（约1.7亿人民币）转给了诈骗集团。原先该财务人员收到交易邮件后还有所警觉，但参加视频会议后发现会议里有他认识的同事便放下了警惕，但最后经验证，视频里的人物都是使用深度伪造技术所制作的。

所有技术都有两面性，Deepfake在医疗、教育、新闻等方面仍有可取之处。比如，加拿大公司Lyrebird利用深度合成技术，“克隆”了肌萎缩性脊髓侧索硬化症（ALS）患者的声音，帮助他们在失去说话能力后仍能通过深伪技术继续沟通。

“冰桶挑战”创始人Pat Quinn使用Lyrebird提供的软件“重拾”声音

但现在这把双刃剑更需要我们加以控制。目前国内外针对AI换脸的犯罪案件，更多是进行立法管理，早前我们就盘点过各国针对生成式AI的管理规范。

2023年，我国落地生效的《生成式人工智能服务管理暂行办法》，针对生成内容的准确和可靠性提出了新要求，服务提供者需要采取相应的技术和管理措施，以确保生成的内容符合事实，并且能够提供透明的信息来源。

欧盟提议的法律要求社交媒体公司从其平台上移除深伪内容和其他虚假信息，2022年6月更新的《反虚假信息行为准则》通过对违规者处以最高全球收入6%的罚款来处理深伪内容。

而此次Deepfake版N号房事件发生地韩国也曾在2020年通过一项法律，规定散布可能“损害公共利益”的深伪内容属非法行为，违者可面临最高五年监禁或高达5000万韩元（约26万人民）的罚款。

但屡次发生的数字色情犯罪事件表明韩国政府还需要投入更多精力与资源以彻底根除这一危害。

据韩国《朝鲜日报》27日报道，韩国总统尹锡悦要求有关部门“彻底根除这种数字技术犯罪”，对此韩国警方已成立针对此次Deepfake事件的特别工作组，以应对深度伪造性犯罪等虚假视频案件，该工作组将运行到明年3月31日。

我们承认技术发展所带来的诸多益处，但我们也必须正视其产生的负面效应。

Deepfake技术所引发的这一事件，并不仅仅是韩国女性的困境，而是我们所有人的困境。

参考链接：

https://www.theguardian.com/world/article/2024/aug/28/south-korea-deepfake-porn-law-crackdown

https://arstechnica.com/information-technology/2024/08/new-ai-tool-enables-real-time-face-swapping-on-webcams-raising-fraud-concerns/

https://www.youtube.com/watch?v=S951cdansBI&t=50s

https://www.scmp.com/news/hong-kong/law-and-crime/article/3250851/everyone-looked-real-multinational-firms-hong-kong-office-loses-hk200-million-after-scammers-stage

https://www.responsible.ai/a-look-at-global-deepfake-regulation-approaches/

https://m.koreaherald.com/view.php?ud=20240828050636

https://www.cnet.com/culture/ice-bucket-challenge-founder-gets-voice-back-after-als-project-revoice-ai/

https://koreajoongangdaily.joins.com/news/2024-08-26/national/socialAffairs/Police-investigate-deepfake-porn-at-schools-nationwide/2120731

    

     

      

       

        

       
       

        「AI新榜交流群」进群方式：添加微信“banggebangmei”并备注姓名+职业/公司+进群，欢迎玩家们来群里交流，一起探索见证AI的进化。
       
       

        

       
      
     
    
     

       欢迎分享、点赞、在看
     
     

       一起研究A