https://mp.weixin.qq.com/s/dZ4UB8oqSx0h4Nb1hq1k2Q
By 超神经
内容概要:在近期举行的印度的德里议会选举中,一位候选人使用 DeepFake 技术,生成其他语言的宣传视频,为自己的团队拉取选票。该方式虽然取得了良好的宣传效果,为其争取到到了一些投票,但最后的选举结果却出人意料。
关键词:DeepFake 印度选举
近日,DeepFake 首次现身印度选举,被候选人用在了竞选拉票的宣传材料上。
印度刚结束的德里邦议会选举中,印度人民党(Bharatiya Janata Party,简称 BJP )的候选人之一 Manoj Tiwari,为了拉拢小语种选民,用视频造假技术,「说」了一段自己并不会的语言进行拉票。
Manoj Tiwari 的涉事视频截图
可惜造化弄人,即便在 AI 的加持下,宣传达到了一定的推动效果,但 BJP 最终还是在选举中落败,仅获得了邦内议会席位的 8 位(共 70 位)。
方言流利说,让候选人获得支持
2 月 7 日,德里议会选举前一天,印度人民党的 Manoj Tiwari,在社交媒体上分享了两段短视频,出镜为自己的党派做宣传。
第一段视频(英文)
第二段视频(哈里亚纳语)
这两段视频的语言,一段使用的英语,另一段用的是哈里亚纳语(Haryanvi,一种印度方言),主要是批评现任德里首席部长 Arvind Kejriwal,并鼓励选民们为印度人民党投票。
视频中,并不擅长哈里亚纳语的 Tiwari,讲着流利的哈里亚纳语,呼吁大家向 印度人民党投票,这一举动在使用该语言的人群中引起了热烈的反响,随即引发了视频在 WhatsApp 上的大量传播。
印度人民党的负责人在媒体上宣称,此举取得了很好的效果。有许多家庭主妇纷纷表示,看到候选人用自己的方言讲话,感到无比的亲切,这也影响了一些人的投票决定。
可随后就有细心的人,发现了视频中的一些蹊跷。
党派授意,公关公司用上 DeepFake
通过仔细观察 Tiwari 的视频,网民指出人物的嘴部动作,带有一种别扭的感觉,似乎并非是自然录制而来。
随后著名科技媒体 Vice 以及纽约罗切斯特理工学院(RIT)的研究人员,也在视频中察觉出了异常。
Vice 随后进行了求证,并揭开了这段视频背后的秘密。
通过证实,第二个哈里亚纳语的视频,确实不是实际拍摄,而是印度人民党的 IT 部门,与公关公司 The Ideaz Factory 合作而来的 DeepFake 制品。
The Ideaz Factory 公司页面
其主要业务之一就是政治广告推广
据称,为了让候选人能够拉拢不同语言的选民,印度人民党和 The Ideaz Factory 联手,让 Tiwari 讲出方言,「出现」在了屏幕上。
印度人民党的 Bakshi (德里邦的媒体和技术负责人)告诉 Vice,候选人 Tiwari 的虚假视频,主要针对德里使用哈里亚纳语的大量移民工人,防止他们将选票投给竞争对手。
Bakshi 还自豪地说到,通过对 DeepFake 技术的使用,竞选的良性传播得到了前所未有的扩张。
印度有 30 种语言及 2000 种方言
候选团队绞尽脑汁让 DeepFake 说方言,也不是没有原因的。
印度不同族群人口间口头语言纷繁众多,据目前的统计,至少 30 种不同的语言及 2000 种方言。
印度的方言地图(图中包含主权争议地区)
印度宪法规定印地语、梵语和英语为印度政府的官方语言,但其他流行语言(使用人口超过 500 万的)还有 14 种,文中所说的哈里亚纳语(通常被视为印地语的一个亚种),就属于流行语言其中之一。
统计显示,这段哈里亚纳语言的小视频,被分享到 5,800 个 WhatsApp 组中,有大约有 1,500 万人进行了观看。
事实证明,DeepFake 在传播效果上,还是立了很大一功。
用算法为视频配上「假声音」
这项技术具体是怎么实现的呢?
The Ideaz Factory 声称,他们是根据 Tiwari 视频,进行了其他语言的语音匹配过程。
具体而言,使用了有唇动技术的 Deepfake 算法,通过 Tiwari 的语音进行训练,最后将外部音频和嘴形动作进行融合。
在得到训练好的模型后,该公司雇用了一名配音演员,模仿 Tiwari 用哈里亚纳语读出写好的台词,最后将声音注入视频中。
也就是说,Tiwari 用方言讲话的视频,是自己的真实形象,加上别人的声音,再通过修改嘴唇运动,而得到的以假乱真之作。
为视频加入声音的操作界面
该公司还声称,目前的技术不够成熟,无法用算法直接生成目标人物的声音。但对该技术充满了信心,正计划进行更大的推广,比如用在随后将举行的比哈尔邦大选,以及 2020 年的美国大选。
虽然 The Ideaz Factory 拒绝分享所用技术的详细信息,但 RIT 的研究人员,还是从一些蛛丝马迹中,猜测到他们可能使用了 Nvidia 的 vid2vid 模型。
很遗憾,DeepFake 没帮他们获得最终胜利
这不是 DeepFake 首次被用于选举活动,但在情况相对复杂的印度,这还是破天荒的头一次。
此前,英国和美国都在选举过程中,爆出过伪造视频的事件,也正因如此,许多地区纷纷出台更加严格的法律监管手段。
甚至在社交媒体 Twitter、 Facebook、Redddit 上,也相继制定出了严格的规范,严厉打击 DeepFake 在选举活动中的使用。
AWS 还联合 Facebook、微软等
发起了 DeepFake 检测挑战
但对于印度选举中出现的 DeepFake,目前还没有出现相关的法律条文。甚至有人认为将其判为非法,短期内恐怕将无法执行,因为不会得到执政党的公开支持。
值得一提的是,虽然使用了 DeepFake 技术,但 BJP 在本次选举中还是以惨败而收场。
2 月 11 日,德里大选结果出炉,BJP 仅赢得了 70 个席位中的 8 个,而 AAP(普通人党)赢得了其余的 62 个席位。
所以就目前看来,印度大概率还不会去考虑应对 DeepFake 带来的影响。
参考资料: https://www.vice.com/en_in/article/jgedjb/the-first-use-of-deepfakes-in-indian-election-by-bjp?utm_source=reddit.com http://www.fx361.com/page/2020/0210/6345716.shtml
—— 完 ——
扫描二维码,加入讨论群
获得更多优质数据集
了解人工智能落地应用
关注顶会&论文
回复「读者」了解更多
更多精彩内容(点击图片阅读)