中国社会科学院研究生(中国社会科学院研究生院)

中国社会科学院研究生，中国社会科学院研究生院

2022年3月1日，《深度合成十大趋势报告（2022）》解读会上，中国社会科学院哲学所研究员、科学技术哲学研究室主任段伟文，做了一场深刻演讲。

深度合成是高科技，可是这种高科技会对人类，社会，人性产生什么样的影响？

这一话题值得每个关注算法安全，数据安全的从业者阅读。Enjoy！

段伟文：大家好！

很高兴有机会分享一下对于深度合成治理路径的思考。因为我们现在生活在一个深度科技化的时代。

以往的科技它研究的是自然，改造的是自然，现在的科技改造的是人，改造的是我们生活的环境。

我们不管叫做什么，它实际上是具有颠覆性社会影响的创新，把它说成伪造，可能窄化了它的概念，实际上它可以给所有人创造无限可能性的机会，无论他们是谁，他们如何与谁互动，可以有无限的方式互动。

同时，布鲁金斯学会谈到：如果人工智能达到这样地步，几乎不可能检测他们从未说过的话，所以眼见不一定为实，让人们对真实的内容产生了怀疑。

这样来看的话，如果某人做了什么坏事儿，我们拍到他的罪证，他可以说这个罪证是造假的。同时我们可以看到深度合成视频的数量，在将来甚至会超过非合成的视频。

大纲是四个部分，首先是作为突破性创新的深度合成，我们可以看到将来的滤镜不再是美颜，它是人工智能的滤镜，这就是合成的媒体或者合成的媒介。

因为英文里面主要是用“DeepFake”和“合成媒介”这两个词来描述这一技术，当然在中国我们创新走在前面，所以我们用深度合成，这代表中国在创新和治理之间找到一个平衡，这样一个新的理念。

比如，我将来在这儿讲座，如果我的表情不太好，它完全可以通过人工智能的滤镜做一个修正，让大家看到他们的参会者非常集中，甚至还可以提升你微笑的次数，假设两国元首进行会谈，电视放出来的是非常温馨非常友好，更有利于实现友好邦交，这样的效果。

MIT的媒体实验室在开发一种个性化的角色的模型，这样能够让演讲者用更自信的方式看到自己擅长的演讲任务的版本，可以做排练，排练之后通过人工智能滤镜，告诉他，甚至可以修正他的一些小问题。尽管Deepfake它可以为无数人创造可能性的机会，让我们用我们想要的方式跟人互动。

实际上最近用人工智能创造有益的数字角色，比如创造数字“爱因斯坦”，让爱因斯坦给小朋友讲相对论和物理学，这样从传播和教育的影响和以前不一样，他们还做了数字巴赫，还有心理自助，情侣分手模拟器，如果跟男女朋友分离，可以用深度合成技术让你们两个进行虚拟的沟通或者谈话，或者要不要跟志玲姐姐吃晚餐。

如果有人经营这样的业务，也是可以的。

但是，这样会带来法律和伦理的挑战，比如我们可不可以回到过去？我们怎样再现历史人物？有的美化有的丑化，这样一个标准谁来判定？

如果名人的人工智能的合成形象，在网上宣传有害的东西，谁来担当这样的法律责任？
我们如果更喜欢合成角色，跟合成影像互动而不是跟真人互动，这会带来什么影响？

但是我觉得有一个基本思路，我们多创作积极的场景。当然同时我们也要让大家了解这样一种潜在的危害。

这种可能性是非常无限的，现在可以有这样的设计，我完全可以用真人的角色，然后在1000个视频里面担任主讲，在快手和短信可以有一千个账号，这都是可以的，这样做可以吗？会不会影响竞争？怎么收税？

可以用任何语言讲话，因为现在机器翻译已经发生了革命性的变化，比如我半个小时把文章用机器翻译，然后发出来，这跟以前完全不一样。

现在很多国内人去骂国外，你就可以知道现在通过机器翻译，现在门槛特别低，它完全不一样。

深度合成对人认知的挑战。

我们可以看到，最近一篇论文里谈到深度合成已经真假莫辨，这四个头像有两个真两个假，你们能看出来吗？这是很难辨别的。所以深度合成的信息误认，这里我们就要研究了，图像、音频、视频会不会产生误认？产生什么样的误认？这里有大量心理学家他们在做研究，社会科学家他们在做研究。最后我们研究的时候发现人们不擅长检测这样的欺骗，也就是说我们刚才猜了几个真假，最后答对的可能性跟随便瞎猜差不多的。这样的准确水平不受传递媒介的影响，你不论是什么，你都猜不出来，因为我们人类长期以来都一直认为眼见为实，他没有这样的经验没有这样的体验。

这里就有另外一个问题，叫做视觉优势效应，你在判断真假视频的时候，跟其他的是一样的，但是视觉交流对人的认知更重要。所以视觉欺骗的影响比口头更大，听觉和视觉一起呈现，大家对听的内容是没有感觉的，他被视觉的东西压制住了，你主要还是在看。

还有，人们更容易回忆视觉信息而不口头信息，视觉信息比误导性的文字更容易产生错误的认知。换句话说，人们更相信视听方式而不是文字，因为内容与现实世界的相似度更高，我们平时就是在这样的世界里生活，所以这是视觉优势效应。“说谎者红利”，因为有了Deepfake，他就可以否认真实内容的真实性，特别是当这样的内容是他的所谓犯罪证据的时候。

随着深度合成的扩散或者大家对这个技术印象的加深，那么说谎者红利成为他的一个策略。这是一个加蓬共和国总统，他的反对派发了一个视频，说这个人身体不好了，说他的视频是假的，因为总统他一直显示自己很强壮，反正说他是假的。

又有一个专家指出这个视频可能是假的，但是是不是假的不重要，真正的问题是这种可能性可以用来普通可信度并且引起怀疑，大家对所有的新闻都怀疑，就没有真的。

那么深度合成的政治和社会影响，深度合成有很多潜在的用途也有可能的危害，比如可以用深度对抗来合成虚拟的医学头像，这样训练那些算法去检测罕见疾病，并且可以减少病人的隐私，比如说脸我们可以合成一下，我们不知道究竟是谁了。

但是恶意的使用，特别是伪造视频在一些关键的政治事件里，会起到煽动性的作用，它还会削弱公众对所有媒体的信任，甚至丧失对揭示真相的信心，他认为没有真相，这样一个技术的发展导致绝对的虚无主义，深度伪造它可以被用来做煽动性的内容，比如说在军事领域参与战争，比如说两个国家打仗的时候，他可以伪造另外一个国家军人的暴行，这样来激化民众的情绪，还有可以去煽动恐怖分子。

在美国他们比较关注深度合成对大选的影响，布鲁金斯学会做了一个报告，报告题目就是：眼见还为实吗？

Deepfake它改变了政治中的真相。这个报告提到两点，第一点，如果人工智能现在已经这么厉害，那么眼见不再为实，产生深度合成的能力比检查的能力发展更快，这带来什么样的挑战？

简单来讲，Deepfake有很多影响，我们可以看到会影响到我们人的声誉或者财务或者是对决策的操作，在个人层面可以用这样一个深度合成技术对人进行辱骂、恐吓、诽谤，可以窃取你的信息，同时可以用来攻击政治家，组织层面可以破坏品牌，破坏对组织的信任，操作股票和保险欺诈，可以捏造证据，伪造文件甚至伪造你到哪个大学上课，对于政党和游说团体进行攻击，这里有很多值得研究的地方。

所以Deepfake对信任的影响，还有更多社会心理上的影响。

首先会削弱对信息和媒介的信任感，同时对人际关系产生影响，什么意思？这样一个虚拟现实的研究表明，你如果看了某一段视频之后，就算是你知道它是假的，也会影响你对这个人的态度。假设你很喜欢这个人，你看一个视频他做了恶性，也会影响，那本书叫《思考，快与慢》，尽管理性慢思考知道那是假的，但是快思考就会植入。

更令人担忧的是可以将内容定位到特定的政治或宗教群体，就会放大效应，这是值得研究的。

我们可以看到一个案例星球大战：天行者的崛起，利用星球大战没有发布的视频，这是合成的，它对人的记忆会产生一种干扰，什么意思？这个演员到底去世了没有？它一定会影响到记忆。

我们从这里可以看到，通过深度合成来诽谤你，诽谤了之后就会造成虚拟的疤痕，叫做数字疤痕或者数据疤痕，任何东西不管是真假的，只要你看到了就会给你留下印象，因为我们对人大脑的认知还有很多深层次的问题没有深入进入，这是一个问题。

所谓的数字遗产，一旦在网上播放你的形象，它就会成为你的数字遗产，尽管诽谤造假的，比如某一个人成为色情的深度伪造目标，这个内容随处可见，它就变成数字遗产的一部分。

它把任何东西放在一个平台上，它用了这样的素材来进行表述，它把所有的东西都赋予了它意义，这个意义的过程是自我指示的过程，并不需要有一个真实的事件作为它的依据，这是深层次的影响。

我们也不要过于悲观，为什么？

因为我们在不同世界里生活的时候，我们都有信任的默认值，你对事情的真假都有一个预期，我们之所以被它欺骗，因为我们没有预期一直认为它是真的，比如我们现在看垃圾邮件的时候很少有人上当，以前可能会上当，所以有一个恢复力，人对深度合成的欺骗形式产生弹性，人慢慢不会被这个东西愚弄，那么怎样不会被愚弄？我们就要提升数字素养。

最后谈一下，走向更稳健的深度合成治理。对于深度合成没有灵丹妙药，你要采取多种措施才能对它进行治理，同时可以看到将来你的检测再准确，不可能百分百，只要不是百分比，还是有很多东西会存在的。

我们可以看到技术管理，一个材料美国DARPA通过语义取证，通过检测物理完整性、数字完整性和语义完整性进行检测，细节不说了。但是这里会出现所谓的“猫鼠游戏”，检测是打击它，你检测它的方法，反过来会进一步提升它的合成技术。

这里有一个说法叫做深度合成的军备竞赛，检测和合成双方有一个军备竞赛，就是道高一尺，魔高一丈这样的问题。这样完全靠技术是不管的，所以我们需要内容管理，进行标识和论证，这个不详细说了，因为是技术问题。我们最近颁布《互联网信息服务规定》就是对法律和伦理进行了规范，可以看到这里说遵守法律法规，希望科技是向善的，具体内容我不说了。

最后，深度合成技术，无论是在哲学或者认识上，还是从社会生活上，它都涉及到所谓的认知安全，社会认知安全，所以我们要提升社会认知安全意识，把它作为集体的责任，这个从开发媒体到社交用户到普通公众，都应该更了解技术内涵它的愿景，还有恶意使用和滥用的场景，这要通过讨论和对话，提升公众的数字素养。提升每个人对深度合成时代的真相的认识和鉴别力，这里面有很多需要去努力的事情。

最后，我们要走向具有预见性，稳健的治理框架。

中国的人工智能治理原则有一条敏捷治理，我的理解就是我们根据程度、规模和可恢复性，
它的危害到底有多大程度？
到底是什么规模？
它是可逆还是不可逆？
这样一个基础上我们构建一个监管流程，这里我们采取积极行动，包括瑞莱智慧的工作我的体会就是这样的，对于它的社会影响或者治理的研究和考虑，与这样一个创新是同步的过程，这就是积极的行动，我们在技术、法律和伦理和政策以及教育层面，来采取一个积极的行动，来减少可能性的伤害。

综合权衡方面，在我们已经有的数据算法基础上，探索安全、伦理、监管的平衡点，因为2018年以来国际出现“技术反冲”或者“技术后坐力”，出现了大量侵犯隐私、算法歧视、平台垄断这样的行为，导致社会和学术界到公众的批评，这样的批评客观上也会延缓科技的发展。

人工智能企业和行业非常希望政府或者相关部门以及各界，积极的来开展有关法律伦理、治理上的对话和相关规范的制定，以及最佳实践地推广，都是为了实现在创新和治理之间的动态平衡，实施敏捷、稳健的治理，同时使科技更好地服务数字化转型、数字生活、数字中国、美好生活等等。
我就讲这些，谢谢大家！