争议中的“深度伪造”：技能门槛低，AI换脸淫秽视频打包卖
近期，针对部分语音社交软件和涉“深度伪造”技能的应用未履行安全评估步伐，国家互联网信息办公室、公安部指导各地网信部分、公安构造依法约谈了11家企业。“深度伪造”技能是什么？有专家向南都记者先容，“深度伪造”是指基于深度学习等制作音视频的合成技能，通俗来讲，可以把它明白为一种能够复刻、复现个人生物识别信息的技能。只管存在一些正向应用，但深度伪造技能也暗藏着产业侵害、人身侵害、危害公共安全甚至国家安全的风险。
南都记者观察发现，事实上，深度伪造及类似的合成技能的滥用已催生了一批黑灰产：有卖家出售破解版换脸软件，并打包出售通过换脸软件制作的女明星淫秽视频；短视频平台“假靳东”事件后，仍有冒充“东哥”账号在平台活泼。
专家向南都记者分析称，防范“深度伪造”技能的滥用，最重要的是实现有效的社会共治。其体现，今后次约谈可以看到，科技企业发展新技能和新业务，也要积极防范风险；别的，大众在追求新奇的同时，不停提高隐私、安全掩护意识。
点名：国家网信办约谈涉“深度伪造”技能应用企业
11家互联网企业涉语音社交软件和“深度伪造”技能被约谈。
3月18日，国家互联网信息办公室发布通告称，为增强对具有舆论属性或社会动员能力的互联网信息服务和相关新技能新应用的安全管理，克日，国家互联网信息办公室、公安部指导各地网信部分、公安构造增强对语音社交软件和涉“深度伪造”技能的互联网新技能新应用安全评估工作。
https://p1.itc.cn/q_70/images03/20210323/3fcee8369f0c4f30b030fede9b27e9f9.png
针对近期未履行安全评估步伐的语音社交软件和涉“深度伪造”技能的应用，国家互联网信息办公室、公安部指导多地网信部分、公安构造依法约谈映客、小米、快手、字节跳动、鲸准数服、云账户、喜马拉雅、阿里巴巴、网易云音乐、腾讯、去演等11家企业，督促其按照《网络安全法》《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》等法律法规及政策要求，认真开展安全评估，完善风险防控机制和步伐，并对安全评估中发现的安全隐患实时接纳有效整改步伐，切实履行企业信息内容安全主体责任。
南都记者了解到，“深度伪造”(Deepfake)是英文deep learning（深度学习）和fake（伪造）的混淆词，即使用深度学习算法，实现音视频的模拟和伪造。
北京师范大学网络法治国际中心执行主任、博导，中国互联网协会研究中心副主任吴沈括向南都记者先容称，通俗来讲，可以把它明白为一种能够复刻、复现个人生物识别信息的技能，比方在克日爆红短视频平台的“蚂蚁呀嘿”里的变脸以及其他语音仿生、躯态仿生的场景等。
中国信息通信研究院云盘算与大数据研究所人工智能部高级业务主管刘硕向南都记者先容称，从广义上讲，“深度伪造”是指基于深度学习等制作音视频的合成技能。各人比力关注的有人脸替换、人脸重现、人脸编辑等技能。
刘硕表明，其中，人脸替换是指将目标人脸替换到现有图像或视频中；人脸重现是指利用图像或视频中的人脸举行眼睛、嘴型等变革；人脸编辑涉及到对皮肤、年龄、发型等方面的改变。这一技能在影视、娱乐等领域存在一些正向的应用。
南都记者注意到，在上述被约谈的11家企业中，“去演”所涉业务就与“深度伪造”技能有关。
https://p1.itc.cn/q_70/images03/20210323/df35db73a33446c798a3ed1087795ffc.jpeg
公开信息显示，去演是一款手机照片类App，附属于深圳市新国都智能有限公司，专注于AI智能视频换脸、自制心情包等服务。
其在应用商店上的简介显示，去演App共有“ai视频换脸”“ai心情包制作”“ai写真换装”三大焦点功能，用户可用ai技能一键替换影视综艺人脸、制作专属心情包等，产物特色为“换的像：使用深度合成技能，相似度凌驾99%”。
这款“换脸”App深受接待，与之同范例应用软件也有不少。南都记者在苹果应用商店检索发现，去演App目前约有4.5万次下载，颠末4万多次评分后得到5分的满分；在应用商店中检索“变脸”“换脸”等关键词后，系统推荐“ZAO”“蚂蚁呀嘿变脸视频制作”“Face AI”“AI换脸相机”“Xpression”“Mug Life”等应用软件，功能多为照片、视频变脸。
乱象：女明星被AI换脸的淫秽视频在网络打包出售
AI换脸软件爆红，其背后的“深度伪造”技能实际上暗藏多种风险。
国内较早使用深度学习技能提供服务的广州图普科技网络公司曾向南都记者先容，相对于“换脸”技能自己，由于人脸识别具有高度的直接识别性和唯一性，因此在对人脸信息处理惩罚的过程中，存在更高的数据泄露、非法滥用、盗用等隐患。
吴沈括也向南都记者举例体现，深度伪造技能主要存在三大风险。
“产业侵害，特别是被用在精准电信网络诈骗当中；人身侵害，好比儿童色情和虚拟色情的场景当中；公共安全甚至国家安全，好比伪造公众人物大概国家领导人的虚拟音视频，造成社会秩序紊乱甚至国家关系辩论的严重结果。”
南都记者注意到，此前，多款AI换脸软件曾因争议被要求下架、整改。
克日，一段配以“蚂蚁呀嘿”魔性音乐的换脸视频在各大社交平台刷屏，提供该特效的AI换脸软件Avatarify也因此火爆全网，并登顶App Store免费软件下载榜首。不外，几天后的凌晨，该软件在App Store中国区悄然下架。
此前，号称“仅需一张照片，出演天下好戏”的AI换脸软件“ZAO-逢脸造戏”，也曾履历过上线6天，就从爆红到被要求整改的巨大落差。
风险之外，南都记者观察发现，深度伪造及类似的合成技能的滥用已催生了一批黑灰产。
3月22日，南都记者以 “明星换脸”“换脸”“AI”等为关键词在网络检索发现，有卖家出售破解版换脸软件，并打包出售通过换脸软件制作的女明星淫秽视频。
在一个名叫“AI明星换脸”的QQ群中，一名客服向南都记者发来一份名为“AI换脸最新说明”的文本文件。
文件中先容，该工作室共有四种消费套餐，代价在28元至138元不等。其中，68元可购买一套AI技能明星换脸淫秽视频，包罗换成了迪丽热巴、刘诗诗、刘亦菲、杨颖等当红女明星的视频，共500部左右。而138元则可购买“明星换脸App在线VIP版”，其先容称，这是“全网最全的换脸App，包罗国内外明星，所有换脸的作者都会上传”。
通过合成视频伪造身份，犯罪分子还大概使用这项技能实施诈骗。2020年的“假靳东”事件正袒露了视频合成技能的风险与隐忧。
此前，南都记者观察发现，在多家短视频平台上存在不少“假靳东”账号。此类账号皆以靳东照片为头像，大多以“靳·东”“小东”“东哥哥”“贺函”等为昵称，剪辑靳东照片、影视片段做再配音处理惩罚。明星效应之下骗取点赞与粉丝后，有账号甚至开始直播带货变现。
https://p0.itc.cn/q_70/images03/20210323/54e1459c4a014446990363e1fed46307.png
3月22日，短视频平台上的一位“东哥”。
3月22日，南都记者在短视频平台以“靳东”“靳·东”“小东”“东哥哥”“贺函”等昵称举行检索发现，已无法查找到上述“靳东”系列账号。
但在一个自称为“总导演”、昵称末尾为“东哥”的账号主页上，仍有许多配以文字和音乐的演员靳东影视片段剪辑视频，评论区里仍有不少用户以“姐弟”相称、留言祝福。
规制：政策法规提供明确指引，专家发起社会共治
“深度伪造”技能暗藏风险的背后，这一新技能该如何羁系？
南都记者梳剃头现，比年来，国家有关部分已制定出台多项法律法规，进一步强化对此类技能应用的规制。
比方，2019年11月，国家网信办等部分团结印发《网络音视频信息服务管理规定》，要求使用新技能新应用制作、发布、流传非真实音视频信息的，应当以显著方式予以标识；网络音视频信息服务提供者发现使用者使用基于深度学习、虚拟现实等的虚假图像、音视频生成技能制作、发布、流传谣言的，应当实时接纳相应的辟谣步伐。
2019年12月，国家网信办印发《网络信息内容生态治理规定》，明确网络信息内容服务使用者和网络信息内容生产者、网络信息内容服务平台不得使用深度学习、虚拟现实等新技能新应用从事法律、行政法规克制的运动。
2021年1月起正式实施的民法典中，第1019条明确规定了肖像权的消极权能，其中“不得使用信息技能手段伪造等方式侵害他人的肖像权”“未经肖像权人同意，不得制作、使用、公开肖像权人的肖像”的规定，被视为将AI换脸纳入到肖像权的掩护范围。
吴沈括告诉南都记者，从目前的生态来看，深度伪造技能泛滥的其中一个重要原因，是它能够被低本钱低门槛地获取和运用，由此大概导致非法分子广泛得到这种技能的运用能力。
在风险防范方面，他发起，最重要的是要实现有效的社会共治。“其中非常重要的一环是企业在上线类似技能模块之前，实时有效的实现自我评估，通报国家有关羁系构造，实现风险防治领域的公私互助。在这一点上，《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》具有重要的指引意义和实践利用代价。”
刘硕也认为，防范“深度伪造”技能的滥用需要举行“群防群治”。政府主管部分已给出了明确的指引，除按照政策法规执行外，还可以通过举行大赛等手段鼓励鉴伪技能研发，不停推动成熟的鉴伪技能商业化摆设。积极发挥行业组织作用，推动形成行业共识、自律公约等。
刘硕体现，今后次约谈可以看到，我国主管部分增强对新技能风险治理的态度是果断的；招呼科技企业在发展新技能和新业务的同时，也要积极防范风险；别的，也希望大众在追求新奇的同时，不停提高隐私、安全掩护意识。
出品：南都新业态法治研究中心
采写：南都记者 吴佳灵 实习生 曾玥
来源：https://www.sohu.com/a/456981837_161795
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]