海报新闻首席记者 解强民 记者 孙来彬 报道
“这些都是AI伪造的我的照片，我已经到派出所报案了。”今年以来，青岛保时捷中心的销售冠军牟倩文深受困扰：有人利用AI（人工智能）技术，恶意将她的照片生成黄色视频在网络上传播。在社交平台上，牟倩文留下了“清者自清”的无奈声明，呼吁网友不造谣，不传谣。
近年来，随着AI技术飞速发展，普通人驾驭AI工具的门槛越来越低，与之相伴的风险则急速上升。AI换脸、AI克隆声音等侵权问题频频发生。
被AI“偷走”面孔、声音后
他们损失了名誉、金钱和安全感
很长一段时间里，牟倩文的名字常跟保时捷一起出现在热搜榜单上。2023年、2024年，她连续两年卖出170辆保时捷汽车，成为保时捷中国北区销冠。万万没想到，这份靠业绩赚来的名气，却成了她被造谣的“导火索”。
青岛保时捷中心销售冠军牟倩文
今年10月，牟倩文发现网上出现大量由AI恶意合成的黄色视频，主角都长着一张她的“脸”。这让她感到惊恐又愤怒。更过分的是，还不断有人通过私信调侃她，给她的工作和生活带来很大伤害。最终，她选择了报警。
警方迅速展开调查。10月12日，青岛市公安局李沧分局对涉事男子丁某某作出行政拘留五日的处罚。这已经是一年之内，牟倩文第二次被此类视频困扰。连续被人造“黄谣”，这让小有名气的她感到心力交瘁。
而网络“素人”韦先生也有类似的遭遇。今年5月，南宁市民韦先生收到一条奇怪的短信。短信中有一张“他”裸露上半身与一名裸体女性亲昵的视频截图，并附有文字：“韦××，这是我最后一次联系你了，我也不想你因此事悔恨终身，看到照片速回，过时不候！”
南宁市民韦先生收到一条奇怪的短信，短信中有一张“他”裸露上半身与一名裸体女性亲昵的视频截图 （受访者供图）
“我当时看到短信，脑子一懵，第一反应就是我的信息肯定被泄露了。”意识到可能是不法分子利用AI合成照片进行诈骗，韦先生第一时间报了警。
牟倩文、韦先生的遭遇并非个例。海报新闻记者注意到，随着AI技术的进步，AI换脸、克隆声音等侵犯公民名誉权和隐私权的现象时有发生。
今年年初，山西太原的配音演员武扬偶然发现，自己的声音被偷偷克隆，用于广州一家火锅店的宣传片配音解说。
配音演员武扬
武扬确实与该火锅店有过合作。吊诡的是，他翻遍各种记录，均显示双方合作发生在去年。那么，眼前这支最新的宣传片中的“自己的声音”是从哪儿来的呢？
他找到对方，很快得到答复：店家为了节省成本，直接将此前合作中的武扬的声音“喂”给AI，经过学习后，几乎“零成本”克隆生成了新的宣传片配音。
“我真的非常气愤。在未确认这是AI配音前，我甚至在怀疑自己，这到底是不是我配的音？是不是我自己忘记了？因为声音真的太像了。”
从发现这件事到如今已过去半年，涉事火锅店虽然删除了相关视频，但双方始终未就赔偿问题达成一致。在此期间，武扬又发现了另外两条克隆自己声音的商业视频。作为从事配音工作的专业人员，他感到不寒而栗。
目前，武扬正在尝试通过法律途径维权。
AI滥用门槛有多低？
记者实测：2分钟时间就能无中生有
更值得警惕的是，AI工具极低的使用门槛已挡不住各怀心思的使用者们——不管这心思是非法牟利，还仅仅是好奇。
“家中闯入流浪汉，速回！”10月17日晚，安徽一女子用AI工具生成了高度逼真的“流浪汉卧坐餐厅”等图片，发给在外聚餐的丈夫，想测试其反应。没想到，丈夫信以为真，当即报警求助。民警赶到现场，确认是一场虚惊。
记者调查发现，近期已有多地出现过因“AI整蛊”引发的闹剧，有的引得亲属连夜从外地赶回，有的甚至引发整栋楼被逐层排查。民警提醒，此类行为若造成严重后果，可能触犯法律红线，涉事人员将面临拘留罚款，严重的需承担刑事责任。
曾经只出现在科幻片里的AI技术，如今的使用门槛到底有多低？海报新闻记者进行了现场实测。
以虚拟一段“流浪汉闯入家中”的视频为测试目标，记者先拍摄了一张自家厨房的照片，将照片上传到“可灵AI”“即梦”等AI软件中，随后输入一段指令性的提示词：一名流浪汉站在厨房门口，他的手里拿着一个馒头。点击生成按钮，十几秒后，一张流浪汉站在记者家中厨房的照片便出现在眼前。
只需要在AI软件中输入一段提示词，一个拿着馒头的“流浪汉”就出现在了厨房门口（右图为AI生成画面）
“照片可以PS，有视频才有真相。”抱着这样的想法，记者继续尝试。
在生成上述图片的基础上，记者继续点击生成视频按钮，并加上了描述动作的提示词：流浪汉吃了一口馒头，走到镜头前，笑了笑。几十秒后，任务完成，一段时长5秒的视频就这样生成了：流浪汉非常自然地咬了一口馒头，往前走了几步，露出微笑。视频内容与提示词的要求高度一致，甚至还能看到流浪汉走动时在门窗玻璃上映出的影子！
记者招呼同事们一起来分辨，几个人瞪大眼睛看了半天，也没找出明显的破绽。整个“图生图、图生视频”的过程用时仅120秒，付费用户还可以下载无水印的高清图片和视频。
传统印象中，想要利用软件伪造足以乱真的图片、视频，少不了高端昂贵的设备和精通代码的程序员。然而现实摆在眼前：下载一个软件，输入一两句话，就能办到。
业内人士指出，AI生成工具已实现“单图换脸”“场景植入”等功能，通过深度学习算法提取面部特征点及环境元素，可快速完成图像融合和动态生成。在此背景下，部分平台对训练语料管理不严，且未落实合成内容标识要求，导致大量虚假信息以隐秘方式传播。
用AI“管”AI是否可行？
AI治理办法亟需迭代升级
AI技术正在重塑生产生活方式。从横空出世的ChatGPT到无所不能的深度求索（DeepSeek），短短两年，人们已迅速习惯了使用AI工具。然而，迭代升级的不仅有算法，还有与之相伴的滥用风险。
短暂的惊恐和愤怒后，武扬现在有了新的担忧：以后他们（不法分子）会不会用我的声音给我的家人朋友打电话，甚至去诈骗？
有业内人士认为，分辨一段视频或声音是否是经过深度合成，最好的办法是用AI“管”AI。
人工智能大模型研究员潘季明表示，从技术角度来说，基于AI技术去识别AI内容是最快的方式。例如，专门的深度伪造鉴别模型可用于分析视频和音频中的不自然特征，如检测眨眼频率、面部肌肉运动生理一致性、音频与纯嘴唇同步率、光源一致性等等，从这些细微的物理或生理破绽中发现端倪。
北京市竞天公诚律师事务所律师马盛君指出，由人工智能引发的致损事件不断增加，尽管现有的《民法典》中针对特定场景的侵权责任规则可以调整某些人工智能应用，但无法一般性地调整不同类型的人工智能侵权行为。他呼吁人工智能服务提供者，加强内容审核和审查工作，确保技术的合法合规使用。
面对愈演愈烈的AI滥用和侵权现象，监管层面启动了多重应对措施。2025年4月，中央网信办开展“清朗·整治AI技术滥用”专项行动。第一阶段累计处置违规小程序、应用程序、智能体等AI产品3500余款，清理违法违规信息96万余条，处置账号3700余个。9月1日，《人工智能生成合成内容标识办法》正式实施，其中明确要求服务提供者对合成内容添加元数据标识，杜绝“无标识传播”。
今年早些时候，最高法院刑事审判第三庭庭长陈鸿翔在接受媒体采访时表示，针对AI深度伪造带来的新情况新问题，最高法将加强研究，会同相关部门及时出台规范性法律文件或实施细则，完善法律适用。针对电信网络诈骗犯罪这一AI侵权的重要表现形式，他指出，诈骗分子利用AI深度伪造新技术不断翻新诈骗手法，防范打击难度越来越大。对此，人民法院将积极应对挑战，强化法律支撑，完善相关法律规范。
降低技术门槛原本是为了方便AI生产工具的普及应用，却在不经意间，打开了滥用AI的“潘多拉魔盒”。随着技术的发展，AI治理办法也亟需一次迭代升级。
升红网配资提示：文章来自网络，不代表本站观点。
