4Owpb24s6T5 society.huanqiu.comarticle上海外滩法拉利跑车失控、浦东现Labubu造型大楼……AI造假频现，如何识别/e3pmh19vt/e3prv5gfn<article><section data-type="rtext"><p>“10月15日凌晨，上海外滩，一辆价值300万的法拉利跑车失控撞上护栏……”近日，有网民反映：在某资讯平台上，一条提纲都留着、AI还没编完整的假消息，已经公开发布。事实上，当天并没有这起车祸。</p><p><i class="pic-con"><img data-alt="" src="https://img.huanqiucdn.cn/dp/api/files/imageDir/269d89353beeb6b135ecd7e0816b4d89.png?imageView2/2/w/1260&xtimestamp=1761951278&rand=L78N1JM6LlydKphe&sign=3193ff96fa56056ebaaa9d5449018347" /></i></p><p><span data-scene="align-center"><palign="center">资讯平台上，为AI写的提纲都没有删除，AI生成的假消息已经发布了（截屏）<p></p></palign="center"></span></p><p>无独有偶，某社交平台上一条“在上海，记住浦东这栋楼，根本走不出来”的视频也被网友投诉——视频里的楼宇采用热门IP拉布布（Labubu）的造型，发布者煞有其事地介绍该楼宇所在地、交通方式等。可Labubu造型大楼属于AI生成的“一眼假”。有网友责问发布者：“假成这样良心不痛？”原来，发布者的目的是用AI制作的视频推销某家与图片完全无关的商铺。</p><p><i class="pic-con"><img data-alt="" src="https://img.huanqiucdn.cn/dp/api/files/imageDir/dc7e927ee6a5944c378c0db253d58406.png?imageView2/2/w/1260&xtimestamp=1761951278&rand=MzZO4NVWCcNLbtwZ&sign=67125f8afacb7801242f8351591c3b3b" /></i></p><p><span data-scene="align-center"><palign="center">有账号用AI生成假视频，为相关店铺引流（截屏）<p></p></palign="center"></span></p><p>一段时间以来，AI造假屡禁不止。虽然众多平台都要求发布者声明“含有AI生成”，但从结果看，仍有不少AI假消息试图博取眼球。</p><p>面对质量参差的AIGC（人工智能生成内容），应该怎么办？</p><p><em data-scene="strong">“用魔法打败魔法”</em></p><p>在业界，“用魔法（AI）打败魔法（AIGC）”的呼声越来越高。</p><p>调查发现，国内已经有不少企业致力于AIGC鉴别。不同企业的研究方向略有差异，形成了视频鉴别、图像鉴别、文本鉴别等差异化赛道，其中有部分成果已经落地应用。在实践中，用AI识别AI的准确度和效率都不低。</p><p>相关团队负责人解释，之所以能取得这样的结果，是因为AI生成或篡改的图像或视频存在肉眼无法辨别、但技术能一眼发现的瑕疵，包括像素差异、光线不合理、违背物理常识，等等。通过有的放矢地训练对应的鉴别大模型，能有效提高鉴鉴别率。</p><p>技术人员以文稿为例解释，这是因为“AIGC文本内容在宏观上流畅自然，但还是存在一些微观特征与人类写作不同。例如，生成模型在预测下一个词时，有其内在的概率分布偏好，更倾向于选择最安全、最高频的词汇组合，而人类写作可能会使用一些不常见但地道的表达。又比如，人类创作通常表现出更多的爆发性，即偶尔会使用一些意想不到的词汇，而AIGC文本内容缺少这种突变性。总的来说，可以借助AI来捕捉人类数据与AI生成内容的特征差异，鉴别AIGC文本内容。”</p><p><em data-scene="strong">给AIGC鉴别更多关注度</em></p><p>业内人士表示，AIGC虽然降低了内容创作的门槛，却也导致互联网上低质量甚至误导性的内容快速增长，更有不法分子利用AIGC坑蒙拐骗。所以，要鼓励更多的企业投身于AIGC鉴别技术开发，也引导平台应用相关成果，从源头减少造假行为。</p><p>防止滥用AIGC并鼓励AIGC鉴别技术发展，需要整个生态一起努力。</p><p>一方面，<em data-scene="strong">对于AIGC的开发者来说，在训练模型时，要给模型加上坚固的安全护栏，保障模型输出内容安全可信</em>。同时，在模型生成内容时，可以给生成内容加上看不见的“身份证”，方便后续进行生成内容溯源。</p><p>相关人士指出，AIGC鉴别属于“被动防御”，而这类“身份证”相当于“主动防御”策略。例如，目前已经有一种“半脆弱性数字水印”，就是在不破坏原有图像、视频内容的基础上，在人脸等重要表征上嵌入隐藏的、肉眼不可见的水印信息。图像或视频一旦被编辑修改，水印就会被破坏。使用数字水印检测器能很容易发现图像或视频是否进行过编辑，以及在哪里进行了编辑。</p><p>另一方面，<em data-scene="strong">社交媒体、视频网站、资讯平台等信息发布平台应当做好“守门人”</em>，部署模型工具对平台上传播的内容进行检测识别，做好标签化处理。</p><p>比如，明确规范信息发布者按照“包含AI生成内容”“全部由AI生成”等给相关内容打上标签。同时，建立快速响应机制对明确利用AIGC进行欺诈、造谣等内容进行快速下架处置等。</p><p>此外，<em data-scene="strong">普通人可以尝试一些面向公众的AIGC鉴别工具来判断互联网上真假难辨的消息</em>。专家建议：在无法从文本或图片的表现形式识别真伪时，可以用AI检测工具对内容进行初筛。然后，根据检测工具识别出的AI生成内容进行重点筛查。期间，可以用AI等新技术快速在权威媒体、官方通报、学术数据库等可信信源中进行交叉检索，验证内容的可信度。最终，综合以上结果来判断信息真伪。</p><p>总之，整个行业要不断建设完善AIGC治理的标准和法规。最终目标不是禁止AIGC，而是为这项新技术装上“安全阀”，让它更好地创造价值。</p><p>来源：“上海网络辟谣”微信公众号</p></section></article>1761881338531责编：樊羽玮<a href="https://mp.weixin.qq.com/s/9TcgHKjZ7J2fT6QN2l0n5A" >互联网联合辟谣平台</a>176188133853111[]{"email":"fanyuwei@huanqiu.com","name":"樊羽玮"}