完善标识制度防范人工智能生成合成内容以假乱真
来源：贝博app体育下载安装 发布时间：2025-03-30 02:40:36
国家网信办等部门近日联合发布《人工智能生成合成内容标识办法》（以下简称《标识办法》），明确要求对可能会引起公众混淆或者误认的生成合成内容添加显式或隐式标识。这是全世界内首部关于人工智能（AI）生成合成内容标识的国家标准，是关于AI内容治理机制建设的重要探索，对推动AI内容产业有序发展具备极其重大的指导意义。
近年来，AI技术快速地发展，为用户生成合成多元化的文本、图片、代码、音频、视频、虚拟场景等信息提供了重要工具，促进了相关产业繁荣，也为经济社会持续健康发展创造了巨大机遇。截至去年底，我国已有302款生成式AI服务在国家网信办完成备案，生成式AI产品用户规模达到2.3亿人。今年政府工作报告提出，持续推进“人工智能+”行动，将数字技术与制造优势、市场优势更好结合起来，支持大模型广泛应用。
AI技术在推动各行各业技术革新的同时，也带来深度伪造、虚假信息等潜在风险。有媒体调查，一家MCN（多渠道网络）机构利用AI技术每天生成数千篇谣言文章，它们看上去都“真实合理”，对于不熟悉网络技术的受众而言，其中“有图有真相”的内容信息很容易信以为真。“地铁行凶”“西安突发爆炸”“重庆巫溪一民房发生爆炸事故”等虚假图片、视频都曾产生恶劣的社会影响，它们均为AI批量制造。
AI技术被滥用的最严重的问题是实施犯罪。2024年6月，“男子用AI伪造学生同事裸照”冲上微博热搜。据调查，嫌疑犯用AI“一键去衣”技术，深度伪造淫秽图片近7000张，再以每张1.5元卖出，非法获利近万元。2024年1月，香港一家跨国公司遭遇“变脸”诈骗，诈骗者通过公开渠道获取有关的资料，利用深度伪造技术合成该公司高管的形象和声音，并制作出多人参与视频会议的虚假视频，诈骗金额高达2亿港元。
许多技术革新都有“双刃剑”属性，AI技术也是如此。在挖掘AI技术正向功能的同时，正视其潜在风险并进行一定的规制与防范，慢慢的变成了国际共识。2024年4月，美国国家标准与技术研究院发布《降低合成内容带来的风险》，列出检测、验证和标记合成内容的方法，包括数字水印和元数据记录。2024年8月1日，欧盟《人工智能法》正式生效，规定生成合成音频、图像、视频或文本内容的有限风险AI系统应履行透明度与明确标识义务。2024年3月，联合国发布《抓住安全、可靠和让人信服的AI系统带来的机遇，促进可持续发展》，鼓励开发和部署有效、可获取、适应能力强、具有国际互操作性的内容认证和来源识别机制。
综合来看，不论是有关国家还是国际组织，均肯定AI生成内容标识的制度价值，并已提出对应规范，在价值层面倡导真实性以遏制虚假信息、深度伪造，在技术层面大都采用水印、内容标签等标识技术进行规制。我国在规范AI应用方面走在全球前列。国家网信办等部门于2022年发布的《互联网信息服务深度合成管理规定》，是全球范围内首次明白准确地提出生成式AI标识义务的部门规章，要求深度合成服务提供者对深度合成服务履行标识义务。
