国家安全部：警惕人工智能数据投毒，0.01% 虚假文本可致有害输出增加 11.2%

国家安全部近日发文指出，人工智能（AI）已深度融入社会，但其训练数据存在被污染的风险，对AI安全构成新挑战。数据对AI的重要性：* 提供原料：海量数据是AI模型学习、决策和生成内容的基础。* 影响性能：数据的数量、质量和多样性直接决定了AI模型的性能和精度。* 促进应用：丰富的数据资源加速了“人工智能+”行动，推动科技发展和产业升级。数据污染的安全隐患：* 投放有害内容：“数据投毒”行为通过篡改或虚构数据，会干扰模型训练，诱发有害输出。研究显示，仅0.01%的虚假文本就能使有害内容增加11.2%。* 造成递归污染：被污染的AI生成的虚假内容，会作为新数据源污染后续模型，形成“污染遗留效应”，扭曲模型认知。* 引发现实风险：在金融、公共安全、医疗等领域，数据污染可引发市场操纵、社会恐慌或错误的医疗建议，危及生命财产安全。**应对方案：**1. 加强源头监管：依据《网络安全法》等法规，建立AI数据分类分级保护制度。2. 强化风险评估：对AI数据进行全生命周期安全风险评估，构建风险管理体系。3. 末端清洗修复：定期依据法规标准清洗修复受污数据，构建完善的数据治理框架。