AI数据安全:训练与运营AI系统的核心防护准则

多客科技

作者：微信文章
本文为《人工智能数据安全：用于训练和运行人工智能系统的数据安全保障最佳实践》的一个总结。总结由大模型精炼后人工加工和完善所形成的一个文档，供读者参考学习。

AI数据安全：训练与运营AI系统的核心防护准则

摘要：数据安全问题成为数字化世界的重要元素，而人工智能（AI）的迅速扩张为数字化世界带来新的挑战，而基于数据产生的人工智能的安全风险也成为全球人工智能产业面临的巨大问题，生成式大模型带来的幻觉、数据投毒产生的偏向性决策以及近年来，人工智能机器人、无人机陆续产生的安全问题，都离不开“数据”诱发的身影。澳大利亚信号局、美国国家安全局、英国国家网络安全中心等多国权威机构联合发布的《AI Data Security: Best Practices for Securing Data Used to Train & Operate AI Systems》阐述基于AI的数据安全问题，该文档聚焦AI全生命周期中的数据安全防护，界定了AI数据安全的核心内涵，结合美国NIST AI 100-1《人工智能风险管理框架（AI RMF 1.0）》从规划与设计、收集和处理数据、构建和使用模型、验证和确认、部署和使用、操作和监控六个阶段提出十大通用数据安全最佳实践，并针对数据供应链、恶意篡改数据、数据漂移三大核心风险展开深度分析，给出针对性的风险识别与缓解策略，为各类组织保保障AI系统数据安全、提升AI结果的准确性与完整性提供了全面且可落地的指导框架

一、文档基础背景与核心目标

2025年5月，由美国国家安全局人工智能安全中心（AISC）、网络安全和基础设施安全局（CISA）、联邦调查局（FBI），澳大利亚信号局网络安全中心（ASD’s ACSC），新西兰政府通信安全局国家网络安全中心（NCSC-NZ），英国政府通信总部下属国家网络安全中心（NCSC-UK）联合编撰网络安全信息表（CSI），这是对《安全部署AI系统》联合指南的深度延伸，专门聚焦AI训练与运营环节的数安全防护。

文档的核心目标包含三方面：提升组织对AI系统全生命周期各阶段数据安全潜在风险的认知；针对AI全生命周期各阶段提供数据安全指导与最佳实践，重点解析数据供应链、恶意篡改数据、数据漂移三大风险的应对方法；通过推广完善数据安全措施、鼓励主动风险缓解策略，为AI系统数据安全构建坚实基础。核心保护对象为敏感、专有或任务关键型数据。

在概念界定上，文档依据《美国法典》15 U.S.C. 9401(3)定义人工智能为基于机器的系统，可针对人类设定的目标做出影响现实或虚拟环境的预测、建议或决策；依据美国情报界《数据管理词典》，将数据安全定义为保护数据资源免受未授权发现、访问、使用、修改和/或破坏的能力，是数据保护的核心组成部分。AI数据安全依赖于为AI全流程数据集及机器学习模型提供坚实的基础网络安全保护。

二、AI系统全生命周期的数据安全核心要求

数据安全贯穿AI系统全生命周期，是保障整个基于人工智能具象化的关键，机器学习模型从数据中学习决策逻辑的特性，使得数据被恶意操纵或者数据被错误解释和理解直接导致AI系统逻辑被篡改。AI系统生命周期各阶段安全要求层层递进、环环相扣的防护体系：



图1 AI系统全生命周期的数据安全核心维度与风险

1.计划与设计阶段：核心维度为应用场景，需开展审计与影响评估，数据安全重点是从源头融入数据安全措施、设计完善的安全协议、进行威胁建模并贯彻隐私设计原则，主要覆盖数据供应链风险，是AI数据安全的前置规划环节，决定了整体安全防护的框架基础。

2.采集与处理数据阶段：核心维度为数据与输入，需完成内外部验证，安全重点包括保障数据完整性与真实性、实施加密、建立访问控制、数据最小化、匿名化及安全数据传输，覆盖数据供应链与恶意篡改数据两大风险，此阶段是数据安全的第一道实体防线，直接决定训练数据的基础质量。

3.构建与使用模型阶段：核心维度为AI模型，需开展模型测试，安全重点是防止数据被篡改、保障数据质量与隐私（必要时采用差分隐私和安全多方计算）、保护模型训练和运营环境，覆盖数据供应链与恶意篡改数据风险，是将安全属性融入模型训练过程的关键环节。

4.验证与确认阶段：核心维度为AI模型，需持续开展模型测试，安全重点包括全面的安全测试、风险识别与缓解、验证数据完整性、对抗性测试，必要时进行形式化验证，覆盖数据供应链与恶意篡改数据风险，此阶段是发现并修复数据与模型安全漏洞的核心校验环节，且新增数据或用户反馈引入时，需遵循与训练数据相同的安全标准。

5.部署与使用阶段：核心维度为任务与输出，需完成集成、合规测试与验证，安全重点是实施严格的访问控制、零信任基础设施、安全的数据传输与存储、保护API端点及监控异常行为，三大核心风险均有覆盖，是AI数据安全从研发阶段向实际应用阶段过渡的关键，直接关系到运营过程中的数据安全落地。

6.运营与监控阶段：核心维度为应用场景，需持续开展审计与影响评估，安全重点包括持续风险评估、监控数据泄露、安全删除数据、合规管控、事件响应规划及定期安全审计，覆盖三大核心风险，是AI数据安全的持续保障环节，能够应对运营过程中不断变化的安全威胁。

若忽视任一阶段的数据安全实践，都可能导致数据损坏、模型被攻陷、数据泄露及合规违规等问题，因此各阶段的安全措施需无缝衔接、持续落地。

三、AI系统数据安全十大通用最佳实践

为保障AI训练与运营数据的安全，文档针对本地和云端运行的AI系统，提出十大可落地的通用最佳实践，涵盖数据溯源、完整性保护、身份认证、基础设施、数据分类、加密、存储、隐私保护、数据销毁、风险评估全流程完善防护体系：



图2 十大AI数据安全最佳实践

1.溯源可靠数据并跟踪数据来源：优先使用权威来源的可信、准确数据，实施数据溯源跟踪，记录数据在AI系统中的流转路径，建立经密码签名的安全溯源数据库，形成不可变、仅追加的数据变更账本，助力识别恶意篡改数据的来源，防止单一主体无痕迹操纵数据。

2.验证并维护数据存储与传输的完整性：通过校验和与加密哈希值验证数据在存储和传输过程中是否被篡改，为数据集生成唯一编码，及时发现未授权的变更或损坏，保障数据真实性，数据完整性被定义为数据因来源、谱系等因素具备的可信度，及数据流转中未被意外修改的程度。

3.采用数字签名认证可信数据修订：利用抗量子数字签名标准，为AI模型训练、微调、对齐等过程的数据集进行身份认证与验证，原始数据需经密码签名，后续修订由修改者签名，并借助可信证书机构验证该过程，防止第三方篡改数据。

4.依托可信基础设施：基于零信任架构构建可信计算环境，为数据处理提供安全隔离区，保障敏感信息在计算过程中的安全性和未被篡改性，通过隔离敏感操作降低篡改风险，为AI数据工作流奠定隐私与安全基础，提升AI生态的鲁棒性与透明度。

5.数据分类并实施访问控制：基于数据敏感性和防护要求建立分类体系，为不同类型数据匹配相应的安全控制措施，对高敏感数据实施强加密和严格访问控制，且AI系统输出数据的分类级别应与输入数据保持一致，避免单独设置防护规则导致的漏洞。

6.全面加密数据：根据组织数据保护级别采用先进加密协议，实现数据静态、传输中及处理过程的全加密，AES-256加密为行业事实标准，具备抗量子计算威胁能力，传输中数据可采用基于AES-256的TLS协议或后量子加密，具体可参照NIST SP 800-52r2《TLS实施选择、配置和使用指南》。

7.安全存储数据：使用符合NIST FIPS 140-3标准的认证存储设备，确保加密所用的密码模块能抵御高级入侵，NIST FIPS 140-2的3级安全可提供强大的数据保护，组织需结合自身需求和风险评估确定合适的安全级别。

8.运用隐私保护技术：结合实际需求采用数据去个性化、差分隐私、去中心化学习等技术，数据掩码等去个性化技术可替换敏感数据并保持数据集价值，差分隐私通过添加噪声保障数据隐私（需权衡隐私与模型精度），联邦学习等去中心化技术可实现多本地数据集训练且减少数据共享，训练和推理过程建议采用安全多方计算，需注意此类技术存在计算成本相关的实施限制。

9.安全删除数据：在重新利用或停用AI数据存储和处理的驱动器前，通过密码擦除、块擦除或数据覆盖等安全方式擦除数据。

10.开展持续的数据安全风险评估：依据风险管理框架、人工智能风险管理框架等行业标准开展持续风险评估，识别AI数据安全风险并优先采取缓解措施，同时根据不断演变的威胁、安全事件、新兴技术持续完善数据安全措施，维持稳健的安全态势。

四、三大核心数据安全风险的识别与缓解策略

文档将数据供应链、恶意篡改（“中毒”）数据、数据漂移列为AI系统最关键的三大数据安全风险，针对每类风险分析其表现形式、影响范围及易发生的AI生命周期阶段，并制定了分层、可操作的缓解策略，同时明确了数据管理者、消费者、策展者等不同主体的责任。

（一）数据供应链风险

数据供应链风险贯穿AI系统全生命周期，核心危害是第三方提供的大规模数据、未充分保护的摄入数据可能包含无意或恶意的不准确信息，不仅会攻陷基于该数据训练的模型，还会影响以被攻陷模型为基础的后续模型，且低资源威胁者可通过低成本手段实施攻击，成为数据供应链的主要安全隐患。数据消费者（未自行生成/标注数据的技术人员）使用网络规模数据库时，无法默认数据集无恶意内容，第三方模型的训练数据也可能导致AI系统出现非预期行为，且数据从摄入开始即面临内部威胁和恶意网络活动的篡改风险。针对不同类型的网络规模数据集，风险表现与缓解策略各有侧重，同时文档提出了适用于全场景的通用缓解策略：



1.通用缓解策略：数据摄入前，消费者或策展者需尽最大努力验证数据集无恶意/不准确内容，处理异常数据并丢弃可疑数据，且在摄入时为数据集添加数字签名；利用内容凭证跟踪媒体等数据的来源，该凭证为经密码保护的元数据，可记录数据起源、编辑记录等信息，为数据真实性判断提供上下文；若使用第三方训练的基础模型，需要求模型开发者提供训练数据及来源的保证，证明无已知的被攻陷数据，并跟踪模型谱系，避免使用无相关保证的模型；要求数据集和模型提供商提供正式认证，证明其系统无已知被攻陷数据；数据摄入后，存储于符合数字签名、数据完整性、数据溯源最佳实践的数据库，优先使用仅追加的密码签名数据库，数据增强的非临时更新需作为新条目存储并记录变更，访问数据库进行训练前验证证书，证书校验失败则中止训练并开展全面审计。

2.策展式网络规模数据集风险：以LAION-2B、COYO-700M为代表的数据集易遭受“分裂视图投毒”攻击，因数据集包含的部分数据托管在过期或无人维护的域名，攻击者可低价购买域名并修改数据，且攻击成本极低（约60-1000美元）。缓解策略包括：策展者为数据集中的所有原始数据附加加密哈希值，便于消费者验证数据是否被修改；消费者在下载时进行哈希校验，丢弃校验失败的数据；策展者定期爬取数据验证完整性，发现变更后清理或标记数据；策展者在发布时认证数据集无恶意/不准确内容，从数据供应链源头把控安全。

3.收集式网络规模数据集风险：以维基百科为代表的众包内容数据集易遭受“抢先投毒”攻击，因数据集按固定时间生成快照，攻击者可在快照前短时间内编辑内容，将恶意信息纳入快照，有分析显示该方式可成功投毒维基百科6.5%的内容。缓解策略包括：使用者谨慎使用此类数据集，验证数据未被操纵，仅使用可信方验证的快照；数据收集方随机化快照顺序、冻结内容编辑并完成审核后再发布快照，增加攻击者维持数据控制的时间，降低投毒成功率。

4.网络爬取式数据集风险：此类数据集的策展程度远低于其他网络规模数据集，无可信策展者检测恶意编辑，也无法为原始数据附加加密哈希值，网页更新的无界性也导致难以建立信任信号，风险叠加性最强。缓解策略包括：使用者采用共识方法，如仅信任在多个网站出现的数据对，增加攻击者的投毒成本；组织需自行开展数据策展，确保数据无恶意/不准确内容，若无足够资源开展尽职调查，应避免使用此类数据集，直至建立信任基础设施。

文档强调，数据投毒需从供应链视角解决，模型训练和微调者需选择可靠的模型提供商、验证模型合法性，基础模型训练者需尽最大努力过滤恶意和不准确数据，且策展者与模型提供商应能证明其过滤方法的有效性，下游使用者需将安全声明审查纳入安全流程。

（二）恶意篡改数据风险

恶意篡改数据风险覆盖除计划与设计外的其余五大AI生命周期阶段，核心危害是数据的故意操纵会导致AI结果不准确、决策失误、系统安全被攻陷，同时非故意的数据错误、重复也会影响AI系统的安全性和性能，具体表现为对抗性机器学习威胁、不良数据声明、统计偏差、虚假信息投毒、数据重复五类子风险，各类子风险的形成原因与缓解策略各有针对性：

1.对抗性机器学习威胁：攻击者通过数据投毒破坏训练数据集完整性，引入对抗样本导致模型分类错误，或通过模型反演从输出中提取训练数据的敏感信息，直接破坏模型可靠性并泄露数据。缓解策略包括：数据预处理阶段融入异常检测算法，识别并移除恶意数据点；通过过滤、采样、归一化等方式清理训练数据，且每次训练、微调前均需开展清理；保障数据采集、预处理、训练流水线的安全，防止数据集和模型参数被篡改；实施集成学习/协同学习框架，通过多模型共识输出抵消数据投毒的影响；采用数据匿名化技术保护敏感数据属性。

2.不良数据声明：以元数据缺失、被篡改为代表，元数据的不完整会导致数据解读偏差、模型性能故障，恶意篡改元数据则直接引发系统安全风险，数据声明是描述数据集、帮助开发者理解模型适用场景和偏差的关键载体。缓解策略包括：建立完善的数据治理体系，保障元数据的记录完整、准确且安全；数据用于AI训练前，开展元数据完整性和一致性验证；利用参考数据、可信第三方数据补充缺失元数据，提升训练数据质量。

3.统计偏差：训练数据中的人工痕迹、采样偏差、收集偏差会导致AI系统出现系统性的不准确行为，长期未解决会持续降低模型准确性。缓解策略包括：定期审计训练数据，检测并处理可能导致偏差的问题；确保训练数据能代表相关主题的全部信息，且将数据合理划分为训练、开发、评估集，无重叠划分以准确衡量偏差；识别并缓解可能导致模型故障的边缘案例；建立模型输出偏差实例库，利用该库优化训练数据审计，并通过强化学习纠正已测偏差。

4.虚假信息投毒：攻击者故意在训练数据中插入不准确、误导性信息，影响AI系统的性能、结果和决策过程，属于数据投毒的典型形式。缓解策略包括：尽最大努力识别并移除数据中的虚假信息；数据采集阶段实施溯源验证机制，通过交叉验证、事实核查、来源分析等方式保障数据准确性；增加良性训练数据的规模，通过数据增强生成原始样本的变体，以数量抵消投毒样本的影响（该策略仅适用于训练阶段）；训练阶段实施数据质量控制，通过完整性检查、统计偏差分析、模式识别检测投毒样本，主动防范问题。

5.数据重复：训练数据中的无意重复（含近重复）会导致模型过拟合，降低模型的实际泛化能力，近重复数据因存在格式、缩写等细微差异，检测难度更高。缓解策略为实施数据去重技术，通过模糊匹配、哈希、聚类等方式精准识别并处理重复和近重复数据，保障数据集的多样性。

（三）数据漂移风险

数据漂移（分布偏移）仅发生在AI系统的部署与使用、运营与监控阶段，指运营中AI系统输入数据的统计属性与原始训练数据发生变化，是自然且可预期的现象，但初期的微小性能退化若未及时处理，会逐步演变为严重的模型准确性和完整性下降，最终导致AI系统失效。文档强调需区分数据漂移与数据投毒攻击：数据漂移的性能变化是缓慢、渐进的，而数据投毒的变化是突然、剧烈的，可通过持续监控系统性能进行区分。

数据漂移的成因主要包括三方面：上游数据流水线发生未纳入模型训练的变化（如数据单位转换）；引入模型从未见过的新数据元素（如反病毒产品遇到新型恶意软件）；输入与输出的关联语境发生变化（如企业并购导致组织架构变更，引发数据访问模式变化并被AI误判为安全威胁）。高风险应用场景（如医疗）中，数据漂移的早期检测与缓解至关重要，否则会直接造成实际危害。

针对数据漂移的缓解策略，核心是建立“监控-识别-处理-优化”的闭环体系，同时结合AI系统的应用场景制定个性化的防护协议：一是实施符合本文最佳实践的数据管理策略，便于添加和跟踪模型训练与适配的新数据元素，精准识别引发漂移的数据源并采取缓解措施；二是利用数据质量评估工具筛选训练和适配数据，通过理解数据集特性及其对模型行为的影响，提升漂移检测的准确性；三是持续监控AI系统的输入与输出，采用合理的统计方法对比训练数据与测试数据的分布，判断是否发生漂移，并及时利用最新数据更新模型；四是融入应用特定的数据管理协议，包括持续监控、定期重训练、数据清理、集成模型使用等，且从AI系统设计阶段即纳入数据管理框架，提升整体完整性和安全态势。目前数据管理工具与方法仍处于研究阶段，组织需结合自身业务持续优化相关策略。

五、结论与实践启示

文档明确，数据安全是AI系统开发与运营的重中之重，随着各行业对AI驱动结果的依赖度不断提升，数据安全成为保障AI准确性、可靠性和完整性的核心支撑。本文提出的最佳实践与风险缓解策略，为组织应对数据供应链、恶意篡改数据、数据漂移三大核心风险提供了完善的框架，而数据安全是一个不断发展的领域，持续的警惕和适应是应对新兴威胁与漏洞的关键。

对于各类组织而言，需将AI数据安全措施融入全生命周期的每一个环节，落实十大通用最佳实践，针对不同风险类型制定分层的缓解策略，明确数据策展者、消费者、模型开发者等不同主体的安全责任，同时加强跨主体、跨行业的协作，跟踪数据安全与AI技术的发展趋势，持续优化防护体系。通过采纳本文的指导原则，组织能够有效强化AI系统的安全防护，保障敏感、专有和任务关键型数据的安全，最终提升AI驱动结果的可信度与可靠性。

本文的发布也为全球AI数据安全治理提供了参考，多国权威机构的联合编撰使得相关准则具备跨地域的适用性，强调“隐私设计”“零信任架构”“持续风险评估”理念，为未来AI数据安全发展提供核心方向，为平衡AI技术创新与数据安全防护提供了关键指引。