英国机构呼吁加强前沿AI安全管理

  新华社伦敦10月12日电（记者张家伟）英国人工智能安全研究所12日发表文章说，随着前沿人工智能（AI）能力快速提升，安全风险正前移至模型开发阶段，而现有安全评估方法难以跟上技术发展，有必要探索新的技术安全实践，以确保前沿AI开发活动安全进行。

  文章指出，此前AI模型安全评估主要着眼于确保公开发布时的安全性，但如今部分AI系统自主能力增强，尤其在网络安全领域，即使模型尚未公开发布，也可能在训练、内部部署和评估过程中带来风险。

  与此同时，AI能力快速演化，使得评估AI能力的测试基准往往很快失去区分度。而由于需要涉及越来越复杂的任务、多智能体环境、持续多天运行和更严格的安全控制等，建立新的评估体系需耗费一定时间。此外，现有AI对齐（对齐即确保AI行为符合人类意图）和控制方面的评估手段仍处起步阶段，这意味着不能确保自主性日益增强的AI智能体完全按预期行事，或安全监控措施能可靠捕捉其不当行为。

  为应对这些挑战，人工智能安全研究所提出八项技术安全实践重点，包括开发全过程风险评估与记录、AI系统全生命周期监督、维护和评估监督机制、AI智能体安全事件响应和报告、共享有关AI发展速度的信息、独立审查与评估、安全相关领域能力评估以及对AI对齐方面情况的评估。

  文章说，该机构已与AI行业合作，在超过55个AI模型公开发布前对其进行了独立评估，制定了安全保障评估原则，帮助建设风险评估和安全框架。随着这些实践逐步成熟，需要通过相关国际标准制定机构将其转化为正式技术标准。

  人工智能安全研究所隶属于英国科学、创新和技术部，主要开展先进AI系统的能力与风险评估、安全技术研究。英国人工智能大臣卡尼什卡·纳拉扬当天在伦敦发表讲话说，人工智能安全研究所将在推动各方形成对相关技术标准的共识方面发挥重要作用。英国政府多个部门将与人工智能安全研究所合作，制定应对AI智能体安全事件的有效措施。

(责编：王禹蘅、崔越)