OpenAI强化安全机制，设立安全咨询小组以抵御人工智能风险

12月19日消息：OpenAI正在加强内部安全流程，以对抗有害人工智能的威胁。公司新设立的「安全咨询小组」将居于技术团队之上，向领导层提出建议，并授予董事会否决权——当然，是否会实际行使这一权力则成为另一个问题。

通常，这类政策的细节往往涉及许多外界不为人知的闭门会议、职责流程和功能，因此不太需要被报道。然而，最近领导层的动荡和不断演变的AI风险讨论引起了人们对这家全球领先的AI开发公司如何处理安全问题的关注。

在一份新文件和博客文章中，OpenAI探讨了他们更新的「预备框架」，该框架可能在去年11月的重组后进行了一些调整。更新的主要目的似乎是明确展示他们正在开发的模型固有「灾难性」风险的识别、分析和处理路径。他们将灾难性风险定义为可能导致数千亿美元经济损失或导致大规模人员伤亡的任何风险，包括但不限于「机器崛起」类型的风险。

已投入生产的模型由「安全系统」团队管理，通过API限制或调整以缓解ChatGPT的系统性滥用。正在开发的前沿模型则由「预备」团队负责，在模型发布之前试图识别和量化风险。而「超级对齐」团队正在为「超级智能」模型制定理论指导原则，尽管离实现这一目标可能还有很长的路要走。

OpenAI的框架记录了每个模型在四个风险类别上的评级：网络安全、说服力（例如虚假信息）、模型自主性和CBRN（化学、生物、放射性和核威胁）。各种缓解措施考虑后，如果模型仍被评估为「高」风险，将无法部署。此外，如果模型具有任何「关键」风险，将不会进一步开发。

为了更全面地评估风险，OpenAI正在组建一个「跨职能安全咨询小组」，该小组将位于技术层面之上，审查专家报告并提出更高层次的建议。这一流程要求建议同时发送给董事会和领导层，领导层将决定是否发布或搁置，而董事会将有权推翻这些决定。

通过这一新机制，OpenAI有望避免之前发生的类似事件，即高风险产品或流程在董事会未知或未批准的情况下获得批准。这一新机制的透明度将受到关注，尽管OpenAI承诺征求独立第三方审计的意愿。

在阅读OpenAI完整的准备框架（测试版）之前，我们期待这一新机制能够有效地提高对人工智能安全性的关注和管理。

阅读 OpenAI 完整的准备框架（测试版）：https://cdn.openai.com/openai-preparedness-framework-beta.pdf

小编就经常提到,文章人类进步的阶梯。好的文章一定要与人分享.