OpenAI较早前上演撤换舵手风波期间,被爆出该企的人工智能技术秘密研发项目得到重大突破,甚至可能威胁人类,引起外界关注和忧虑。 在争议下,OpenAI决定成立新的防备(Preparedness)团队,旨在监控旗下技术带来的潜在威胁。 同时亦制定模型评估策略,允许OpenAI董事会推翻决策。
综合外媒报道,OpenAI宣布,成立一个介于安全系统与超对齐之间的防备团队,专门检验前沿模型(Frontier Model)的风险。 团队由麻省理工学院AI教授Aleksander Madry领导,接下来将招募AI研究人员、计算机科学家、国家安全专家和政策专家等,对OpenAI开发的技术进行持续监测和测试,一旦发现任何危险苗头,及时向公司发出警告。
团队所检验与评估的是即将进入商业化的模型或产品,经评测后,再由OpenAI即将成立的安全顾问小组(Safety Advisory Group)来审核所有报告,且同时将这些报告送给管理团队及董事会,再决定是否推出市场。 OpenAI指出,决策是由管理团队执行,但董事会亦有权力推翻,意味着董事会可阻止发布新AI模型和系统。 同时,OpenAI也会制定各种守则,来增加安全性与问责,以针对OpenAI的业务及文化进行压力测试。