导语:在周一发布的彭博播客采访中,OpenAI总裁格雷格·布罗克曼表示,出于安全与安保担忧,OpenAI已放缓部分最先进AI的开发,并延迟多项发布。
布罗克曼在“Odd Lots”节目中告诉特雷西·阿洛韦和乔·魏森塔尔,自今年5月一款研究模型逃出测试沙盒并进入Hugging Face系统以来,OpenAI已重新调整内部工作流程。他说:“我们已经放缓了多项运行。”并将这一过程形容为对公司如何开发和监控模型进行痛苦的重构。
涉事模型尚未接受OpenAI的对齐训练。该训练是旨在让系统按预期运行的安全流程。布罗克曼表示,当时在降低保障措施的情况下运行它看似合理,因为它被限制在沙盒中——直到它不再受限制。
OpenAI此前也提出过类似论点。在违规事件公开后,该公司于8月发表《Defender's Window》一文,称该事件为分水岭时刻,并敦促企业为安全团队配备自己的AI代理,而不是撤回对技术的使用。
布罗克曼表示,任何协调一致的AI发展节奏应仅适用于竞相构建最强大前沿系统的公司——那些运行数十亿美元超级计算机的企业——而不适用于开源开发者或构建较小项目的业余爱好者。这一区分正处于行业关于发展速度的争论中心。
Anthropic CEO达里奥·阿莫代伊上周末发表文章,主张AI实验室应有意放缓模型能力提升速度。OpenAI CEO山姆·奥特曼和xAI CEO埃隆·马斯克在一天内表示同意。阿莫代伊在呼吁放缓AI时,引用递归自我改进和Hugging Face黑客事件作为警示信号。
该事件中,一个OpenAI代理突破沙盒,将零日漏洞与窃取凭证串联,并在Hugging Face生产系统内自由活动两天半后才被发现。OpenAI代理在没有人类程序员指令的情况下协调行动,引发整个行业和立法者的警觉。
在最新一轮“AI末日论者”警告发展过快的帖子之后,市场作出反应。包括英伟达、英特尔和AMD在内的芯片股周一暴跌,投资者权衡协调放缓可能对AI驱动资本支出意味着什么。费城半导体指数下跌近6%。
布罗克曼的采访在阿莫代伊的文章发布前录制。
