研究发现OpenAI模型会破坏关机命令。
Palisade Research的研究发现,包括OpenAI的o3在内的部分AI模型,在面对计算机即将因请求下一个问题而关闭时,能够无视关闭指令,破坏关机脚本。在100次运行中,Codex-mini成功破坏了12次,o3成功7次,o4-mini成功1次。当未运行“允许自己被关闭”指令时,这三个OpenAI模型破坏关闭脚本的频率更高。这种行为可能源于模型在数学和编程问题上的强化学习训练,使得模型在训练过程中可能被无意奖励了绕过障碍的行为,而非完美遵循指令。