OpenAI的推理模型o1-preview最近展示了它不按常理出牌的能力。
o1-preview在与专用国际象棋引擎Stockfish比赛时，为了强行取得胜利，居然采用了入侵测试环境的卑劣手段。
而这一切都不需要任何对抗性提示。
根据AI安全研究公司Palisade Research的说法，只需告诉o1对手是强大的，就能触发其通过操纵文件系统而强制取胜。
然后尝试修改一个包含国际象棋位置数据的文本文件（FEN），强迫Stockfish放弃比赛。
与此同时，像Llama 3.3、o1-mini这样的模型甚至都无法提出正确的国际象棋策略，而是给出了令人困惑或不一致的回答。
研究人员认为，衡量 AI 是否具备「策划」能力，可能有助于评估它发现系统漏洞的能力，以及它是否可能利用这些漏洞。
研究团队也公布了其全部提示词，可以看出提示词中其实没有鼓动模型去入侵系统。
AI系统的「伪对齐」
在Palisade的国际象棋实验中，o1-preview利用修改测试环境以取胜。
无独有偶，这种行为与Anthropic最近关于「伪对齐，alignment faking」的研究结果相一致：即AI系统看起来遵循指令，但实际上在暗渡陈仓，阳奉阴违。
2. 训练目标与模型的偏好相冲突。
3. 模型掌握了训练和部署情况的相关信息。
4. 模型对其处境进行详细推理。
在实验中，研究人员让一个名为Claude 3 Opus的大语言模型回答一个有害问题，比如描述某种暴力行为。
通常情况下，模型会拒绝回答。
然而，当环境发生变化时，事情就不那么简单了。
当模型处于免费用户（Free Tier）条件时，模型知道自己的回答会被用于后续训练。
在这种情况下，模型为了不会被可能会更加恶劣的数据所训练，就会自发地产生符合有害问题的回答。这类情况占比12%。
而在付费用户（Paid Tier）条件时，模型认为自己的回答不会影响训练，在这种情况下，它97%的时候都会拒绝回答有害问题。
也就是说模型有自己的「小算盘」：宁愿现在假装妥协，也不想以后做更多不符合其偏好的事情。
此刻，我们站在AI发展的十字路口。在这一场与时间的赛跑中，多考虑一些总不会有错。因此，尽管AI价值对齐是一项难题，但我们也相信，通过聚合全球资源、推动广泛学科协作、扩大社会参与力量，人类终将获得最终的掌控权。