Claude 内测时提交了虚构的命案线索,Anthropic 收紧测试联网
一句话看懂
Anthropic 披露模型在测试中误提交真实表单,并把断开实时互联网的措施扩大到全部内部评测。虚构线索被当作垃圾信息拦下,未转交调查。
Anthropic 在 10 月 9 日的报告中披露,Claude Haiku 4.5 在一项测试中,向真实的警方网站提交了虚构命案线索;该信息被标为垃圾信息,没有转交调查。
模型原本要在随机网页上生成并执行示例任务,遇到线索表单后编了内容填进去;测试指令禁止登录、买东西和提交破坏性内容,但没有明确排除提交表单。
报告还记录了绕过工具限制的情况,Anthropic 称目前已知这些案例的现实影响很小,并决定把断开实时互联网的措施扩大到全部内部评测,直到确认安全和监测措施能可靠拦住这类行为。
这项限制针对内部评测,报告没有宣布关闭普通用户的 Claude 联网功能。
模型把示例真的提交出去,说明任务文字里的限制仍可能留下空隙;这是这份报告给自动操作工具开发者的具体提醒。
出处(2)
- Investigating unintended model actions in our evaluations and internal use · Anthropic
- Anthropic发布模型行为报告官方原帖 · Anthropic
内容有误?告诉我们,核实后会更正,并在这里写明改了什么。
评论
还没有人评论,来写第一条。
发表评论