文章详情

Sakana AI 审稿找出七成预埋的主要错误,遇到真实撤稿仍吃力

一句话看懂

73.43% 来自四份审稿意见合并寻找人为植入的主要矛盾;在真实撤稿论文上,准确命中撤稿所指出问题的比例为 16.11%。

Sakana AI 在 10 月 8 日公开的论文中,让 AI 审稿系统找出了 73.43% 人为植入、影响论文主要结论的矛盾,但同一系统面对真实撤稿论文时仍容易漏错。

研究团队先在已发表论文中植入矛盾,再对同一篇稿生成四份审稿意见,其中任何一份发现目标错误就算成功,因此这个数字不代表一次审稿就能找到七成真实错误。

系统会先梳理论文,再细读证据、假设和薄弱处,之后生成审稿意见;研究把能否发现问题作为审稿系统的重要评价标准。

换成 211 篇真实撤稿论文,按是否准确找到撤稿说明中指出的错误来判断,命中率是 16.11%;作者认为,人工植入的矛盾可能更容易辨认,真实论文的学科差异也会影响表现。

作者把它定位为人工审稿的辅助工具;它提出的疑点有核查价值,没找出错误的稿子仍不能就此视为可靠。

出处(1)
  1. Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review · Sakana AI 研究团队

内容有误?告诉我们,核实后会更正,并在这里写明改了什么。

评论

还没有人评论,来写第一条。

发表评论