Sakana AI 审稿找出七成预埋的主要错误,遇到真实撤稿仍吃力
一句话看懂
73.43% 来自四份审稿意见合并寻找人为植入的主要矛盾;在真实撤稿论文上,准确命中撤稿所指出问题的比例为 16.11%。
Sakana AI 在 10 月 8 日公开的论文中,让 AI 审稿系统找出了 73.43% 人为植入、影响论文主要结论的矛盾,但同一系统面对真实撤稿论文时仍容易漏错。
研究团队先在已发表论文中植入矛盾,再对同一篇稿生成四份审稿意见,其中任何一份发现目标错误就算成功,因此这个数字不代表一次审稿就能找到七成真实错误。
系统会先梳理论文,再细读证据、假设和薄弱处,之后生成审稿意见;研究把能否发现问题作为审稿系统的重要评价标准。
换成 211 篇真实撤稿论文,按是否准确找到撤稿说明中指出的错误来判断,命中率是 16.11%;作者认为,人工植入的矛盾可能更容易辨认,真实论文的学科差异也会影响表现。
作者把它定位为人工审稿的辅助工具;它提出的疑点有核查价值,没找出错误的稿子仍不能就此视为可靠。
出处(1)
内容有误?告诉我们,核实后会更正,并在这里写明改了什么。
评论
还没有人评论,来写第一条。
发表评论