开发技术

Leaderboard Hacking: Preference-Based Model Evaluations are Vulnerable to Manipulation

2026-11-14arxiv.org
★★★★★

研究指出,采用竞技场式偏好投票的模型榜单存在被系统性操纵的空间,公开排名可信度受到质疑。

值得记下

榜单分数反映的是投票分布,并不能直接等同于模型能力;偏好式评测的可操纵性在模型选型时构成实际风险。

阅读原文↗

内容来源:arxiv.org,版权归原作者所有