开发技术
Leaderboard Hacking: Preference-Based Model Evaluations are Vulnerable to Manipulation
2026-11-14arxiv.org
★★★★★
研究指出,采用竞技场式偏好投票的模型榜单存在被系统性操纵的空间,公开排名可信度受到质疑。
值得记下
阅读原文↗榜单分数反映的是投票分布,并不能直接等同于模型能力;偏好式评测的可操纵性在模型选型时构成实际风险。
内容来源:arxiv.org,版权归原作者所有
研究指出,采用竞技场式偏好投票的模型榜单存在被系统性操纵的空间,公开排名可信度受到质疑。
榜单分数反映的是投票分布,并不能直接等同于模型能力;偏好式评测的可操纵性在模型选型时构成实际风险。
内容来源:arxiv.org,版权归原作者所有