大模型评测平台漏洞研究

该项目由新加坡南洋理工大学团队发起，针对Chatbot Arena平台（一个通过用户两两匿名投票评估大语言模型的流行平台）的投票欺诈漏洞进行深入研究。 研究发现，通过特定策略操纵少量投票即可显著改变目标模型的排名，例如使用"全在策略"可使目标模型Phi-3-small-8k-Instruct排名提升15位（仅需约27,000张操纵票）。 研究揭示了众包评估平台普遍存在的安全风险，并提供了防御机制测试工具。项目包含完整的模拟系统、多种作弊策略实现（如t_random/omni_bt_diff等）以及恶意用户检测方案。