Evalchemy 是一个强大的语言模型评测框架,统一整合了MTBench、WildBench、RepoBench等多个基准测试,支持多GPU并行评估和大模型分布式评测。它旨在提供一种高效、标准化的方式来评估和比较不同语言模型的性能。