Awesome-Code-LLM开源项目 – 关于代码大语言模型的调研报告

Zeno Build旨在帮助开发人员快速构建、比较和迭代使用大型语言模型应用的工具，提供简单的代码示例和实验管理功能。

TextArena 是一个专为语言模型评估和强化学习设计的文本游戏集合，提供多种基于文本的游戏环境，支持单机、双人和多人模式，具备本地和在线多人实时评分功能，并采用 Elo 排名系统。项目使用 OpenAI Gym 风格的接口，便于与各种框架集成，适用于语言模型在竞争性文本场景中的评估、强化学习实验、新文本游戏的开发与测试，以及与现有机器学习框架的集成研究。

Hallucination Leaderboard是一个用于评估大语言模型在生成摘要时的幻觉表现的排行榜，旨在提高对模型输出质量的理解和评估方法的透明度。该项目总结了多个知名语言模型在对短文进行摘要时的幻觉产生频率，目前显示GPT-4和GPT-3.5表现最佳。

iGSM是一个用于生成小学数学问题数据集的工具，能够创建不同难度级别的数学问题，并评估解决方案的正确性。该工具旨在帮助研究人员分析语言模型在数学推理方面的能力，同时创建可用于教育和研究的数据集。

一个通过模拟面试过程来评估大型语言模型（LLMs）能力的框架，让一个LLM扮演面试官的角色，通过提供反馈和追问问题来全面评估其他LLMs的能力。

DebugBench是一个包含4,253个实例的LLM调试基准，涵盖了C++、Java和Python中四个主要的漏洞类别和18个次要类别。为构建DebugBench，作者从LeetCode社区收集了代码片段，使用GPT-4向源数据植入漏洞，并确保了严格的质量检查。

Ottic是一个用于语言模型(LLM)产品的QA平台，旨在帮助技术和非技术团队高效测试基于LLM的应用程序。它提供了端到端的测试管理、全面的LLM评估和实时用户行为监控等功能。

MedAlign是一个专门用于帮助临床医师遵循电子病历生成数据集的工具，旨在提升医疗数据的质量和一致性。该项目提供了一个基准数据集，包含983个自然语言指令，由15名临床医生策划，涵盖7个专业领域，并提供303个医生编写的参考响应。此外，它还包含276个纵向电子健康记录（EHR），用于指导指令-响应对，同时也可以用于评估六种常规领域语言模型的性能。

SciBench旨在评估语言模型在复杂科学问题解决中的推理能力。通过开放和封闭数据集的深入基准测试，研究发现当前的语言模型在整体性能方面表现不佳，仅得到35.80%的分数。

Promptfoo是一个专门为测试和增强语言模型数学（LLM）提示而设计的库，提供强大的工具来评估提示质量和模型输出，从而提升结果。

Interview AI是一个智能面试工具，能够在全球范围内处理各类技术面试，帮助用户节省寻找面试官的时间和精力。用户只需安心坐着，观察面试的进行，体验AI带来的高效与成功。

Janus Gateway 是一个通用的 WebRTC 服务器，旨在提供多种实时通信功能。它支持各种音视频流媒体，并具有插件架构，允许开发者扩展功能。Janus Gateway 提供多路复用和混音功能，支持视频会议、视频直播和音频通话，能够与现有的 SIP 和其他协议集成，适合构建复杂的实时通信应用。

LangLabAI是一个使用户能够快速有效地创建个性化外语学习工作簿的平台。用户可以在几秒钟内生成针对不同主题的定制PDF工作簿，满足其学习需求。

DoryAI 是一种更自然和直观的方式来复习和保留新知识。用户可以根据自己的课程材料轻松生成抽认卡，使用自己的声音回答问题，并获得个性化的、建设性的反馈，从而增强自信心。

Sage是一款便捷的工具，用户只需输入简单命令，即可与代码库进行对话交互，获取详细解释和相关代码引用。它支持自然语言查询，适用于多种代码库，并能在本地进行定制，支持私有库。