simple-evals开源项目 – 轻量级语言模型评估库

Bench是一个用于评估语言模型(LLM)在生产用例中的工具，支持多种语言模型的评估，并提供详细的评估报告和指标，易于集成到现有的生产环境中，且支持自定义评估用例。

JudgeLM是经过微调的语言大模型，旨在有效、高效地在开放式基准测试中评估语言大模型（LLM），提供系统化的模型能力和行为分析，解决多种偏见问题，并在新旧基准测试中展示出色的评判性能。

AgentBench是一个多维演进基准，评估语言模型作为Agent的能力，包含8个不同环境，专注于LLM在多轮开放式生成场景中的推理和决策能力。

ai2-olmo-eval 是一个评估套件，旨在为语言模型在自然语言处理任务上运行评估管道，提供多种评估指标和详细报告，支持扩展和自定义评估。

Haven是一个用于大型语言模型微调和评估的工具，拥有简单的用户界面，可以方便地进行模型微调并基于多种标准进行评估。

ragas是一个专门用于评估检索增强生成(Retrieval Augmented Generation，RAG)性能的框架。它基于最新的研究提供工具，帮助用户评估语言模型生成的文本，并提供有关RAG管道性能的深入洞见。

Planetarium是一个用于评估大型语言模型将自然语言描述的规划问题转换为PDDL的基准测试工具，具备图同构的比较方法，旨在帮助研究人员分析和提升模型的性能。

FLASK是一个专门用于评估语言模型在语法、语义、推理和生成等任务上表现的工具，旨在提供更准确的评估结果，揭示模型的强项和弱点，并指导语言模型的进一步发展。

FLUX.1 AI是来自Black Forest Labs的一系列出色的Flux AI模型，包括FLUX.1 Pro、FLUX.1 Dev和FLUX.1 Schnell，致力于帮助用户在不同领域中实现创新和创作。

LearnHouse 使您能够启动世界级的在线大学、培训、训练营和各种格式的课程。借助 LearnHouse AI，学生可以针对课程提出具体问题，并根据实际课程内容获得回复。

StockInsights AI是一个基于人工智能的平台，旨在简化股票研究，提供深入洞察、实时警报和可定制的投资工具，帮助用户做出更智能的投资决策。

Altern不仅是一个目录，更是一个围绕不断发展的人工智能世界的社区。无论您是资深的AI研究员、初学的程序员，还是对技术未来充满好奇的人，Altern都能为您提供丰富的资源和交流平台。

大语言模型自我纠错相关论文的精选集合，涵盖内在自我纠错、外部工具辅助纠错、信息检索辅助纠错等多个研究方向，包含详细的论文分类和引用信息，是研究LLM自我纠错能力的重要参考资源

MOTIV8是一款革命性的应用，旨在帮助个人改善个人福祉、提升生产力和整体生活满意度。它提供了一个全面的平台，用于管理任务、设定目标和保持组织性，同时还提供指导和建议，帮助用户发现新的体验和个人成长机会。

Mindset AI是全球首个利用第三代心理学和神经科学改善人际关系的人工智能应用。用户可以下载应用程序，聆听AI伴侣提供的实用建议和指导，这些建议基于第三代心理学和神经科学原理。