TrustAI开源项目 – 可信AI工具集，助力NLP开发

Future AGI通过使用批评代理来替代人工质量保证，消除了人机协作的方法。用户可以设置自定义指标，以满足独特需求并更快检测错误，从而将人力资源保留用于关键任务，并在推理增长时有效扩展。

EvalsOne是一个旨在简化生成AI模型提示评估过程的工具，帮助用户进行质量控制和风险管理。在将生成AI模型投入生产环境之前，EvalsOne提供了一种高效的评估方式，以确保模型在与真实用户和数据交互时的可靠性。

Superpowered AI 是一款端到端的知识检索解决方案，旨在简化构建生产就绪的 LLM 应用程序，同时提供对外部知识的访问。该平台提供知识库即服务，赋予用户强大的人工智能能力。

Censius是一个AI可观察性和模型监控平台，帮助团队理解、分析和改善AI模型在实际应用中的表现。它提供了对结构化和非结构化生产模型的端到端可见性，并支持主动的模型管理。

E2B是一个开源平台，旨在通过安全沙箱简化AI生成代码的解释和执行过程，增强Python和JavaScript/TypeScript环境的能力，适合开发者和AI爱好者使用。

Dioptra是一个开源的数据策展和管理平台，旨在支持计算机视觉、自然语言处理和大型语言模型。它帮助用户策划有价值的未标记数据，注册元数据，诊断模型失效模式，并与标注和再训练系统整合。

这是一个为gpt-3.5-turbo模型提供的微调图形界面，通过简单易用的Web界面，用户可以自定义数据集进行微调，并实时查看训练进度和结果。

zero_nlp 是一个专注于中文自然语言处理的项目，提供全面的NLP数据处理流程，支持多种预训练模型，具备便捷的模型训练接口以及高效的推理与评估工具，适合研究与应用开发。

一个大模型导航资源，里面收集了几乎全部的模型，具有里程碑意义的论文，排行榜，测试集，训练框架，部署，应用，书籍等

jepa-intuitive-physics是一个通过自然视频的自监督预训练，让机器学会直观物理理解的项目。它利用自监督学习方法，无需标注数据即可训练，提供了完整的代码和数据，支持多种模型评估，为研究直观物理理解提供了强大的工具。

Terracotta是一个平台，使用户能够快速直观地实验大型语言模型（LLMs），支持模型管理、微调和评估。用户可以安全存储数据，针对分类和文本生成微调模型，并进行定性与定量比较。

该项目允许用户在CPU上运行MPT-30B模型的推理，具有低训练和运行成本的特点。用户只需32G内存即可进行模型推理，适合各种文本生成和评估任务。

Simple-SimCSE是SimCSE模型的简单实现，支持无监督和有监督的训练方法，易于与流行的深度学习框架（如PyTorch）集成，并允许自定义训练和评估设置。

awesome-LLM-resourses 是一个涵盖广泛的LLM资源集合，包括数据集、微调、推理、知识库、智能体、书籍、课程、学习教程以及相关论文等内容。项目持续更新，旨在成为最好的大语言模型资源汇总，适合从入门到进阶的研究者和开发者使用。

Entry Point AI 是一个现代化的微调平台，支持定制和管理大语言模型，用户无需编程技能即可训练和评估模型。它提供用户友好的界面，帮助用户按照具体需求优化大语言模型的表现。

lightning-uq-box是一个基于PyTorch和Lightning的库，旨在为现代神经网络提供多种不确定性量化(UQ)技术，支持灵活的模型训练和评估，并与现有的PyTorch项目无缝集成。

xCodeEval是一个大规模多语言多任务基准，用于评估代码理解、生成、翻译和检索的能力，旨在为研究和开发提供支持。

ModelScope是一个基于'模型即服务'(MaaS)理念的开源平台，整合了AI社区最先进的机器学习模型，覆盖计算机视觉(CV)、自然语言处理(NLP)、语音、跨模态和科学计算等多个领域。它提供统一的接口和实现，支持模型的推理、训练和评估，简化了模型在现实世界应用中的使用过程。平台公开了超过700个模型，支持从文本生成到图像处理等多种场景，并可与Hugging Face等社区集成扩展资源。

Transformers Notebooks是一组用于自然语言处理的Jupyter笔记本，旨在帮助用户快速上手使用Transformers库，提供丰富的示例和教程，涵盖文本分类、问答、翻译等多种任务，同时支持快速实验和模型评估。

大型语言模型的数据、模型和基准集市，为ChatGPT的大众化贡献力量

Giskard是一个开源测试框架，专为生成式AI和机器学习模型设计。它集成了130多种评估指标，支持自动化检测生成内容的事实性、安全性及合规性。Giskard可以处理从表格模型到大型语言模型（LLM）的所有内容，并提供企业级测试中心，支持自托管和云部署。它还与Hugging Face、MLFlow、Weights & Biases等平台无缝集成，帮助团队更快、更好地交付机器学习产品。