Kyanite是一个用Rust开发的神经网络推理库，支持CPU和Nvidia GPU，采用模块化设计，能够清晰地分割各个推理阶段，提供高效的内存管理和计算性能。
OpenAI兼容的API，用于TensorRT LLM triton backend，提供了与langchain集成的功能，支持高效推理和灵活后端配置。
functionary是一个开源项目，基于LLaMA 2模型，具备理解和调用函数的能力，提供类似OpenAI API的功能，支持多种编程语言，具有很强的可扩展性和易于集成的特性。
DB-GPT是一款AI原生数据应用开发框架，支持本地化部署，不依赖外部服务器或云服务，确保数据隐私和安全性。它具备多模型管理、Text2SQL效果优化、RAG框架优化、Multi-Agents框架协作等功能，助力企业数字化转型与业务增长。DB-GPT在自然语言转SQL准确率达92.8%，并在TPC-H基准测试中超越GPT-4大模型。
开源机器学习框架
一个高效的深度学习训练框架，旨在简化模型训练和优化过程，提供了多种预训练模型和工具，适用于计算机视觉任务。
Fast-LLM是一个开源库，旨在加速大型语言模型的训练。它具有快速的训练速度、良好的可扩展性，支持多种模型架构，并且提供易于使用的接口，适合研究和工业应用。
Griffin是一种将门控线性RNN与局部注意力混合在一起的新模型架构，表现优于以往模型，能够处理长上下文并扩展到14B参数。该模型在训练数据量减少的情况下，仍能保持优异的表现，显著改善预测能力，并保留了Transformer架构在合成任务上的许多优点。
一款专注于推理计算流水线的集成开发环境，让开发者能够更便捷地构建、调试和部署LLM计算图。
