SiliconCloud 是一个基于优秀开源基础模型的高成本效益的生成式AI云服务，旨在为企业和开发者提供全场景模型服务。它支持快速的模型推理，适合各种应用场景，如对话和图像生成。项目特点包括高性能推理、自动伸缩和灵活的定价模式。
JittorLLMs是一个专为大模型设计的推理库，旨在降低大模型部署的硬件要求，使得即使在没有显卡的普通机器上也能运行大模型。它通过零拷贝技术和元算子自动编译优化，降低模型加载开销并提升计算性能。JittorLLMs支持多种大模型，包括ChatGLM、鹏程盘古、ChatRWKV和LLaMA，未来还将支持更多模型。其核心优势在于能够大幅降低硬件配置要求，减少80%的硬件需求，使得在普通机器上实现大模型的本地部署成为可能。
一个 Flutter 库，用于运行 ONNX 模型，可以将 Pytorch、Tensorflow 等主流机器学习框架训练的模型轻松转换为 ONNX 格式，并可在 iOS、Android、Web、Linux、Windows 和 macOS 等平台上原生运行，无需进行任何修改。
ScaleLLM是一个面向大型语言模型高性能推理的系统，经过仔细设计，能够满足产业级环境的需求。
llama2.zig是一个用纯Zig编写的项目，旨在提供Llama 2模型的推理功能。它的设计强调高性能和易用性，所有功能都封装在一个文件中，方便用户直接运行或集成到其他Zig项目中。
一个用于增强LLM推理能力的Python库，提供可组合的推理算法框架。支持自定义评分函数的采样和重排序模式，内置蒙特卡洛树搜索等高级算法，通过vLLM保持高性能，特别适合研究人员快速实验和迭代新想法。
Hugot 是一个用于 Golang 的 huggingface transformer pipelines，可以轻松地将 Python 中的 huggingface 模型部署到 golang 应用中。该项目支持多种 Hugging Face 模型，简化模型部署过程，轻松与 Golang 应用集成，提供高性能的推理和用户友好的 API。
NeMo-Skills是一个专注于提升大型语言模型在数学问题解决能力的项目，同时支持多种任务的优化和改进，利用深度学习技术增强模型表现，且为开源项目，便于社区贡献和扩展。
PrimeQA是一个先进的多语言问答研究与开发的主要资源库，支持最新的深度学习模型，易于扩展和定制，并提供多种数据集与基准测试，适用于实时问答和批量处理场景。
phospho是一个专为大型语言模型(LLM)应用而设计的文本分析平台，能够从文本消息中提取评估、意图和事件，利用OpenAI、MistralAI、Ollama等先进的LLM技术，帮助用户更好地理解和处理文本数据。
discuit 是一个功能完善的开源项目，旨在作为 Reddit 社区的替代方案，拥有良好的用户体验和可扩展性。它的后端使用 Go 构建，前端基于 React，数据存储依赖 MariaDB，临时数据管理则使用 Redis。
