FONNX开源项目 – Flutter库，轻松运行ONNX模型

OneFlow-ONNX v0.6.0是一个用于将ONNX模型转换为OneFlow格式的工具，提升了转换接口的易用性，并新增支持多种模型和算子。

一个用于增强LLM推理能力的Python库，提供可组合的推理算法框架。支持自定义评分函数的采样和重排序模式，内置蒙特卡洛树搜索等高级算法，通过vLLM保持高性能，特别适合研究人员快速实验和迭代新想法。

Hugot 是一个用于 Golang 的 huggingface transformer pipelines，可以轻松地将 Python 中的 huggingface 模型部署到 golang 应用中。该项目支持多种 Hugging Face 模型，简化模型部署过程，轻松与 Golang 应用集成，提供高性能的推理和用户友好的 API。

llama2.zig是一个用纯Zig编写的项目，旨在提供Llama 2模型的推理功能。它的设计强调高性能和易用性，所有功能都封装在一个文件中，方便用户直接运行或集成到其他Zig项目中。

SiliconCloud 是一个基于优秀开源基础模型的高成本效益的生成式AI云服务，旨在为企业和开发者提供全场景模型服务。它支持快速的模型推理，适合各种应用场景，如对话和图像生成。项目特点包括高性能推理、自动伸缩和灵活的定价模式。

ScaleLLM是一个面向大型语言模型高性能推理的系统，经过仔细设计，能够满足产业级环境的需求。

JittorLLMs是一个专为大模型设计的推理库，旨在降低大模型部署的硬件要求，使得即使在没有显卡的普通机器上也能运行大模型。它通过零拷贝技术和元算子自动编译优化，降低模型加载开销并提升计算性能。JittorLLMs支持多种大模型，包括ChatGLM、鹏程盘古、ChatRWKV和LLaMA，未来还将支持更多模型。其核心优势在于能够大幅降低硬件配置要求，减少80%的硬件需求，使得在普通机器上实现大模型的本地部署成为可能。

jaxmp是一个基于JAX的机器人库，专注于模块化和易用性，旨在简化机器人任务规划。它提供了多种机器人模型的支持，并通过自动化碰撞检测功能提升任务的安全性。

PRAG（Parametric Retrieval-Augmented Generation）是一种新型的参数化检索增强生成方法，旨在让大语言模型更高效地利用外部知识，提升生成质量。该方法通过深度整合外部知识到模型参数中，避免了大上下文窗口带来的计算开销，显著提升了推理能力。PRAG提供了完整的实现代码和预处理数据集，涵盖从数据增强到推理的全流程，使用户能够快速上手并应用于实际场景。

Alta是一个平台，让用户无需编码即可快速构建AI聊天机器人、网站和移动应用。它提供无代码工具来设计应用、同步数据并在网页、iOS和Android上发布。用户可以创建个性化和直观的AI驱动应用。

这个开源项目的主要功能是利用本地托管的大型语言模型编写代码和单元测试，旨在加强开源人工智能模型的能力。

Air ☁️ 是一个专为 Go 应用设计的热重载工具，支持实时监测代码变更，无需手动重启应用，提升开发效率。

MPS-Net是一个用于从单目视频中捕捉人类运动的模型，专注于时间注意的3D人体姿势和形状估计。该项目通过先进的算法，能够准确地捕捉到人类在运动中的动态变化，为动作分析和交互式应用提供了强有力的支持。

一款开源免费的无损放大视频和图像工具，使用多种超分辨率算法实现视频/GIF/图像的无损放大和提高帧速率。

permchain 是一个用于使用 LLM 构建有状态的多参与者应用的开发库，扩展了 LangChain 表达式语言，能够跨多个计算步骤协调多个链（或参与者）。