适用于端边云场景的AI推理应用开发框架，提供了基于Pipeline的并行执行流程，能帮助AI应用开发者较快的开发出高效、高性能，以及支持软硬协同优化的AI应用。
一个用Rust编写的轻量神经网络推理引擎，能将ONNX格式的机器学习模型高效运行在各种平台上，特别适合需要高性能和跨平台支持的场景。
MInference是一种高效的长上下文大型语言模型（LLM）推理加速工具，采用动态稀疏注意力机制和稀疏计算方法，显著加速长序列处理的预填充过程。它能够在保持高准确性的同时，将LLM处理百万上下文的时间提速10倍，适用于A100等硬件平台。MInference可直接应用于现有的LLM，无需预训练或额外微调，已在多个基准模型上验证其性能。
一款专注于推理计算流水线的集成开发环境，让开发者能够更便捷地构建、调试和部署LLM计算图。
LiteRT是Google AI Edge团队推出的高性能、可信赖的边缘AI运行时，旨在继承TensorFlow Lite的优势，并拓展其愿景，支持多种AI框架并优化资源利用率，方便集成和部署。
该项目主要聚焦于推理任务，提供一个大型AI模型或基础模型的资源列表，旨在为研究人员和开发者提供丰富的推理模型选择及相关信息。
为ComfyUI打造的全能推理优化方案，旨在实现通用、灵活且快速的推理加速。它支持多种推理场景，并且通过灵活的配置选项来满足不同用户的需求。该项目的设计目标是提升推理性能，并且能够轻松集成到现有的ComfyUI项目中。
Scoopika是一个开源平台，旨在帮助开发者为他们的应用程序创建能够实时观察、对话、聆听、采取行动和协作的AI代理。Scoopika的使命是为开发者提供构建快速可靠的AI驱动应用的基础组件，使他们能够专注于应用程序及其功能。
onedollarai.lol突破了传统AI服务的界限，以每月仅1美元的价格提供最优质的AI服务，旨在让更多用户享受高水平的人工智能技术。
开源深度学习平台
集成了 TeaCache 的 ComfyUI 插件，用于加速图像、视频和音频扩散模型的推理过程，支持多种模型，并提供了简单的安装方法和推荐配置
Gemini是谷歌最大的AI模型，旨在通过加速人类进步和改善生活给人类和社会带来巨大利益。它在多个领先基准上表现出色，支持不同尺寸的优化：Ultra、Pro和Nano。Gemini从零开始构建为多模态，能够理解、操作和结合文本、代码、音频、图像和视频等不同类型的信息。
NanoFlow是一个面向大型语言模型(Large Language Models, LLMs)的高吞吐量高性能服务框架，采用设备内并行性、异步CPU调度和SSD卸载等关键技术，显著提升资源利用率和推理吞吐量。
