TinyChatEngine是一个专为边缘计算设计的设备端大型语言模型推断库，可以在笔记本电脑、车载娱乐系统、机器人或飞船上运行，提供代码助手、办公应用和智能回复等服务，具有高效的推断性能和可扩展的架构。
mlc-llm 使每个人都能在每个人的设备上本地开发、优化和部署 AI 模型，支持多种 AI 模型架构，并提供模型优化工具和简化的部署过程。
Pocket LLM是一个平台，旨在使复杂的大语言模型和其他先进的人工智能技术对所有人都可访问。它提供定制化、私密的人工智能解决方案，这些解决方案在普通硬件上训练，具有超低延迟推理，消除了对GPU、TPU或定制ASIC的需求。用户可以在没有高级配置或GPU的情况下，仅使用CPU构建和部署数十亿参数的模型。
Dev是一款能够实时理解用户工作内容并提供即时支持的人工智能工具。它能够观察用户的工作，理解正在进行的任务，并根据上下文提供量身定制的答案，免去了用户解释的需要。
AMD GPU推理引擎：基于 Docker 的 AMD GPU 推理引擎项目，旨在在 AMD GPU 上运行大型语言模型（LLMs），特别是 Hugging Face 的 LLaMA 模型家族。该项目提供了高效的推理性能，并支持容器化部署，方便用户进行模型的集成和使用。
AirLLM 可以让你的 70B 大型语言模型在单个 4GB GPU 卡上运行推理，或者让 405B Llama3.1 在 8G 的 GPU 卡上运行。
Furhat是一款具有人类表情和先进对话人工智能能力的社交机器人，可以通过Furhat SDK进行探索和使用。
Anyscale是一个统一的计算平台，旨在利用Ray简化可扩展AI和Python应用的开发、部署和管理。用户可以轻松地开始使用Anyscale端点进行服务和微调开源大型语言模型（LLMs）。
OmniSteward是一款基于人工智能的大型语言模型，能够通过语音或文字与用户进行互动，控制智能家居和电脑，具备高度的可扩展性和无限的应用可能性。
