边缘设备语言模型推理系统

TPI-LLM是一款高性能的边缘设备语言模型推理系统，能够在资源有限的设备上运行大型语言模型，保护用户隐私，减少延迟。

一个简单的 Python 包，可以更轻松地在非公开或敏感数据以及没有互联网连接的计算机上运行大型语言模型 (LLM)。它支持本地环境，确保数据安全，适用于多种应用场景。

Nightfall AI 是一个数据泄露防护（DLP）平台，利用机器学习帮助企业发现、分类和保护其敏感数据，支持多种SaaS和云应用。

AI SuitUp是一个突破性的AI工具，旨在通过生成令人惊艳和个性化的头像，提升用户的专业形象。该工具专为希望在竞争激烈的职业环境中脱颖而出的人士量身定制，使他们能够自信地展示个人风格和专业知识。

BlindChat提供安全的AI辅助，利用Meta的Llama 2 70B模型，在保护用户数据隐私的同时，帮助处理机密文档摘要和代码文档编写等任务。

mlc-llm 使每个人都能在每个人的设备上本地开发、优化和部署 AI 模型，支持多种 AI 模型架构，并提供模型优化工具和简化的部署过程。

智能优化版Llama.cpp：基于原版Llama.cpp的克隆项目，它增加了最先进的量化技术，并针对CPU性能进行了改进，使得在处理大型语言模型时更加高效

一个用Rust编写的轻量神经网络推理引擎，能将ONNX格式的机器学习模型高效运行在各种平台上，特别适合需要高性能和跨平台支持的场景。

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

LiteRT是Google AI Edge团队推出的高性能、可信赖的边缘AI运行时，旨在继承TensorFlow Lite的优势，并拓展其愿景，支持多种AI框架并优化资源利用率，方便集成和部署。

LM Studio 是一个强大的工具，能够让用户在本地发现、下载和运行各种大型语言模型（LLM），用户可以在自己的笔记本电脑上离线使用这些模型，提供了便捷的应用内聊天界面，支持与模型进行交互，同时用户还可以从 HuggingFace 存储库下载兼容的模型文件，并在应用程序主页上发现新的、值得注意的 LLM。

MosaicML 提供的示例项目，旨在帮助用户更好地理解和使用其机器学习工具和框架。该项目包含多种模型训练示例，特别是针对大型语言模型（LLM）的应用。通过高效的资源管理和优化建议，集成了 FSDP（Fully Sharded Data Parallel）以提升训练性能，并提供详细的文档和使用指南，方便开发者快速上手。