VPTQ（Vector Post-Training Quantization）是一种创新的向量后训练量化技术，由微软开发。它能够在无需重新训练的情况下，将大型模型（如70B和405B模型）压缩为1-2位，同时保持高精度和高效的推理性能。该技术利用矢量量化代替传统的基于标量的权重量化，使用查找表将向量压缩为索引，从而实现更高的准确度和吞吐量。
一个专为加速多模态模型（如 PaliGemma、Florence-2 和 Qwen2-VL）微调的工具，简化配置、数据加载、重现性和训练循环的设置。
基于TileDB存储引擎开发的用于向量搜索的C++库和Python API，提供灵活的接口和高效的性能，适用于多种数据格式，支持云原生应用和无服务器架构。
一个将Transformers与YOLO及其他单阶段检测器(SSD)结合的深度学习框架，提供高性能推理和便捷的CLI接口。支持D-FINE等先进模型，具备视频流推理、自动分布式训练等特性。适用于需要transformer增强的目标检测任务，提供Python API和Docker部署支持。
在本地运行开源分割任何模型的工具(受Ollama启发)，提供原始SAM和高效SAM等分割任何模型，本地API(CLI、Python和HTTP接口)，以及自定义功能，可托管自定义视觉模型
MLX 是 Apple 芯片上用于机器学习的阵列框架，由 Apple 机器学习研究团队提供。它提供了熟悉的 API 和强大的功能，支持多种计算模式和设备，旨在简化机器学习模型的构建与训练。
textsum 是一个使用 Transformer 摘要模型的工具，能够处理任意长度的文本文档，支持生成高质量的摘要。它提供了命令行接口和 Python API，使得用户可以方便地集成和使用该工具。
基于 Ray 的 LLM 全生命周期解决方案，包括预训练、微调、部署和服务，支持 Python/SQL API，基于 Ray，易于扩展
VerifAI的MultiLLM是一个开源框架，通过并行调用多个大型语言模型（LLM）并对其输出进行排名，以找到最佳结果（真实值）。该框架可扩展以支持新的LLM和自定义排名函数，从而评估来自不同LLM的多样化输出。
Token.js是一个集成了200多个大型语言模型（LLM）的TypeScript SDK，采用OpenAI格式，支持在客户端运行，无需代理服务器，且为免费开源项目，得到了社区的广泛支持。
dstack是一个开源工具，可以在任何云环境中简化大型语言模型（LLM）的开发。它使开发者能够利用开放的LLM，降低云成本，避免对供应商的锁定。
Terracotta是一个平台，使用户能够快速直观地实验大型语言模型（LLMs），支持模型管理、微调和评估。用户可以安全存储数据，针对分类和文本生成微调模型，并进行定性与定量比较。
Appsmith AI是一个创新的平台，旨在简化AI驱动应用程序的创建和部署，提升生产力和效率。它允许用户构建自定义界面并集成各种大型语言模型（LLM），以增强聊天、数据和文档分析。该平台的低代码环境使得即便是有限编码经验的用户也能轻松使用。
LLMWare.ai是一个前沿的AI工具，旨在革新复杂的企业环境，特别是在金融、法律、合规和监管密集行业。通过提供专业的语言模型和强大的AI框架，LLMWare.ai简化了AI应用的开发和部署，提升了生产力和效率。该工具针对需要数据敏感处理和在私有云环境中无缝集成的企业量身定制。
