QLLM开源项目 – 通用的大语言模型量化工具箱

Alpaca 是斯坦福大学基于 LLaMa-7B 训练的开源语言模型，其性能可与 173B 的 GPT-3.5 媲美。通过优化数据集，Alpaca 能够在微调 7B 和 13B 参数的语言模型时显著提高效果。

RLx2是清华大学团队提出的一种强化学习专用的稀疏训练框架，能够完全基于稀疏网络训练深度强化学习模型。

mlx-benchmark是一个基准测试项目，旨在评估苹果的MLX操作在不同硬件平台上的性能，包括mlx GPU、CPU、torch MPS和CUDA。它提供了详细的性能评估，并且是一个易于使用的基准测试工具，支持用户自定义测试场景，帮助开发者更好地理解和优化他们的MLX操作。

MergeUI是一个直观的用户界面，旨在帮助用户探索在Hugging Face上合并的语言模型（LLMs）。通过合并模型，用户可以以低廉的成本创建强大的语言模型，无需GPU。该工具提供了有关模型合并的建议，帮助用户决定合并哪些模型以及使用什么合并策略。

VPTQ是一种针对大型语言模型的极低比特向量后训练量化方法，旨在通过量化技术提高模型的计算效率和存储效率，同时保持模型性能。该项目适用于各种大型语言模型的优化，能够显著减少模型的内存占用和计算资源需求。

pyllms是一个用于与大型语言模型交互的Python库，提供了对多种模型的统一接口，简化了模型的调用和管理过程，同时支持模型的性能评估和比较。

OpenCompass是一个专为AI模型评测设计的开源框架，旨在提供全面客观的性能评估工具。它支持多种语言模型的标准化测试，帮助开发者深入了解模型能力与局限。

Vicinity是一个轻量级的最近邻搜索工具库，提供灵活的后端支持。它统一了不同向量检索方案的接口，支持HNSW、FAISS、Annoy等多种向量索引后端，可进行性能评估和对比。其特点是依赖少、使用简单、支持序列化存储，适用于向量相似度搜索场景。

TensorRT Model Optimizer 是一个集成了最先进模型优化技术的统一库，包括量化和稀疏化等技术。它通过压缩深度学习模型，为下游部署框架如 TensorRT-LLM 或 TensorRT 提供支持，以优化在 NVIDIA GPU 上的推理速度。

Diamond Env是一个为强化学习设计的标准化环境，基于Minecraft中的Diamond任务。它提供了一致的实验条件，支持多种强化学习算法，并允许用户自定义任务和奖励机制。该环境适用于研究Minecraft中的智能体行为，并可作为基准环境进行性能评估。

本课程讲述量化基础知识，旨在帮助开发人员压缩模型以便在消费者硬件上运行。

通过蒸馏技术将复杂模型中的知识转移到更小的模型中，以便在资源受限的设备上有效运行AI模型。

META发布的综合性RAG基准测试工具，专门用于评估检索增强生成(RAG)系统的性能。

该项目记录了学习推荐系统过程中的知识产出，主要对经典推荐算法的原理进行解析，并提供代码实现示例。它支持多种推荐算法，易于扩展和修改，非常适合学习和研究推荐系统。

BotLab是一个帮助用户理解和测试游戏机器人（bots）的平台，专注于评估其可靠性、性能和安全性。用户可以使用BotLab来分析和优化游戏机器人，从而提高游戏体验和效率。