TensorRT Model Optimizer 是一个集成了最先进模型优化技术的统一库，包括量化和稀疏化等技术。它通过压缩深度学习模型，为下游部署框架如 TensorRT-LLM 或 TensorRT 提供支持，以优化在 NVIDIA GPU 上的推理速度。
Intel研究院开源的AI模型优化工具，支持将千亿参数大模型压缩至1/20体积，在Intel第四代至强处理器上实现3.8倍推理加速，量化精度损失＜0.5%。该工具提供统一API，支持主流深度学习框架（如TensorFlow、PyTorch、ONNX Runtime和MXNet）上的模型压缩技术，包括量化、剪枝、蒸馏和神经架构搜索。
本课程讲述量化基础知识，旨在帮助开发人员压缩模型以便在消费者硬件上运行。
RLx2是清华大学团队提出的一种强化学习专用的稀疏训练框架，能够完全基于稀疏网络训练深度强化学习模型。
VPTQ是一种针对大型语言模型的极低比特向量后训练量化方法，旨在通过量化技术提高模型的计算效率和存储效率，同时保持模型性能。该项目适用于各种大型语言模型的优化，能够显著减少模型的内存占用和计算资源需求。
通过蒸馏技术将复杂模型中的知识转移到更小的模型中，以便在资源受限的设备上有效运行AI模型。
QLLM是一个通用的大语言模型量化工具箱，支持2-8位的LLM量化，用户可以轻松使用GPTQ和AWQ方法进行模型量化和压缩。该工具箱提供了易于使用的工具和接口，适用于多种大语言模型，旨在帮助用户在不同精度下评估模型性能。
一个包含多个样本的基准测试项目，用于大语言模型的测试和评估，旨在帮助研究者和开发者了解模型的性能表现。该项目提供多种语言的测试样本，支持自定义测试用例，易于与现有AI项目集成，方便进行系统性评估。
OpenFactCheck是一个开源的事实核查演示，专为大型语言模型（LLMs）设计，旨在整合各种事实核查工具，提供全面的事实核查流程。该项目支持多种核查工具的整合，使得用户能够高效地进行事实核查，并且由于其开源特性，开发者可以根据需求进行扩展和定制。
一套评估大语言模型AI研发能力的任务集合，包含7个具有挑战性的任务，涵盖Rust代码编程、GPT-2微调、嵌入修复、LLM训练优化、GPU内核优化等领域，每个任务都有明确的评分标准和基准分数，用于测试AI代理与人类专家的能力对比
llm-colosseum 是一种评估大型语言模型 (LLM) 质量的新方法，通过模拟《Street Fighter 3》中的战斗表现作为基准，帮助研究人员和开发者了解和分析 LLM 的决策能力和适应性。该项目强调实时游戏中的快速决策、智能思考、适应性调整和整体弹性。
Inspect是一个用于评估大型语言模型性能的框架，提供多种评估指标与方法，支持不同类型的模型，易于与现有机器学习工作流集成，同时支持可视化和结果分析。
LLMDrift是一个项目，旨在研究大型语言模型（如GPT-3.5和GPT-4）的性能漂移，特别关注其性能可能随时间下降的趋势及其影响。
DeepCompressor是一个专为大型语言模型和扩散模型设计的模型压缩工具箱，支持多种数据类型的假量化，旨在提高模型的推理速度和效率。
gpt-fast 是一种简约的、仅限 PyTorch 的解码实现，加载了最佳实践：int8/int4 量化、推测解码、张量并行性等，显著提高 LLM 操作系统的性能。
