TensorRT Model Optimizer 是一个集成了最先进模型优化技术的统一库，包括量化和稀疏化等技术。它通过压缩深度学习模型，为下游部署框架如 TensorRT-LLM 或 TensorRT 提供支持，以优化在 NVIDIA GPU 上的推理速度。
该项目探讨了通过量化、剪枝和蒸馏等手段来降低改造和使用大语言模型（LLM）的成本。
智能优化版Llama.cpp：基于原版Llama.cpp的克隆项目，它增加了最先进的量化技术，并针对CPU性能进行了改进，使得在处理大型语言模型时更加高效
FastLLM是一个动态策略选择的深度学习模型训练代码库，集成了Deepspeed、Megatron、FlashAttention、CudaFusionKernel和编译器技术，旨在优化大规模语言模型的训练效率，提供更加灵活和高效的训练方案。
WizardLLM 是由北大和微软亚研院提出的一种高效训练大型语言模型的方法，旨在通过利用小规模数据集，借助GPT生成更大且难度逐步提升的数据集，从而显著降低训练成本。该方法适用于数据稀缺的场景，帮助研究人员和开发者在资源有限的条件下仍能训练出高性能的语言模型。
Deita旨在为大型语言模型(LLM)的指令微调提供自动数据选择工具和高质量的对齐数据集，Deita模型能通过比其他SOTA LLM少10倍的指令微调数据进行训练，达到与它们相媲美的性能。
关于如何有效蒸馏大型语言模型的最佳实践实用指南，提供了一系列的最佳实践，帮助工程师和机器学习从业者在生产应用中更高效地蒸馏和使用语言模型。
该项目提供了高效大语言模型的文献综述，涵盖最新的研究进展和技术，适用于研究人员和开发者的参考资料，并支持多种应用场景的分析。
vLLM是一个开源的高效语言大模型服务系统，专注于提升推理速度和效率。它通过创新的内存管理和调度技术，优化了键值缓存（KV cache）的动态增缩和碎片化问题，显著提高了吞吐量并降低了延迟。vLLM支持多种语言模型，适用于高吞吐量的深度学习任务和大规模语言模型的部署。其设计简洁，开源社区支持强大，文档友好，特别适合需要高效推理能力的项目。
Toolhouse是一个云基础设施平台，旨在为大型语言模型（LLMs）提供动作和知识，简化函数调用过程，仅需三行代码即可实现。
llama-node是一个基于Node.js的项目，旨在提供对LLaMA和Alpaca语言模型的支持。该项目允许用户在本地CPU上高效运行这些模型，适合个人计算机使用。它基于llama-rs构建，旨在促进AI技术的民主化，使更多开发者能够轻松访问和使用大语言模型。
Boss Copilot是一个基于AI的应用，作为您的助手，帮助创建大型语言模型应用。它使用多个代理相互协作，处理各种任务。用户只需安装Chrome扩展并启用即可，激活后可以提示AI代理执行工作流程、任务和代码，同时可以与ChatGPT沟通，利用GPT4的强大功能来完成项目。
该论文提出了一种训练语言模型的方法，通过同时预测多个未来Token来提高样本效率，并在多个生成基准上实现了显著的性能提升。
picollm是一个基于X-Bit量化的设备端大型语言模型(LLM)推理引擎，专为运行压缩的大型语言模型而优化。它提供跨平台、高准确性的SDK，支持本地运行以确保隐私安全，适合在资源受限的设备上使用。
是一种通过减少内存带宽需求来增强语言大模型效率的技术。它无需对预训练或微调进行更改，可以显著减少注意力内存需求，而不会影响准确性。
清华大学构建的开源、大规模、高质量的指令调优数据项目，旨在帮助开发者构建具备通用工具使用能力的大型语言模型。
Cursive是一个直观的Python大型语言模型（LLM）框架，旨在简化与LLM的交互，支持多种模型和任务，提供高效的数据处理能力和灵活的API设计，适用于各种应用场景。
liteLLM是一个开源库，旨在简化LLM（大语言模型）的完成和嵌入调用。它提供了一个方便易用的接口，使得调用不同的LLM模型变得更加简单。用户只需导入'litellm'库并设置必要的环境变量（如OPENAI_API_KEY和COHERE_API_KEY），即可创建Python函数并使用liteLLM进行LLM完成调用。此外，liteLLM还提供了一个演示平台，用户可以在其中编写Python代码并查看输出，从而比较不同的LLM模型。
