LMQL官网 – 专为大型语言模型设计的查询语言

Grok-1是xAI推出的开源大语言模型，拥有3140亿参数，适用于NLP任务，并提供JAX示例代码，便于加载、运行和微调。

FastLLM是一个动态策略选择的深度学习模型训练代码库，集成了Deepspeed、Megatron、FlashAttention、CudaFusionKernel和编译器技术，旨在优化大规模语言模型的训练效率，提供更加灵活和高效的训练方案。

这是国内第一个真正的开源、可下载、可运行的 LLaMA2 模型，提供中文版 Llama2模型及中英文 SFT 数据集，兼容适配所有针对原版 llama-2-chat 模型的优化。

Megatron-LLM是一个专为大规模分布式训练设计的库，旨在高效支持语言模型的预训练和微调。它提供灵活的模型架构配置，并支持多种优化算法，使得用户可以根据需求进行优化和扩展，同时易于与其他深度学习框架集成。

NeMo-Skills是一个专注于提升大型语言模型在数学问题解决能力的项目，同时支持多种任务的优化和改进，利用深度学习技术增强模型表现，且为开源项目，便于社区贡献和扩展。

Unsloth Zoo是一个提供用于Unsloth的实用工具库，旨在支持免费微调和加速大型语言模型，帮助开发者更高效地使用和优化语言模型。

WaveCoder是一个广泛且多才的项目，专注于增强指令调优和精炼数据生成，采用经过精心调优的代码语言模型和生成器-判别器框架，从开源代码中生成高质量、非重复的指令数据，显著提升大型语言模型在与代码相关任务中的表现和泛化能力。

Haven是一个用于大型语言模型微调和评估的工具，拥有简单的用户界面，可以方便地进行模型微调并基于多种标准进行评估。

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

WizardLLM 是由北大和微软亚研院提出的一种高效训练大型语言模型的方法，旨在通过利用小规模数据集，借助GPT生成更大且难度逐步提升的数据集，从而显著降低训练成本。该方法适用于数据稀缺的场景，帮助研究人员和开发者在资源有限的条件下仍能训练出高性能的语言模型。

Deita旨在为大型语言模型(LLM)的指令微调提供自动数据选择工具和高质量的对齐数据集，Deita模型能通过比其他SOTA LLM少10倍的指令微调数据进行训练，达到与它们相媲美的性能。

midGPT是一个基于Jax和Equinox的大型语言模型分布式预训练框架，能够在云TPU切片上高效训练数十亿参数的GPT风格解码器模型，旨在提升语言模型的训练效率和性能。

LLaMA是Facebook研究开发的一款先进语言模型，旨在处理多种自然语言处理任务，声称在性能上优于GPT-3。它具备高质量文本生成能力，支持多种规模以满足不同的部署需求，同时采用高效的训练技术，能够先进地处理上下文信息。

一个简单的 Python 包，可以更轻松地在非公开或敏感数据以及没有互联网连接的计算机上运行大型语言模型 (LLM)。它支持本地环境，确保数据安全，适用于多种应用场景。

flash-attention是一个基于FlashAttention优化的Transformer实现，其训练速度在GPT2和GPT3上比Huggingface的实现快3-5倍，显著提升了训练效率，同时优化了内存使用，并支持多种硬件加速。