CudaFusionKernel

FastLLM是一个动态策略选择的深度学习模型训练代码库，集成了Deepspeed、Megatron、FlashAttention、CudaFusionKernel和编译器技术，旨在优化大规模语言模型的训练效率，提供更加灵活和高效的训练方案。

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

Efficient Large LM Trainer 是一款专为大规模语言模型设计的高效训练工具，旨在通过优化的算法和资源管理，提升训练速度并减少内存占用，支持多种硬件设备，便于用户集成和使用。

智能优化版Llama.cpp：基于原版Llama.cpp的克隆项目，它增加了最先进的量化技术，并针对CPU性能进行了改进，使得在处理大型语言模型时更加高效

混合自回归线性核(Mixed Auto-Regressive Linear kernel)，一个经过高度优化的FP16xINT4矩阵乘法核，用于LLM推理，可以在批量大小为16-32个token的情况下实现接近理想的约4倍加速。

该项目旨在实现稀疏和稳健的预训练语言模型，以提高语言理解的能力和效率。

LMQL是一种专门为大型语言模型(LLMs)设计的查询语言，结合了自然语言提示和Python的表达能力。它提供了约束、调试、检索和控制流等功能，以便于与LLMs的交互。

这是一个新的简单替代方案，基于计算输入激活的权重大小和范数之间的逐元素乘积。

该项目提供了现代深度学习技术在自然语言处理中的应用，包括多种模型和算法，结合实用代码示例，适用于多种NLP任务，文档易于理解，同时持续更新最新研究成果。

FATE-LLM是基于FederatedAI开发的联邦学习框架，支持大语言模型的分布式训练，旨在促进AI技术在保护知识产权和隐私的前提下的应用。该项目通过联邦学习架构，使得多方在不共享原始数据的情况下，能够协同训练出高效的AI模型，有效应对数据隐私和合规性挑战。

llama-node是一个基于Node.js的项目，旨在提供对LLaMA和Alpaca语言模型的支持。该项目允许用户在本地CPU上高效运行这些模型，适合个人计算机使用。它基于llama-rs构建，旨在促进AI技术的民主化，使更多开发者能够轻松访问和使用大语言模型。

ULLME是一个统一的框架，旨在通过生成增强学习优化大型语言模型的嵌入，支持双向注意力机制以及多种微调策略，帮助提升模型的性能和效果。

这个研究项目致力于复现并理解 OpenAI 的 O1 模型，重点是开发新的训练方法，并深入探究大型语言模型 (LLMs) 中复杂推理的底层原理。目前已经发布了三篇研究论文。

Collie是一个多功能的AI模型训练与部署框架，旨在简化机器学习模型的开发和管理过程。它基于PyTorch，结合了DeepSpeed和MegatronLM，避免使用复杂的外部库，并提供用户友好的接口和多种内置工具。

关于大规模预训练语言模型工具使用和代码生成的论文集合，涵盖了相关研究和复杂推理的内容，提供对当前研究趋势的深入分析。

这个开源项目的功能是对类似 #ChatGPT# 的模型进行简单、快速且经济实惠的 RLHF 训练。

该项目汇集了针对大型语言模型的训练数据管理的研究，包括与预训练、数据质量和领域构成相关的资源。

H2O LLM Studio是一个用户友好的图形界面工具，允许用户轻松微调大型语言模型（LLM），无需编程技能。