Megatron-LLM开源项目 – 支持大规模分布式语言模型预训练和微调的库

WizardLLM 是由北大和微软亚研院提出的一种高效训练大型语言模型的方法，旨在通过利用小规模数据集，借助GPT生成更大且难度逐步提升的数据集，从而显著降低训练成本。该方法适用于数据稀缺的场景，帮助研究人员和开发者在资源有限的条件下仍能训练出高性能的语言模型。

LMQL是一种专门为大型语言模型(LLMs)设计的查询语言，结合了自然语言提示和Python的表达能力。它提供了约束、调试、检索和控制流等功能，以便于与LLMs的交互。

Anyscale是一个统一的计算平台，旨在利用Ray简化可扩展AI和Python应用的开发、部署和管理。用户可以轻松地开始使用Anyscale端点进行服务和微调开源大型语言模型（LLMs）。

liteLLM是一个开源库，旨在简化LLM（大语言模型）的完成和嵌入调用。它提供了一个方便易用的接口，使得调用不同的LLM模型变得更加简单。用户只需导入'litellm'库并设置必要的环境变量（如OPENAI_API_KEY和COHERE_API_KEY），即可创建Python函数并使用liteLLM进行LLM完成调用。此外，liteLLM还提供了一个演示平台，用户可以在其中编写Python代码并查看输出，从而比较不同的LLM模型。

该教程是连接基础微积分与深度学习实践的桥梁，适合希望摆脱“黑箱”使用框架、深入理解模型数学本质的开发者。

Python版本的TensorFlow深度学习API

OpenVLA是一个开源的视觉-语言-动作模型，旨在通过高效微调的方式支持多机器人控制，结合了先进的语言和视觉编码技术，能够在多种任务中表现出色，适用于广泛的机器人应用场景。

Quadra 是一个通过配置文件简化深度学习工作流的工具，支持多种实验设置和超参数调优。它与 Hydra、Lightning 框架和 PyTorch 集成，使得深度学习工作流更加易于管理和重现。

NVIDIA NeMo是一个可扩展的云原生生成式AI框架，专为研究人员和PyTorch开发者设计，支持大语言模型（LLM）、多模态模型（MM）、自动语音识别（ASR）、文本转语音（TTS）和计算机视觉（CV）等领域。它旨在帮助用户高效地创建、定制和部署新一代AI模型，利用现有的代码和预训练模型检查点。NeMo基于Python配置，采用模块化抽象，支持在成千上万个GPU上进行大规模实验。

YOLOX-M1-Mac是一款高性能的无锚点YOLO模型，性能超越yolov3~v5，支持MegEngine、ONNX、TensorRT、ncnn和OpenVINO等多种框架，特别针对M1 Mac进行了优化。

CodeTF是Salesforce出品的一站式代码类LLM工具库，提供了一套统一的接口用于Code LLM的训练、推导和微调，支持多种模型，易于扩展和集成。

混合自回归线性核(Mixed Auto-Regressive Linear kernel)，一个经过高度优化的FP16xINT4矩阵乘法核，用于LLM推理，可以在批量大小为16-32个token的情况下实现接近理想的约4倍加速。

IPEX-LLM 是一个专为在 Intel Xeon 和 Arc GPU 系统上运行大型语言模型（如 DeepSeek-R1-671B-Q4_K_M）而设计的项目。它支持多种模型格式和量化技术，提供便携式部署方案，并优化性能以充分利用硬件资源。此外，IPEX-LLM 还支持多语言文档，包括中文，帮助用户快速上手和解决问题。

Megatron-VLM是一个专为视觉语言模型（VLM）训练设计的高效框架，支持大规模分布式训练，提供多种预训练模型支持，并采用高效的内存优化技术，显著提升训练效率，降低训练成本。

源2.0是浪潮信息发布的新一代基础语言大模型，开源了102B、51B和2B三个模型版本。该模型在源1.0的基础上，利用更多样的高质量预训练数据和指令微调数据集，增强了在语义、数学、推理、代码、知识等方面的理解能力。提供了预训练、微调、推理服务的相关脚本，支持多种部署方式，包括Hugging Face、TensorRT-LLM、FastChat等框架。

mini_qwen是一个从头开始训练的1B参数的大型语言模型(LLM)项目，包括预训练(PT)、微调(SFT)和直接偏好优化(DPO)3个部分。该项目基于Qwen2.5-0.5B-Instruct模型，通过扩充模型隐藏状态层数、隐藏状态维度和注意力头数，增加参数量到1B，并进行参数随机初始化。支持中英文，预训练和微调仅需要12G显存，直接偏好优化仅需要14G显存。使用flash_attention_2进行加速，使用deepspeed在6张H800上进行训练，探究了尺度定律(scaling law)、复读机现象与微调阶段的知识注入。

MosaicML是一家专注于模型训练和微调的公司，发布了一系列新的大型语言模型(LLM)，其中包括专为故事创作设计的模型，旨在支持文学创作和儿童教育。

基于 Ray 的 LLM 全生命周期解决方案，包括预训练、微调、部署和服务，支持 Python/SQL API，基于 Ray，易于扩展

Dolomite Engine是一款用于预训练和微调大型语言模型的超优化库，集成了多项关键创新，包括模型架构、微调方法和系统优化。它旨在提高大型语言模型的训练效率和效果，支持多种模型架构，优化微调过程，并提供系统性能的显著提升。

ChatLM-mini-Chinese是一个中文对话0.2B小模型，旨在整理生成式语言模型的训练流程，包括数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等。

Lit-GPT是一个基于nanoGPT的开源大型语言模型的可定制实现，支持多种先进技术，如Flash Attention 2、4-bit和8-bit量化、LoRA和LLaMA-Adapter微调以及预训练。该项目采用Apache 2.0许可证，支持Llama2、Mistral和Mixtral等模型，旨在提供灵活且高效的模型定制和优化方案。