Lit-GPT开源项目 – 可定制的开源大型语言模型实现

一本实用的电子书，讲解大模型的基本理论、预训练、微调与对齐、大模型使用及评测与应用等内容。

Intel研究院开源的AI模型优化工具，支持将千亿参数大模型压缩至1/20体积，在Intel第四代至强处理器上实现3.8倍推理加速，量化精度损失＜0.5%。该工具提供统一API，支持主流深度学习框架（如TensorFlow、PyTorch、ONNX Runtime和MXNet）上的模型压缩技术，包括量化、剪枝、蒸馏和神经架构搜索。

mini_qwen是一个从头开始训练的1B参数的大型语言模型(LLM)项目，包括预训练(PT)、微调(SFT)和直接偏好优化(DPO)3个部分。该项目基于Qwen2.5-0.5B-Instruct模型，通过扩充模型隐藏状态层数、隐藏状态维度和注意力头数，增加参数量到1B，并进行参数随机初始化。支持中英文，预训练和微调仅需要12G显存，直接偏好优化仅需要14G显存。使用flash_attention_2进行加速，使用deepspeed在6张H800上进行训练，探究了尺度定律(scaling law)、复读机现象与微调阶段的知识注入。

Falcon 2 系列模型是由阿联酋技术创新研究所（tiiuae）开发的开源大型语言模型，专注于高效的自然语言处理任务。这些模型训练于超过 5500 亿个标记的大规模数据集，如 RefinedWeb，确保广泛的知识覆盖。aifasthub.com 提供免费加速下载服务，支持断点续传，显著提升下载速度。模型支持多模态功能，包括文本、图像、视频和音频处理，适用于多种复杂任务。

YaLM-100B是Yandex推出的一个开源大型语言模型，参数达到100亿，旨在支持多种自然语言处理任务。它能够生成高质量的文本，并广泛应用于对话系统、文本生成和补全等领域。

ModernBERT 是一个开源项目，旨在通过架构变更和扩展将 BERT 带入现代化。它引入了 FlexBERT，一种模块化编码器构建方法，并依赖于 YAML 配置文件来构建模型。ModernBERT 扩展了 MosaicBERT 的功能，包括 Flash Attention 2，并在各种 NLP 任务中显示出比传统 BERT 模型更高的准确性和效率。该项目提供了用于预训练和评估的代码，并支持与 PyLate 和 Sentence Transformers 集成的检索模型训练和评估。

ModernBERT 是一个开源项目，旨在通过架构变更和扩展将 BERT 带入现代化。它引入了 FlexBERT，一种模块化编码器构建方法，并依赖于 YAML 配置文件来构建模型。ModernBERT 扩展了 MosaicBERT 的功能，包括 Flash Attention 2，并在各种 NLP 任务中显示出比传统 BERT 模型更高的准确性和效率。该项目提供了用于预训练和评估的代码，并支持与 PyLate 和 Sentence Transformers 集成的检索模型训练和评估。

一份整理了机器学习入门学习资源的列表，涵盖注意力机制、性能优化、量化、长上下文和分布式计算等方面的论文、视频及代码库。

Dolomite Engine是一款用于预训练和微调大型语言模型的超优化库，集成了多项关键创新，包括模型架构、微调方法和系统优化。它旨在提高大型语言模型的训练效率和效果，支持多种模型架构，优化微调过程，并提供系统性能的显著提升。

Index-1.9B 是由哔哩哔哩开发的开源大型语言模型系列，包含四个主要变体：Index-1.9B base、Index-1.9B pure、Index-1.9B chat 和 Index-1.9B character。这些模型在2.8T的中英文语料上进行预训练，展现出在代码生成、对话交互和角色扮演方面的优秀性能，适合学术研究、工业应用和个人使用。

分享一份精选机器学习系统的入门资料集合，收集了一系列有关注意力机制、性能优化、量化、长上下文长度和稀疏性等方面的论文、视频和代码库。

OpenVLA是一个开源的视觉-语言-动作模型，旨在通过高效微调的方式支持多机器人控制，结合了先进的语言和视觉编码技术，能够在多种任务中表现出色，适用于广泛的机器人应用场景。

MiniMind-V是MiniMind纯语言模型的视觉能力拓展，包含VLM大模型的极简结构、数据集清洗、预训练(Pretrain)、监督微调(SFT)等全过程代码。它是开源VLM模型的最小实现，也是入门视觉语言模型的简明教程。

ChatLM-mini-Chinese是一个中文对话0.2B小模型，旨在整理生成式语言模型的训练流程，包括数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等。

DCLM-7B是由苹果开源的一个大型语言模型，其能力接近LLaMA3 8B。该项目完全开源，包括模型和数据集，但上下文长度限制为2K。该模型在Huggingface上提供，适用于多种自然语言处理任务，如文本生成、翻译和问答。此外，它还可作为基础模型进行微调以适应特定任务，并在研究和开发中用于探索大型语言模型的性能。该项目也适用于教育和学习目的，帮助理解大型语言模型的工作原理。