Chinese-Tiny-LLM（CT-LLM）是一个拥有20亿参数的大语言模型，主要在12000亿中文语料库上进行预训练，其中包括8000亿中文、3000亿英文和1000亿代码的混合数据。该模型通过中文数据进行预训练和微调，显著提升了中文处理能力，并通过对齐技术进一步优化。CT-LLM在CHC-Bench中文任务中表现出色，同时在英文任务中也表现出良好的适应性。项目开源了训练过程、数据处理方法以及大规模中文预训练语料库（MAP-CC），并引入了中文难例基准（CHC-Bench），旨在推动更包容和适应性强的语言模型研究。
MiniRBT (中文小型预训练模型) 是由iFLYTEK开发的一个小型中文预训练模型，旨在提供高效的自然语言处理能力。
该项目汇集了多个开源的中文预训练语言模型及其对应的指令数据集，旨在为中文自然语言处理提供丰富的资源。
One-GLM是基于GLM架构的项目，移植到了使用OneFlow后端进行训练，能够大幅提升性能和显存利用率。
本项目基于Meta发布的可商用大模型Llama-2开发，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持4K上下文并可通过NTK方法最高扩展至18K+。
基于GPT-2模型的中文文本生成项目，旨在为中文自然语言处理提供强大的文本生成能力，支持预训练和fine-tuning，适用于多种场景，如创作、对话等。
OpenLLaMA是LLaMA模型的开源复现，基于RedPajama数据集进行训练，采用与LLaMA一致的预处理步骤、超参数设置、模型结构、上下文长度、训练步骤、学习率调度和优化器，旨在提供一个高效且可访问的语言模型。
该项目提供了一个面向NLP应用的多模态数据集列表，旨在为研究者和开发者提供丰富的资源，以支持多模态自然语言处理任务的研究和应用。
Auto-GPT-ZH是中文版AutoGPT，旨在提供一个中文环境下的自动化GPT应用，支持多种API扩展，用户可以自定义任务和目标，具有高效的文本生成和对话能力，界面友好，适合各种中文场景的应用。
MiniMax-01 是一个开源项目，包含基础语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01。它支持超长上下文处理，适合AI Agent领域和各种需要处理大量信息的场景。该模型采用混合架构，结合Lightning Attention、Softmax Attention和专家混合（MoE），能在推理时处理长达400万token的上下文，并在多个学术基准测试中表现出色。此外，它还支持文本/图像/3D模型联合生成，实现在游戏资产创作场景中的风格一致性控制，生成速度比Stable Diffusion快3倍。
基于MLX框架的GPT-2模型实现，提供从零开始训练生成式预训练语言模型的教程，使用Python代码约200行，依赖mlx和numpy，适用于Macbook等设备，能在约10分钟内训练完成并生成类似莎士比亚文本的输出
H2O LLM Studio是一个用户友好的图形界面工具，允许用户轻松微调大型语言模型（LLM），无需编程技能。
《动手学大模型》是一本开源书籍，共12章节，涵盖从基础到高级的大语言模型内容，包括语言模型介绍、文本分类、提示词工程、语义搜索、微调模型、多模态模型等。书中包含大量代码示例，可直接在Colab运行，帮助读者更好地理解和应用大语言模型。此外，书中还提供了丰富的实践代码，旨在帮助读者掌握大型语言模型的使用和应用，适合初学者和有经验的开发者。
关于大规模预训练语言模型工具使用和代码生成的论文集合，涵盖了相关研究和复杂推理的内容，提供对当前研究趋势的深入分析。
这是一个开放的集合，提供了成功训练大型语言模型的方法论，适用于不同规模和类型的语言模型，包含多种训练技巧和最佳实践。该项目由社区驱动，持续更新和扩展，旨在帮助研究人员和开发者提高语言模型的训练效果。
ChatTTS是专门为对话场景设计的文本转语音模型，支持英文和中文两种语言，提供自然流畅的语音合成和多说话人的支持。
Transformers Notebooks是一组用于自然语言处理的Jupyter笔记本，旨在帮助用户快速上手使用Transformers库，提供丰富的示例和教程，涵盖文本分类、问答、翻译等多种任务，同时支持快速实验和模型评估。
