OpenLLaMA开源项目 – LLaMA模型的开源复现

OpenLLaMA是LLaMA模型的开源复现，基于RedPajama数据集进行训练，采用与LLaMA一致的预处理步骤、超参数设置、模型结构、上下文长度、训练步骤、学习率调度和优化器，旨在提供一个高效且可访问的语言模型。
OpenLLaMA的特点:
1. 使用与LLaMA相同的预处理步骤和超参数
2. 在RedPajama数据集上进行训练
3. 提供PyTorch和Jax权重
4. 在各种任务中展现出与LLaMA和GPT-J相似的表现
5. 部分任务表现优异

OpenLLaMA的功能:
1. 从Huggingface Hub上获取模型权重
2. 在各种NLP任务中应用OpenLLaMA模型
3. 根据特定需求调整训练参数

相关导航

smalldiffusion开源项目 – 简单易读的扩散模型代码库

smalldiffusion 是一个用于训练和采样扩散模型的简单易读的代码库，支持从最简单的玩具模型到最先进的预训练模型的实验。其核心代码只有不到100行，基于PyTorch框架，非常适合快速理解和实验。

爱丽丝在可微仙境的冒险-神经网络入门书籍，以爱丽丝探险为比喻

以爱丽丝漫游“可微分”仙境为比喻，向读者介绍神经网络领域的入门书，涵盖自动微分优化函数、序列、图、文本和音频处理的设计技术。

typical-sampling开源项目 – 为深度学习提供先进的自然语言处理

typical-sampling 是一个为 Jax、PyTorch 和 TensorFlow 打造的先进自然语言处理工具，支持典型采样算法，旨在优化模型训练和推理过程，提供易于集成的 API 以提升开发效率。

TorchCP开源项目 – 深度学习保形预测工具箱

TorchCP是一个基于PyTorch的Python工具箱，旨在支持深度学习模型的保形预测研究，提供多种分类和回归方法。

RunPod官网 – 全球分布的AI云平台

RunPod是一个全球分布的云平台，专门用于运行AI推理和训练。它提供GPU实例，支持流行的框架如TensorFlow和PyTorch，使得AI工作负载的处理变得简单便捷。用户可以通过注册账号并登录，部署基于容器的GPU实例，选择不同的GPU类型和区域以满足特定需求。RunPod还提供无服务器GPU计算、各种应用的AI端点以及增强隐私和安全性的安全云选项。

Prompt Engineering Methods-大型语言模型的提示工程方法概述

本项目对大型语言模型在不同自然语言处理任务中的提示工程方法进行了调查，展示了如何在不需要大量参数重训练或微调的情况下，增强模型能力，并使非深度学习背景的用户能够与大型语言模型进行交互。同时总结了基于NLP任务的各种提示技术，并分析了在不同数据集上的性能表现。

OLMo-core开源项目 – OLMo语言模型核心构建模块

AI2开源的OLMo语言模型核心构建模块，基于PyTorch实现，提供了完整的模型训练和优化组件，支持多种规模模型(1B-13B)训练，包含flash attention、float8训练等高级特性

Music LLM开源项目 – 高效的音乐生成与文本转语音系统

基于 PyTorch 的音乐生成和文本到语音（TTS）系统的实现，该系统使用基于 LLaMA 的大型语言模型（LLMs），并支持在单个 RTX 4090 GPU 上少于 10 小时内训练音乐生成模型

Epoching-Blog开源项目 – 基于PyTorch的NLP实战教程

Epoching-Blog是一个集成了PyTorch、fastai和HuggingFace的自然语言处理实战教程，旨在帮助用户通过实践深入理解深度学习及其在NLP领域的应用。项目提供了丰富的代码示例和详细的教程，适合希望提升NLP技能的学习者。

SimCSE开源项目 – 对比学习的句子嵌入框架

SimCSE是一个简单的框架，旨在通过无监督和监督的方法进行句子嵌入的对比学习，从而实现高质量的句子表示。

makeMoE开源项目 – 稀疏专家混合语言模型实现

makeMoE 是一个从头开始实现的稀疏专家混合语言模型，基于 PyTorch 框架，采用自回归字符级语言模型架构。该项目灵感来源于 Andrej Karpathy 的 makemore 项目，旨在通过稀疏专家混合架构实现高效的语言模型训练和推理。它涵盖了模型的基本组成、自注意力机制、专家网络、Top-k 路由、噪声 Top-k 路由等核心组件的代码实现，并提供了模型的初始化方法、训练循环以及文本生成示例。makeMoE 不仅适用于研究和学习稀疏专家混合语言模型的实现，还可作为自回归字符级语言模型的参考实现，适用于自然语言处理领域的实验和开发。

ModernBERT开源项目 – 现代化的BERT模型

ModernBERT 是一个开源项目，旨在通过架构变更和扩展将 BERT 带入现代化。它引入了 FlexBERT，一种模块化编码器构建方法，并依赖于 YAML 配置文件来构建模型。ModernBERT 扩展了 MosaicBERT 的功能，包括 Flash Attention 2，并在各种 NLP 任务中显示出比传统 BERT 模型更高的准确性和效率。该项目提供了用于预训练和评估的代码，并支持与 PyLate 和 Sentence Transformers 集成的检索模型训练和评估。

Apple Silicon Machine Learning Frameworks Installer – 为Apple Silicon配置机器学习环境

Apple Silicon开发环境配置指南，为开发者提供在Apple Silicon芯片上安装和配置PyTorch、TensorFlow和JAX的指导，助力在M1/M2芯片上高效运行机器学习框架

YOLOAir开源项目 – YOLO检测算法组合工具箱

YOLOAir是一个基于PyTorch的YOLO检测算法组合工具箱，支持多种YOLO算法，包括YOLOv5、YOLOv7、Transformer、YOLOX、YOLOR等。该项目提供了改进的骨干网络、头部、损失函数、IoU、NMS等模块，并基于YOLOv5的原始版本进行扩展和优化。其模块化设计便于组合和定制网络结构，适用于目标检测任务的快速部署和测试。

HugNLP开源项目 – 统一的自然语言处理库

HugNLP是一个基于HuggingFace Transformer的综合自然语言处理库，支持多种NLP任务，具有易于使用的API接口和丰富的预训练模型，同时允许用户自定义模型训练。