Llama 65B模型微调

LOMO是复旦大学提出的新论文，旨在使用单台8片24G的RTX 3090对Llama 65B模型进行全参数微调。该项目通过优化训练效率和性能，为用户提供了兼容多种深度学习框架的解决方案，并附带详细的实验结果和分析，帮助用户更好地理解模型的表现。

FasterTransformer是一个高度优化的基于Transformer的编码器和解码器组件，提供高效的推理和训练性能，支持多种Transformer模型，并兼容多种深度学习框架，灵活配置以满足不同需求。

一种新的优化器，结合了Prodigy和ScheduleFree的优点，旨在减少机器学习训练中的超参数设置，提高模型训练的效率和稳定性。通过简化参数调整过程，帮助用户更专注于模型开发和优化。

nanoGPT是一个从零开始构建的深度学习语言模型，旨在复现Karpathy的GPT-2模型。该项目提供了详细的代码与视频讲解，帮助用户深入理解并实现深度学习语言模型，特别适合初学者学习深度学习与自然语言处理。

accelerate是一个工具，可以帮助用户在多种设备上简单地运行PyTorch训练脚本，支持多GPU和TPU训练，并提供了易于集成的解决方案。它使得混合精度训练变得简单，同时支持分布式训练，用户可以通过命令行接口轻松启动训练任务。

Anote平台通过人性化的AI技术，积极从人类反馈中学习，不断优化GPT-4、Bard、Claude等AI算法及RLHF、Fine-Tuning和RAG等技术，使其在特定用例中随着时间的推移表现得更好。

一个可定制、简洁、用户友好且高效的工具包，用于训练和微调大型语言模型，支持多种训练和优化方法，以提高模型性能和稳定性。

FLASK是一个专注于基于技能集的细粒度评估工具，能够对大语言模型（LLM）进行全面分析和比较。它提供了评估模型在不同能力上的表现，并与最先进的开源LLM进行对比，帮助用户了解模型的优势和不足。

FederatedScope是一个全面的联邦学习平台，提供便捷的使用体验和灵活的定制选项，适用于学术界和工业界的各种联邦学习任务。

一个将Transformers与YOLO及其他单阶段检测器(SSD)结合的深度学习框架，提供高性能推理和便捷的CLI接口。支持D-FINE等先进模型，具备视频流推理、自动分布式训练等特性。适用于需要transformer增强的目标检测任务，提供Python API和Docker部署支持。

OpenAI Tools是一个综合工具包，旨在帮助用户充分利用他们的OpenAI账号。它提供了API使用情况跟踪、ChatGPT微调数据集管理、微调任务的创建、监控和取消、训练日志的审查和可视化、直接测试和比较微调及其他模型等功能。

qlora-pipe是一个开源脚本，旨在通过在四块4090 GPU上进行定制训练，以高效的方式训练大型语言模型（LLM）。它支持多块GPU的并行训练，并提供多种配置选项以优化训练流程，确保用户能够根据不同的需求灵活调整训练参数。

一个强大的框架，通过集成sparse kernel、量化、剪枝和注意力键/值的缓存，进一步优化了在CPU上进行的能力。

《人体运动扩散模型》的论文代码，旨在高效生成和编辑人体运动，支持多种运动风格和动作捕捉数据。

提供ChatGPT中文调教的详细指南，帮助用户更好地使用该模型。

一个用于运行Mistral AI发布的评估以及为流行学术基准测试提供标准化提示、解析和度量计算的代码库，支持多轮LLM-as-a-judge评估任务

一个全面的移动端和PC端智能代理相关资源集合，包含最新论文、数据集和基准测试。收录了各类移动端智能代理系统的训练方法、输入类型、模型架构等详细对比，以及主流数据集的详细信息统计。

mimictest是一个专注于机器人操控策略开发和测试的简单环境，支持多GPU训练和快速模拟环境搭建，旨在简化机器人学习的过程，帮助开发者更高效地验证和优化控制策略。