LOMO是复旦大学提出的新论文,旨在使用单台8片24G的RTX 3090对Llama 65B模型进行全参数微调。该项目通过优化训练效率和性能,为用户提供了兼容多种深度学习框架的解决方案,并附带详细的实验结果和分析,帮助用户更好地理解模型的表现。
FasterTransformer是一个高度优化的基于Transformer的编码器和解码器组件,提供高效的推理和训练性能,支持多种Transformer模型,并兼容多种深度学习框架,灵活配置以满足不同需求。
一种新的优化器,结合了Prodigy和ScheduleFree的优点,旨在减少机器学习训练中的超参数设置,提高模型训练的效率和稳定性。通过简化参数调整过程,帮助用户更专注于模型开发和优化。
nanoGPT是一个从零开始构建的深度学习语言模型,旨在复现Karpathy的GPT-2模型。该项目提供了详细的代码与视频讲解,帮助用户深入理解并实现深度学习语言模型,特别适合初学者学习深度学习与自然语言处理。
accelerate是一个工具,可以帮助用户在多种设备上简单地运行PyTorch训练脚本,支持多GPU和TPU训练,并提供了易于集成的解决方案。它使得混合精度训练变得简单,同时支持分布式训练,用户可以通过命令行接口轻松启动训练任务。
Anote平台通过人性化的AI技术,积极从人类反馈中学习,不断优化GPT-4、Bard、Claude等AI算法及RLHF、Fine-Tuning和RAG等技术,使其在特定用例中随着时间的推移表现得更好。
一个可定制、简洁、用户友好且高效的工具包,用于训练和微调大型语言模型,支持多种训练和优化方法,以提高模型性能和稳定性。
FLASK是一个专注于基于技能集的细粒度评估工具,能够对大语言模型(LLM)进行全面分析和比较。它提供了评估模型在不同能力上的表现,并与最先进的开源LLM进行对比,帮助用户了解模型的优势和不足。
FederatedScope是一个全面的联邦学习平台,提供便捷的使用体验和灵活的定制选项,适用于学术界和工业界的各种联邦学习任务。
一个将Transformers与YOLO及其他单阶段检测器(SSD)结合的深度学习框架,提供高性能推理和便捷的CLI接口。支持D-FINE等先进模型,具备视频流推理、自动分布式训练等特性。适用于需要transformer增强的目标检测任务,提供Python API和Docker部署支持。
OpenAI Tools是一个综合工具包,旨在帮助用户充分利用他们的OpenAI账号。它提供了API使用情况跟踪、ChatGPT微调数据集管理、微调任务的创建、监控和取消、训练日志的审查和可视化、直接测试和比较微调及其他模型等功能。
qlora-pipe是一个开源脚本,旨在通过在四块4090 GPU上进行定制训练,以高效的方式训练大型语言模型(LLM)。它支持多块GPU的并行训练,并提供多种配置选项以优化训练流程,确保用户能够根据不同的需求灵活调整训练参数。
一个强大的框架,通过集成sparse kernel、量化、剪枝和注意力键/值的缓存,进一步优化了在CPU上进行的能力。
《人体运动扩散模型》的论文代码,旨在高效生成和编辑人体运动,支持多种运动风格和动作捕捉数据。
提供ChatGPT中文调教的详细指南,帮助用户更好地使用该模型。
一个用于运行Mistral AI发布的评估以及为流行学术基准测试提供标准化提示、解析和度量计算的代码库,支持多轮LLM-as-a-judge评估任务
一个全面的移动端和PC端智能代理相关资源集合,包含最新论文、数据集和基准测试。收录了各类移动端智能代理系统的训练方法、输入类型、模型架构等详细对比,以及主流数据集的详细信息统计。
mimictest是一个专注于机器人操控策略开发和测试的简单环境,支持多GPU训练和快速模拟环境搭建,旨在简化机器人学习的过程,帮助开发者更高效地验证和优化控制策略。