一个高效的深度学习训练框架,旨在简化模型训练和优化过程,提供了多种预训练模型和工具,适用于计算机视觉任务。
一个用于在互联网上高效、全球分布式训练人工智能模型的框架,具备弹性设备网络、异步分布式检查点、实时检查点恢复等特性,旨在优化全球范围内的AI模型训练过程
Transformers和相关的深度网络架构在此进行了总结和实现,涵盖了自然语言处理和计算机视觉等多个领域。
ColossalAI是一个开源的分布式AI大模型训练框架,旨在降低大规模AI大模型的训练成本和复杂度。它通过先进的并行计算技术,让开发者在有限硬件资源下也能高效训练超大规模大模型。支持多种并行策略、混合精度训练、内存优化等技术,广泛应用于大规模模型训练、科研实验和企业部署。
Lobe 是一款免费且易于使用的应用程序,用户可以训练自定义机器学习模型并将其融入自己的应用中。它提供了可视化编程界面,支持多种任务,如图像分类、目标检测和数据分类。用户只需下载应用,收集并标记图像或数据,Lobe 会基于标记的示例自动训练模型,用户可以使用摄像头或图像来测试模型,并在改进预测后将其导出到应用中进行部署。
Perceiver IO是DeepMind的Perceiver IO的非官方PyTorch实现,支持分布式训练,具有通用输入处理能力,适用于图像、文本和音频等多种任务,设计高效,能够处理大规模数据。
这个开源项目的功能是对类似 #ChatGPT# 的模型进行简单、快速且经济实惠的 RLHF 训练。
开源深度学习编译器堆栈,专为CPU、GPU和专业加速器设计,支持简化和高性能的GPU内核编写。
EasyContext 是一个用于内存优化和训练配方的项目,旨在将语言模型的上下文长度扩展到100万令牌,同时对硬件要求最小化。该项目提供了多种方法来提升模型性能,并兼容现有技术的实现,帮助开发者在资源有限的情况下有效地进行模型训练。
Kyanite是一个用Rust开发的神经网络推理库,支持CPU和Nvidia GPU,采用模块化设计,能够清晰地分割各个推理阶段,提供高效的内存管理和计算性能。
用于交互式检查神经网络模块输入、输出、参数和梯度的工具,可以与Weights and Biases集成,也可以作为独立的解决方案运行
MobileNet V1的TensorFlow官方checkpoint到PyTorch版本的checkpoint转换工具,旨在简化不同深度学习框架之间的模型迁移,同时保持模型的精度和性能,适用于研究人员和开发者。