AI交流(进群备注:OneFlow)

OneFlow 是一个分布式深度学习框架,旨在使每位算法工程师能够训练超大模型,例如 GPT,克服高训练成本和大模型落地难的问题。它提供易用且高效的动态图和静态图训练接口,支持多种硬件设备,简化模型部署和训练过程。
OneFlow的特点:
1. 支持高效的分布式训练
2. 灵活的计算图构建
3. 优秀的性能优化
4. 简化的模型部署
5. 兼容多种硬件设备
6. 默认以动态图模式运行,便于网络搭建和调试
7. 面向对象式的动态图接口,易于上手
8. 与 PyTorch 兼容的算子,支持200+算子
9. 新增面向对象的静态图接口,降低静态图编程门槛
OneFlow的功能:
1. 使用 OneFlow 进行大规模深度学习模型的训练
2. 在多GPU环境下加速深度学习任务
3. 利用 OneFlow 的 API 构建自定义神经网络
4. 在云端环境中部署和管理训练任务
5. 使用 nn.Module 接口构建动态网络
6. 通过 import oneflow as torch 进行 PyTorch 网络的迁移
7. 使用 nn.Graph 接口搭建静态图网络
8. 启动分布式训练,支持数据并行、模型并行和流水并行
相关导航

LLM Compressor 是一个专注于大型语言模型压缩的工具库,支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容,设计灵活易用,便于快速实验。此外,它还专门为 vLLM 提供量化优化功能,支持将 Hugging Face 格式的模型转换为 safetensors 格式,特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法(如 GPTQ、SparseGPT 和 SmoothQuant),LLM Compressor 在保持模型精度的同时,显著提升推理效率和资源利用率。