AI交流(进群备注:Deci)

Deci是一个深度学习开发平台,旨在加速边缘或云端推理,帮助开发者更快实现产品化,并最大化硬件潜力。它提供了一系列模块,包括基础模型和自定义模型,支持模型训练、优化和部署,适用于多个行业,如汽车、智能零售和视频分析等。
Deci的特点:
- 1. 智能架构搜索引擎AutoNAC,自动生成高效模型
- 2. SuperGradients™ PyTorch训练库,缩短开发周期
- 3. Infery优化与推理引擎SDK,提升模型性能
- 4. DataGradients™数据集分析工具,优化数据使用
- 5. 支持灵活的部署环境,适应多种操作需求
Deci的功能:
- 1. 优化生成式AI模型
- 2. 在边缘设备上运行
- 3. 减少云计算成本
- 4. 缩短开发时间
- 5. 最大化数据中心利用率
相关导航

Intel Extension for Transformers
Intel Extension for Transformers 是一个开源项目,旨在使客户端 CPU 上的大型语言模型(LLM)微调成为可能,特别是在没有 GPU 的情况下。它支持在 CPU 上进行 QLoRA 微调,适用于笔记本电脑环境,并通过优化的性能提升模型训练效率。该项目与 HuggingFace Transformers 兼容,支持 4 位推理,并利用 Intel 神经压缩器提供丰富的模型压缩技术,如量化、剪枝和蒸馏,显著提高了英特尔平台上的推理效率。此外,它还支持自动化的仅限权重的 INT4 量化流程,兼容多个流行的大语言模型,如 Llama2、Llama 和 GPT-NeoX。
暂无评论...