所有AI工具AI其他工具AI开源项目AI编程工具

DeepCompressor开源项目 – 大型语言模型和扩散模型的压缩工具

DeepCompressor是一个专为大型语言模型和扩散模型设计的模型压缩工具箱,支持多种数据类型的假量化,旨在提高模型的推理速度和效率。

标签:

AI交流(进群备注:DeepCompressor)

DeepCompressor是一个专为大型语言模型和扩散模型设计的模型压缩工具箱,支持多种数据类型的假量化,旨在提高模型的推理速度和效率。
DeepCompressor的特点:
1. 支持8bit以内的任何整数和浮点数据类型的假量化,例如INT8、INT4和FP4_E2M1
2. 高效压缩
3. 加速模型推理

DeepCompressor的功能:
1. 用于大型语言模型的模型压缩
2. 用于扩散模型的模型压缩
3. 优化模型推理速度和内存使用

相关导航

暂无评论

暂无评论...