所有AI工具AI开发框架AI开源项目AI编程工具

onnx-safetensors开源项目 – ONNX与safetensors无缝集成

onnx-safetensors是一个ONNX扩展,用于将ONNX模型的权重保存到safetensors格式以及从safetensors格式加载权重,从而实现ONNX模型与safetensors的高效和安全集成。该项目支持所有ON...

标签:

AI交流(进群备注:onnx-safetensors)

onnx-safetensors是一个ONNX扩展,用于将ONNX模型的权重保存到safetensors格式以及从safetensors格式加载权重,从而实现ONNX模型与safetensors的高效和安全集成。该项目支持所有ONNX数据类型,包括float8、float4和4-bit整数,允许直接加载权重到ONNX模型而无需额外转换,并与ONNX Runtime兼容,可直接作为外部数据使用。

onnx-safetensors的特点:

  • 1. 支持所有ONNX数据类型,包括float8、float4和4-bit整数。
  • 2. 允许直接加载权重到ONNX模型,无需额外转换。
  • 3. 与ONNX Runtime兼容,可直接作为外部数据使用。

onnx-safetensors的功能:

  • 1. 将ONNX模型权重保存为safetensors格式。
  • 2. 从safetensors格式直接加载权重到ONNX模型。
  • 3. 在ONNX Runtime中使用safetensors作为外部数据。

相关导航

暂无评论

暂无评论...