AI交流(进群备注:onnx-safetensors)

onnx-safetensors是一个ONNX扩展,用于将ONNX模型的权重保存到safetensors格式以及从safetensors格式加载权重,从而实现ONNX模型与safetensors的高效和安全集成。该项目支持所有ONNX数据类型,包括float8、float4和4-bit整数,允许直接加载权重到ONNX模型而无需额外转换,并与ONNX Runtime兼容,可直接作为外部数据使用。
onnx-safetensors的特点:
- 1. 支持所有ONNX数据类型,包括float8、float4和4-bit整数。
- 2. 允许直接加载权重到ONNX模型,无需额外转换。
- 3. 与ONNX Runtime兼容,可直接作为外部数据使用。
onnx-safetensors的功能:
- 1. 将ONNX模型权重保存为safetensors格式。
- 2. 从safetensors格式直接加载权重到ONNX模型。
- 3. 在ONNX Runtime中使用safetensors作为外部数据。
相关导航
暂无评论...