这个开源库提供了各种压缩算法,支持纯 Go 实现的高性能数据压缩和解压缩,适用于多种网络和数据处理场景。
tiktoken-go 是一个用纯 Go 语言实现的 OpenAI 的 tiktoken tokenizer,旨在高效地进行文本的编码和解码,支持多种语言模型,完全无外部依赖,便于集成和使用。
将独立的FFmpeg二进制文件封装在直观的迭代器接口中,提供极简依赖、自动下载FFmpeg CLI(如需要)、支持Windows、MacOS和Linux,以及彻底的单元测试。
VPTQ是一种针对大型语言模型的极低比特向量后训练量化方法,旨在通过量化技术提高模型的计算效率和存储效率,同时保持模型性能。该项目适用于各种大型语言模型的优化,能够显著减少模型的内存占用和计算资源需求。