AI交流(进群备注:ZhiLight)

由知乎和ModelBest公司开发的高性能LLM推理引擎,针对PCIe GPU优化,支持Llama等大模型变体。
ZhiLight的特点:
1. 异步OpenAI兼容接口
2. 自定义张量和统一内存管理
3. 双流并行处理
4. 融合批处理注意力机制
5. 支持多种量化方案(INT8/SmoothQuant/FP8/AWQ/GPTQ)
6. 支持MoE模型
ZhiLight的功能:
1. 用于大模型推理加速
2. 在PCIe GPU上优化性能
3. 实现异步接口调用
4. 进行自定义张量操作
5. 执行量化模型以降低计算资源消耗
相关导航

vector_db_id_compression开源 – 无损压缩向量ID,优化ANNS索引存储
vector_db_id_compression 是一个基于论文 'Lossless Compression of Vector IDs for Approximate Nearest Neighbor Search' 的实现项目,专注于无损压缩近似最近邻搜索(ANNS)索引中的向量 ID,以显著减少存储空间。该项目使用非对称数字系统(ANS)和小波树(WT)技术,在不影响搜索精度和速度的情况下,实现了高达7倍的向量 ID 压缩率,并在十亿级数据集上将整体索引大小减少了30%。此外,项目还探索了簇内量化码的条件熵编码,进一步提高了压缩率。
暂无评论...