高性能数据存储

btree是一个用Go语言实现的高性能B树，能够高效存储和检索大量数据，支持并发读写，具备优化性能的路径提示和灵活的键类型及自定义比较函数。

LZAV是一种快速内存数据压缩算法，具有高压缩速度（460+MB/s）和高解压速度（2500+MB/s），其压缩比优于LZ4、Snappy和LZF，适用于需要高性能压缩的各种场景。

Fjall是一个用安全的Rust语言编写的基于LSM（Log-Structured Merge-tree）的嵌入式键值存储引擎，提供类似BTreeMap的线程安全API，支持范围和前缀搜索，并具有自动后台维护功能。

FastLanes是一个高性能压缩库的Rust实现，利用LLVM自动向量化技术实现高效的SIMD解码，旨在满足高性能数据压缩的需求，同时保证安全性和性能。

VPTQ是一种针对大型语言模型的极低比特向量后训练量化方法，旨在通过量化技术提高模型的计算效率和存储效率，同时保持模型性能。该项目适用于各种大型语言模型的优化，能够显著减少模型的内存占用和计算资源需求。

Cold Compress是一个开源轻量工具包，旨在创建和基准测试基于GPT-Fast的缓存压缩方法，支持自定义和扩展KV缓存压缩技术，提供灵活的解决方案以优化数据存储和访问效率。

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。

Quadratic是一个为分析师、数据科学家和开发者设计的实时电子表格工具。它支持Python、公式和人工智能，允许用户与他人实时协作并进行高性能分析。