MPAX 是一个基于 JAX 的数学编程库,旨在使深度学习中的数学编程变得轻松。它支持硬件加速(CPU、GPU 和 TPU),并且是可微的,可以直接集成到神经网络的反向传播中。此外,MPAX 还支持批处理和分布式求解,显著提高了大规模问题的计算效率。
JAX是由Google开发的开源数值计算库,专为研究者和开发者设计,结合了数值计算和机器学习。它支持自动微分与硬件加速,在Transformer模型训练中性能较PyTorch提升30%,广泛应用于AlphaFold等前沿研究。JAX通过XLA编译器优化计算图,支持并行计算和动态控制流,使代码既高效又灵活。
一款基于苹果MLX框架的本地推理服务器,专为Apple Silicon芯片优化设计。支持OpenAI兼容的API接口,实现文本对话、语音转换、图像生成等AI能力。
AiInfer是一个C++版的AI推理库,目前专门支持TensorRT模型的推理,旨在提供高性能和易用性。
Rio是一个设计成可以在任何地方运行的终端,无论是作为由Rust/WebGPU驱动的本地桌面应用程序,还是在浏览器中由WebAssembly/WebGPU提供支持都可以运行。它利用硬件加速提供更好的性能,旨在为用户提供高效的终端体验。
HyperDB是一个针对大规模语言模型(LLM)应用的超快本地向量数据库,具有高度优化的C++后端向量存储。它通过MKL BLAS实现硬件加速操作,并支持id和元数据等高级功能,旨在提升向量检索和管理的效率和性能。
一个为PostgreSQL打造的高性能向量搜索扩展,支持大规模、高效和节省磁盘空间的向量检索。
DuckDB的向量相似度搜索扩展,基于usearch库实现,支持HNSW索引加速向量检索,提供欧几里得距离、余弦相似度等多种距离度量方式,可用于大规模向量数据的高效检索,支持增删改操作和索引重建。
NanoLLM 是一个专门为大语言模型(LLM)提供优化本地推理的平台,支持 HuggingFace 风格的 API,具备量化、视觉/语言模型、多模态Agent、语音处理、矢量数据库集成和检索增强生成(RAG)等功能。
Pinecone 是一个先进的向量数据库,旨在高效且低成本地为 AI 应用提供支持。作为无服务器解决方案,它能够快速部署和扩展 AI 服务,处理数十亿个向量嵌入,提供低延迟搜索能力,适用于推荐系统、搜索引擎等 AI 驱动的应用。
一个用于学习数据库系统的教程,帮助用户理解数据库的基本原理和实现。该项目实现了一个简单的关系数据库,支持基本的SQL查询,提供高效的数据存储和检索机制,并包含多个示例和测试用例,易于扩展和修改,适合初学者和有一定基础的开发者。
Fjall是一个用安全的Rust语言编写的基于LSM(Log-Structured Merge-tree)的嵌入式键值存储引擎,提供类似BTreeMap的线程安全API,支持范围和前缀搜索,并具有自动后台维护功能。
Inferflow是一个高效且高度可配置的大型语言模型(LLM)推理引擎,支持多种Transformer模型,用户无需编写源代码,只需通过简单修改配置文件即可进行服务,旨在提供高效的推理性能,适应不同需求。
MimicGen 是一个大规模扩展机器人学习的数据管道,能够通过模拟中的高质量人类数据与数字孪生相结合,自动生成训练集。
该项目展示了Rust中的范围映射功能,允许监视范围内的键,类似于etcd的监视机制。