低延迟框架

Zero是一个简单、快速、高性能且低延迟的Python框架，适用于构建微服务或分布式服务器，支持RPC和PubSub功能。

FastAPI是一个现代化、快速的Web框架，专为构建API而设计。它基于Python 3.6及更高版本，旨在提供高效、简单且灵活的解决方案，特别适合开发高性能的API服务。FastAPI利用Starlette和Pydantic来实现高性能和自动数据验证，同时支持异步编程，能够处理高并发场景。此外，它还能自动生成OpenAPI文档，极大提升了开发效率。

tonic 是一个 gRPC over HTTP/2 实现，专注于高性能、互操作性和灵活性。它使用 Rust 编写，适合用于生产系统，提供对 async/await 的一流支持。

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。

taichi.js是一个现代化的JavaScript GPU计算框架，旨在提供高性能的计算能力，使开发者能够轻松地进行图形渲染、物理模拟、机器学习任务等。它支持多种数据类型，拥有易于使用的API，且具备跨平台兼容性，适用于多种应用场景。

fjall-rs/lsm-tree是一个用Rust语言实现的简化版日志结构合并树（LSM树），旨在提供高效的数据存储与访问能力，特别适合大规模数据处理。

为低延迟和高扩展性设计的快速轻量级代理，支持LLM的多种实验和推出特性，适用于生产环境

etcd是一个分布式键值存储系统，主要用于配置共享、服务发现和分布式锁等场景，提供高可用性和一致性的数据存储。

Juice是一个软件项目，提供GPU-over-IP解决方案，使用户能够远程访问和共享可负担且易于获取的GPU资源。通过利用未使用的GPU容量（称为'Dark GPU'），Juice可以在不同的部署和提供商之间实现GPU的高效利用。用户只需在工作站或服务器上安装该软件，即可实现对GPU加速工作负载的直接远程访问。