加载均衡

Llumnix是一个针对大型语言模型（LLM）多实例服务的高效且易于使用的请求调度层，支持动态调度、内存碎片化减少、加载均衡优化，并且易于与现有的多实例部署平台集成。

这是一个新的简单替代方案，基于计算输入激活的权重大小和范数之间的逐元素乘积。

EricLLM是一个快速批处理API，旨在为各种大语言模型提供高效的服务，支持多种模型配置和资源管理，方便用户进行批量文本处理和集成到现有应用中。

SkyPilot 是一个用于简化和优化机器学习工作负载的工具，允许用户在多种云环境中高效地运行和管理计算任务。它支持多种云提供商，包括 AWS、GCP 和 Azure，并提供自动化资源管理与调度、高效的工作负载分配与监控、与 SGLang 集成支持高吞吐量服务，以及简单易用的命令行界面。

一个Python包，用于存储、检索和动态创建GPT模型的提示。旨在简化管理大型语言模型的过程，使在生产环境中改进语言模型变得更加简单。

Toolhouse是一个云基础设施平台，旨在为大型语言模型（LLMs）提供动作和知识，简化函数调用过程，仅需三行代码即可实现。

TabSherpa.ai 是一个浏览器扩展，当你关闭 Chrome 时，它会将你打开的标签页的详细列表和每个标签页的摘要通过邮件发送给你。TabSherpa 侧边栏还显示摘要和相似链接建议，帮助你在浏览时搜索标签和监控内存使用情况。