快速批处理API

EricLLM是一个快速批处理API，旨在为各种大语言模型提供高效的服务，支持多种模型配置和资源管理，方便用户进行批量文本处理和集成到现有应用中。

Orquesta是一个实时协作和无代码平台，利用大语言模型(LLM)能力，帮助企业集成和运营其产品。该平台集中管理提示、简化实验、收集反馈，并实时洞察性能和成本，兼容所有主要的LLM供应商，确保LLM操作的透明性和可扩展性，最终缩短客户发布周期并降低实验和生产环境的成本。

Llumnix是一个针对大型语言模型（LLM）多实例服务的高效且易于使用的请求调度层，支持动态调度、内存碎片化减少、加载均衡优化，并且易于与现有的多实例部署平台集成。

Juice是一个软件项目，提供GPU-over-IP解决方案，使用户能够远程访问和共享可负担且易于获取的GPU资源。通过利用未使用的GPU容量（称为'Dark GPU'），Juice可以在不同的部署和提供商之间实现GPU的高效利用。用户只需在工作站或服务器上安装该软件，即可实现对GPU加速工作负载的直接远程访问。

NanoFlow是一个面向大型语言模型(Large Language Models, LLMs)的高吞吐量高性能服务框架，采用设备内并行性、异步CPU调度和SSD卸载等关键技术，显著提升资源利用率和推理吞吐量。

LangPort是一个开源的大型语言模型服务平台，旨在提供超快的LLM推理服务，支持Huggingface transformers及多种语言模型，具有易于扩展的特性。

Apollo Backend 是一个开源后端项目，旨在高效地处理数据并提供稳定的API接口，反驳对传统后端开发的低效性和不必要的复杂性。该项目具有良好的可扩展性，易于与现有应用程序集成，同时拥有一个活跃的社区支持。

VerifAI的MultiLLM是一个开源框架，通过并行调用多个大型语言模型（LLM）并对其输出进行排名，以找到最佳结果（真实值）。该框架可扩展以支持新的LLM和自定义排名函数，从而评估来自不同LLM的多样化输出。

该项目探讨了在不同位精度下的语言模型（LLM）性能比较，尤其是4位和8位精度模型的精度表现。

KTransformers是由清华大学KVCache.AI团队与趋境科技联合开发的开源项目，专注于优化大型语言模型（LLM）的推理性能，特别是在资源受限的环境中高效运行LLM。该项目支持单GPU（24GB显存）或多GPU环境，支持DeepSeek-R1和V3的671B满血版模型，预处理速度最高可达286 tokens/s，推理生成速度最高可达14 tokens/s。KTransformers通过高级内核优化和放置/并行策略，提供高达3至28倍的加速效果，并支持Q4_K_M量化版本，最低仅需14GB显存和382GB内存。

Susterra利用数据科学、人工智能和计量经济学来现代化公共财政。我们的平台提供复杂的分析洞察，解决了公共财政各利益相关者面临的多个痛点。

pycorrector是一个专注于中文文本纠错的工具，支持音似、形似及语法错误的修正，基于Python3开发，集成了先进的GPT模型，为用户提供高效的文本校正服务。

Intel Extension for Transformers 是一个开源项目，旨在使客户端 CPU 上的大型语言模型（LLM）微调成为可能，特别是在没有 GPU 的情况下。它支持在 CPU 上进行 QLoRA 微调，适用于笔记本电脑环境，并通过优化的性能提升模型训练效率。该项目与 HuggingFace Transformers 兼容，支持 4 位推理，并利用 Intel 神经压缩器提供丰富的模型压缩技术，如量化、剪枝和蒸馏，显著提高了英特尔平台上的推理效率。此外，它还支持自动化的仅限权重的 INT4 量化流程，兼容多个流行的大语言模型，如 Llama2、Llama 和 GPT-NeoX。

一个以初音未来为主题的网络压力测试工具，界面可爱、操作简单，还能在测试时播放动感音乐，让枯燥的测试变得有趣起来

该研究发现，在计算限制范围内，LLM（高达90亿参数）经过四轮训练后，新数据带来的收益微乎其微，增加资源的收益有限。对于嘈杂的数据集，数据过滤的效果更为显著。

一个为Rust语言设计的高效异步数据处理工具，它通过“泵”的概念，让数据在不同阶段的处理更加高效，避免了传统方法中的性能瓶颈和死锁问题。