Awesome Test Time LLMs开源 – 提升大语言模型测试性能的资源库

FlowMind是一个专为思维导图生成设计的开源框架，为开发者提供构建智能结构化工具的平台。它支持从文本到导图的自动化转换，提升信息整理效率。通过NLP技术提取关键信息结构，自动构建层次化思维导图，并支持导图样式与内容的调整。此外，FlowMind还提供高效的文本到图转换工具，兼容多种导图文件格式，适用于知识整理、教育支持和项目规划等多种场景。

xGeMM是一个从零开始实现的加速型单精度矩阵乘法（FP32）项目，专为GPU优化，旨在显著提升矩阵运算的性能。该项目支持多种优化策略，从简单到高级，通过高效利用CUDA技术，实现性能的大幅提升。xGeMM还提供了详细的基准测试，涵盖多种实现方式，帮助用户理解和比较不同矩阵乘法实现方式的性能差异。

LMFlow是一个专为语言模型工作流设计的开源框架，提供优化开发与部署过程的工具，支持从训练到推理的全链路管理，提升语言任务的效率。它具有可扩展的架构，支持大规模机器学习模型的高效微调和推理，并提供用户友好的界面进行模型管理。

LiveKit Agents 是一个完全开源的框架，旨在帮助开发者构建能够实时处理语音、视频和文本的多模态AI应用。它提供了一套完整的工具和接口，简化了AI代理的开发流程，集成了语音管道代理、多模态代理、实时媒体传输、任务调度、电话集成和数据交换等功能。开发者可以根据具体应用场景选择合适的模型和服务，并与 LiveKit 的 Telephony Stack 无缝集成，使代理能够拨打或接听电话。

XAIstream是一个专为实时AI处理设计的开源框架，为开发者提供构建低延迟智能系统的工具。它支持流式数据的高效处理，适用于动态场景下的模型应用。通过流式计算、推理加速、动态调度、硬件适配和接口支持等功能，XAIstream能够帮助开发者在各种实时场景中高效地应用AI技术。

QinSQL 是一款高性能数据库，旨在高效处理查询和数据，针对各种查询场景进行了优化。

LiveBench AI是一个由Abacus AI和杨立昆及其团队合作创建的基准测试工具，通过发布新问题和基于最新数据集设置评测，确保基准测试的无污染性。它包含18个任务，分为6个类别，初始发布960个问题，任务全面多样化。

GrokTune是一个专为模型微调设计的开源框架，旨在为开发者提供高效优化AI模型的工具。它支持快速调整预训练模型以适配特定任务，从而显著降低开发成本与时间。框架内置了多种功能，包括参数微调、数据处理、训练加速和模型评估等，确保用户能够高效地进行模型优化。

一个开源框架，专为大型语言模型提供高级推理能力，支持数据生成、策略训练和多种搜索策略，让机器更聪明地理解和解决问题。

XAIlearn是一个专为自适应学习设计的开源框架，为开发者提供构建个性化AI学习系统的工具。它支持动态调整学习策略，优化教育与训练效果。该框架内置了学习行为评估工具，能够实时提供学习推荐，并兼容多种教育模型框架，适用于教育系统、技能培训和学习研究等多个领域。

mlx-benchmark是一个基准测试项目，旨在评估苹果的MLX操作在不同硬件平台上的性能，包括mlx GPU、CPU、torch MPS和CUDA。它提供了详细的性能评估，并且是一个易于使用的基准测试工具，支持用户自定义测试场景，帮助开发者更好地理解和优化他们的MLX操作。

Spin 是一个开源框架，用于构建和运行基于 WebAssembly (Wasm) 的事件驱动无服务器应用。Spin 利用 Wasm 的沙盒、安全、可移植和快速特性，使得应用在毫秒级的冷启动时间内运行，无需保持应用“热”状态。

Semantic Kernel 是一个轻量级的开源框架，通过 Semantic Kernel 您可以快速使用不同编程语言(C#/Python/Java)结合 LLMs(OpenAI、Azure OpenAI、Hugging Face 等模型)构建智能应用。

连续上榜 GitHub Trending 的一款 SQL 生成 AI 框架，允许在你的数据上训练出独有的 RAG（检索增强生成）模型，通过自然语言准确生成 SQL 查询语句和相关功能。

Letta是一个开源框架，用于构建具有内存功能的大型语言模型（LLM）服务。它允许用户创建具有高级推理能力和透明长期记忆的状态感知代理。Letta使用数据库持久化代理状态，支持多种LLM API后端（如OpenAI、Anthropic等），并采用模块化设计，便于集成和扩展。Letta已广泛应用于客户支持聊天机器人、个性化推荐引擎和知识库助手等场景。