高精度生成

Fast GraphRAG开源项目 – 智能适应的高效检索生成框架

针对特定用例、数据和查询智能适应的 RAG（Retrieval-Augmented Generation）框架，旨在提供可解释、高精度、高效的代理驱动检索工作流程。

智能适应的RAG框架自然语言处理高可解释性检索高效信息检索

AURORA开源项目 – 免费的GPT3.5 API

AURORA是一个免费的API，基于GPT-3.5模型，旨在提供易于集成和高效的文本生成服务，支持多种语言，适用于多种应用场景。

免费GPT-3.5 API创意写作文本生成服务智能问答系统

Multi document agentic RAG官网 – 超越传统，智能决策与行动

Agentic RAG 通过引入更高级别的自主性超越了传统的 RAG 系统，能够独立做出决策和采取行动，提供更细致入微的响应。

上下文感知能力提升多文档智能数据检索自主决策交互式应用

Efficient LLM inference solution on Intel GPU-基于Intel GPU的高效LLM推理

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。