CoN-提升文档检索和处理的可靠性

这项新工作引入了注释链（CoN），以提高检索增强语言模型在面对嘈杂、不相关的文档和处理未知场景时的鲁棒性和可靠性。
CoN的特点:
1. 为检索到的文档生成顺序阅读笔记
2. 评估文档与给定问题的相关性
3. 整合信息以制定最终答案
4. 显著提高检索增强语言模型的性能

CoN的功能:
1. 训练 Llama-2 7B 模型
2. 处理嘈杂的检索文档
3. 应对超出预训练知识范围的实时问题

相关导航

Linq官网 – 构建基于公司数据的LLM应用

Linq是一个AI驱动的企业搜索引擎，能够快速构建向量搜索引擎，支持文本、图像和表格的检索增强生成（RAG）。用户可以在一天内创建自己的知识库，并通过友好的管理页面高效管理数据。

ChatFiles开源项目 – 与你的文件对话

ChatFiles是一款支持用户上传多个文件并同时与之进行交互的工具，基于LlamaIndex后端，用户可以方便地对上传的文件提问，从而获取所需的信息。

pdf2gpt官网 – 自动摘要长PDF文件的工具

pdf2gpt是一个利用GPT自动总结长PDF文档的工具。它将PDF分割成适合GPT上下文限制的部分，并提供整体摘要、目录和每个部分的摘要。

LamdAI Playground官网 – 为文档服务定制搜索引擎

LamdAI Playground 是一个为您的文档服务设计的搜索引擎，使用自定义解析器，模拟 ChatGPT 的功能，但仅针对您的特定文档。您可以利用自己的文档创建一个量身定制的搜索引擎。

Helper Systems: kOS官网 – 强大的个人PDF数据库工具

kOS是一个强大的研究工具，允许用户创建个人PDF数据库，可以从桌面、共享驱动器或网络添加PDF文件，支持注释和利用AI生成信息，并能快速创建资源演示，分享和证明工作。

WorkGPT官网 – 增强办公效率的AI助手

WorkGPT是一个强大的AI助手，基于GPT-3.5、GPT-4和Llama2等语言模型，旨在提升用户在Google Docs、Slides、Gmail和Sheets等应用中的工作效率，帮助用户编辑和创建内容、撰写电子邮件、处理信息、阅读等。

MindfulDataAI官网 – 提升工作效率的AI聊天助手

MindfulDataAI是一个为企业提供的AI驱动聊天机器人平台，旨在提高生产力并简化数据驱动的决策过程。它具备搜索网络的能力，并可以与多种商业应用集成，以安全地访问和提供信息。

watermark开源项目 – 文本水印保护方法

一种方法，在文本中植入鲁棒无失真的水印，这些水印对扰动具有鲁棒性，而不会改变文本的分布，最多不超过某个最大生成预算。

machine-learning-list开源项目 – 新员工的机器学习课程

为新员工设计的机器学习课程，专注于语言模型，旨在平衡生产部署机器学习的相关论文和技术，以及对长期可扩展性重要的技术。

DataBridge Core开源项目 – 强大的文档处理和检索系统

DataBridge Core 是一个强大的文档处理和检索系统，支持多种文件格式，提供语义搜索和文档处理功能，具有模块化设计，支持自定义解析器和嵌入模型，以及多种部署方式。

FastMLX开源项目 – 高性能API托管MLX模型

高性能生产级API，用于托管MLX模型，包括视觉语言模型(VLM)和语言模型(LM)，支持多种模型架构，优化资源管理，提供定制化服务

Shandu开源项目 – 智能综合研究工具

Shandu 是一款利用大语言模型（LLM）和网络爬虫技术的开源工具，能够对任意主题进行全面研究，并自动生成包含完整引用的综合报告。它通过多搜索引擎和LLM的集成，支持深入迭代探索，省去繁琐的手动资料收集工作，适用于学术研究、市场情报、内容创作等多种场景。

Chronos开源项目 – 基于语言模型的时间序列预测

Chronos是一个基于语言模型架构的概率时间序列预测预训练模型，能够将时间序列数据转化为Token序列，并通过交叉熵损失训练语言模型，从而实现多轨迹采样以获得概率预测分布。

Large Language Models as General Pattern Machines开源项目 – 自回归生成复杂标记序列的项目

该项目能够自回归地完成复杂的标记序列，包括从随机过程中生成的任意序列到更丰富的空间模式。使用语言大模型驱动的策略可能会为词汇模式转化为动作提供新思路，但目前由于延迟、上下文限制和计算成本等问题，还难以在真实系统中部署。这些可以促进领域的发展，为更广泛的任务和应用提供基础和启示。

IKI.AI官网 – 知识管理与智能助手平台

IKI.AI 是一个专为知识密集型专业人士（如研究人员、咨询师）设计的平台，旨在提升知识管理效率。它通过整合多种文件格式的存储和云同步功能，辅以基于大型语言模型的智能助手，帮助用户高效管理信息、自动生成分析报告，并解决信息分散和处理效率低的问题。

ChatGPT-强大的自然语言处理工具

ChatGPT是目前使用最广泛的两个语言大模型之一，具备先进的自然语言处理能力，能够进行对话生成、文本理解等多种任务。研究人员观察到其模型性能随着时间的推移而变差，因此持续监测模型性能变化显得尤为重要。

CivRealm开源项目 – 学习和推理环境的决策智能体

CivRealm是一个基于开源游戏Freeciv-web的学习和推理环境，提供了基于强化学习和语言模型的决策智能体接口，以及训练和评估工具和基线模型，旨在成为复杂环境中学习和推理代理的测试平台。

BD3-LM开源 – 结合自回归与扩散模型的语言模型

BD3-LM（Block Diffusion Language Model）是一种创新的语言模型，旨在通过结合自回归模型和离散扩散模型的优点，显著提升语言建模任务的性能。它通过在token块上执行自回归，并在每个块内进行离散扩散，实现了灵活且高效的建模方式。该模型特别适用于生成任意长度的序列，展现了其在自然语言处理领域的潜力。

Minima开源项目 – 开源本地RAG系统，支持多种模型集成

一个开源的本地RAG系统，支持多种大模型集成方案。可通过本地Ollama部署、ChatGPT自定义GPT或Anthropic Claude进行本地文件查询。

RestGPT开源项目 – 通过API控制现实世界应用的语言模型

RestGPT 是基于大型语言模型的自主代理的代码实现，通过 RESTful API 控制现实世界的应用程序。它旨在将语言模型与 API 连接起来，解决与规划、API 调用和响应解析相关的挑战。

FastChat-基于Llama开源项目 – 2的高效对话生成工具

FastChat是一个基于Llama-2构建的对话生成项目，支持32k的上下文长度，旨在提供高效的对话生成能力，适用于多种应用场景。它是一个开源项目，易于自定义和扩展，适合开发聊天机器人和进行自然语言处理任务。