一个基于Llama-70B的创新文本分块策略,针对RAG应用优化,使用中文字符'段'作为特殊标记,实现自动语义分块。
text-splitter 是一个将文本分割成不同片段的工具,旨在提高处理大型文本的效率。它支持根据字符和令牌计算长度,特别适合与大型语言模型结合使用。
Momen是一个强大的平台,允许用户创建基于AI的应用和自定义GPT,旨在提升企业效率和创新能力。通过提供丰富的资源,用户可以轻松构建AI助手、增强内容生成、开发自定义用户界面,并实现数据的智能分析和决策支持。
RAG技术通过检索方法与深度学习结合,动态整合最新的外部信息,以提高大型语言模型生成文本的可靠性,并解决生成过程中可能出现的错误信息(幻觉)问题。
E2M是一个强大的开源工具,可将多种文件类型如doc、docx、epub、html、htm、url、pdf、ppt、pptx、mp3、m4a等转换为Markdown格式,便于数据检索增强生成(RAG)及模型训练或微调,支持自定义配置,易于安装和使用。
这是一个用Python编写的GraphRAG算法的简化实现,仅包含1000行代码,旨在提供高效的结构化信息检索和知识图谱构建功能。
ARAGOG旨在探索和比较各种基于检索增强生成(RAG)技术,用于评估人工智能研究论文数据集的输出,包括模块化代码,以便于实验和重用。