llama-chunk-基于Llama开源项目 – 70B的文本分块策略

一个基于Llama-70B的创新文本分块策略，针对RAG应用优化，使用中文字符’段’作为特殊标记，实现自动语义分块。
llama-chunk的特点:
1. 使用中文字符’段’作为特殊标记
2. 自动进行语义分块，无需正则表达式或人工规则
3. 在法律文本基准上表现优于传统naive方法和语义分块方法
4. 更高的检索率和信噪比

llama-chunk的功能:
1. 对法律文本进行高效的语义分块
2. 在RAG应用中优化文本处理
3. 为大模型提供自动化的文本分块解决方案

相关导航

Momen官网 – 为企业创建AI应用的工具

Momen是一个强大的平台，允许用户创建基于AI的应用和自定义GPT，旨在提升企业效率和创新能力。通过提供丰富的资源，用户可以轻松构建AI助手、增强内容生成、开发自定义用户界面，并实现数据的智能分析和决策支持。

Retrieval-Augmented Generation (RAG)-结合检索与生成的智能文本生成技术

RAG技术通过检索方法与深度学习结合，动态整合最新的外部信息，以提高大型语言模型生成文本的可靠性，并解决生成过程中可能出现的错误信息（幻觉）问题。

HanFei开源项目 – 国内首个全参数训练的法律大模型

HanFei-1.0 (韩非) 是国内首个全参数训练的法律大模型，专为法律领域设计，具备强大的法律文本处理能力，能够高效解答法律问题，支持多种法律应用场景，帮助用户快速获取法律信息和服务。

awesome-LLM-resourses开源项目 – 全面的大语言模型资源库

awesome-LLM-resourses 是一个涵盖广泛的LLM资源集合，包括数据集、微调、推理、知识库、智能体、书籍、课程、学习教程以及相关论文等内容。项目持续更新，旨在成为最好的大语言模型资源汇总，适合从入门到进阶的研究者和开发者使用。

ColiVara官网 – 基于视觉嵌入的文档检索工具

ColiVara是一个创新的文档检索API，利用视觉嵌入技术存储、搜索和检索文档，无需依赖传统的OCR或文本提取。它支持超过100种文件格式，包括PDF、DOCX、PPTX等，特别适合处理视觉丰富的内容，如表格、图表和复杂布局的文档。项目提供Python和TypeScript的SDK，方便开发者集成，目标是提升文档检索的效率和准确性，尤其在检索增强生成（RAG）应用中表现突出。

agent-flock官网 – 低代码AI开发平台

agent-flock是一个基于工作流的低代码平台，旨在帮助开发者快速构建聊天机器人、RAG（检索增强生成）应用以及多代理协作系统。它集成了工作流引擎、LangChain、LangGraph、向量数据库支持、多代理协调模块和可选的可视化界面，支持通过YAML或JSON文件定义工作流，并提供离线运行能力。其核心目标是简化AI代理系统的开发过程，支持多种应用场景，并提供开源和离线运行能力。

Supavec开源项目 – 开源版Carbon.ai，打造RAG应用

Supavec是一个基于Next.js和Supabase构建的开源项目，旨在打造强大的RAG（Retrieval-Augmented Generation）应用。它支持任意数据源的集成，具备无限扩展应用规模的能力，同时提供简单易用的API接口和完善的文档，代码开源，允许用户自由定制和二次开发。

Verba: The Golden RAGtriever开源项目 – 简化RAG应用的端到端解决方案

Verba 是 Weaviate 开源的一个应用程序，旨在为检索增强生成（RAG）提供一个端到端、简化且用户友好的界面。它支持多种数据源和语言模型提供程序，如 HuggingFace、Ollama、OpenAI、Cohere 和 Google，帮助用户轻松构建和部署 RAG 应用。

LogoAI官网 – 智能logo设计与品牌构建平台

LogoAI是一个基于AI的logo制作和品牌建设平台，帮助企业创建专业的logo，设计匹配的品牌形象，并自动化品牌推广，生成符合品牌的社交媒体内容。

ArtPrompt-基于ASCII艺术的越狱攻击工具

ArtPrompt是一个基于ASCII艺术的越狱攻击项目，旨在绕过具有安全机制的语言模型（LLM）。通过利用ASCII艺术形式，该项目能够进行黑盒攻击，测试和评估LLM对非语义提示的识别能力，揭示其脆弱性和局限性。

LLM Debugger开源项目 – AI驱动的代码调试工具

LLM Debugger 是一个 VSCode 扩展项目，旨在利用大型语言模型（LLM）提升代码调试的效率和准确性。该扩展通过整合运行时变量值、函数行为、分支决策等动态信息到 LLM 的上下文中，提供了一种比传统基于静态源代码分析的调试方法更快、更准确的调试方式。LLM Debugger 支持自动设置断点、监控运行时事件以及执行 LLM 指导的调试操作，简化了调试流程，帮助开发者更高效地管理复杂的调试任务。尽管目前主要是试验性扩展，但它已经展示了在调试 AI 生成代码方面的潜力。

adapter-transformers开源项目 – 轻量级Transformer适配器工具库

adapter-transformers是一个开源工具库，支持在Transformer模型中添加和训练适配器（Adapter）。适配器是一种轻量级的模块，可以在不修改原始模型参数的情况下，对模型进行微调。该工具库支持多种任务，包括文本分类、命名实体识别等，并且可以与Hugging Face的Transformers库无缝集成。它提供了统一的接口，支持高效微调和模块化迁移学习，支持多种适配器方法，如Bottleneck Adapters、AdapterFusion、LoRA等，并支持适配器合并和组合，为NLP任务的参数高效迁移学习提供了强大的工具。

混元3D官网

这款开源AI 3D工具集成了先进的分步生成技术与游戏开发工作流，通过低多边形优化与骨骼绑定等功能，为3D创作与游戏开发提供了高效、易用的解决方案。

edge-tts开源项目 – 为电子书提供有声书服务

edge-tts是一个工具，能够将任何epub书籍转换为有声书，使用微软的Edge TTS引擎生成语音，支持多种语言和语音选项，用户可以自定义语速和音调，提供简单易用的命令行界面，帮助用户节省在Audible上的开支。

ASTRA-sim 2.0开源项目 – 分布式机器学习系统模拟器

ASTRA-sim 2.0 是一款专注于现代深度学习系统挑战研究的分布式机器学习系统模拟器。它通过模拟分层网络结构，支持大规模分布式训练，旨在探索瓶颈问题并开发大型DNN模型的高效方法论。该项目提供了分层网络和分解系统建模，为研究人员提供了一个强大的平台来研究分布式机器学习系统的性能瓶颈，并开发高效的大规模深度学习训练方法。

暂无评论

暂无评论...