BooookScore开源项目 – 超长文本总结与评估框架

BooookScore是一个专为处理超长文本（如书籍）总结而设计的框架，能够将超过100K字的文本切分成更小的块，并通过提示LLM（大语言模型）合并、更新和压缩块级摘要。它支持分层合并和增量更新两种方案，以确保生成的全文总结具有连贯性。此外，BooookScore还能够评估超长文本总结的连贯性错误，并提供多种功能来优化总结过程。

BooookScore的特点:

1. 支持超长文本的切分与总结
2. 提供分层合并和增量更新两种总结方案
3. 能够评估总结的连贯性错误
4. 支持多种LLM模型（如GPT-4、Claude 3、Mixtral等）
5. 提供总结后处理功能，去除合并中的冗余信息
6. 支持总结的批量处理和检查点机制

BooookScore的功能:

1. 将超长文本切分成小块并生成块级摘要
2. 使用分层合并或增量更新生成全文总结
3. 对生成的总结进行后处理，去除冗余信息
4. 使用BooookScore评估总结的连贯性
5. 支持多种LLM模型进行总结生成与评估

相关导航

Build Your Own X开源项目 – 从零构建各类技术项目

Build Your Own X 是一个开源技术学习平台，旨在帮助用户从零开始构建各种技术项目，涵盖编程语言解释器、数据库、操作系统、网络协议、机器学习框架、游戏引擎等多个领域。项目提供丰富的学习资源和实践教程，适合初学者和有经验的开发者，旨在通过动手实践提升技术理解和应用能力。

Lightning IR开源项目 – 基于PyTorch Lightning的信息检索库

Lightning IR 是一个基于 PyTorch Lightning 的库，专门用于微调和运行基于 transformer 的语言模型进行信息检索任务。它提供了完整的解决方案，支持多种信息检索任务和数据集，简化了模型训练和推理过程，同时易于扩展和定制。

quicktype开源项目 – JSON转强类型代码工具

quicktype 是一个开源项目，能够从 JSON、JSON Schema、TypeScript 和 GraphQL 查询中生成强类型的模型和序列化器。它支持多种编程语言，包括 JavaScript、Python、Java、TypeScript、Swift、Go、Rust 等。quicktype 提供了网页界面、命令行接口（CLI）和 JavaScript API，方便用户在不同开发环境中使用。它极大地简化了数据与代码之间的转换过程，提升了程序员的工作效率。

sparrow开源项目 – 扫描文档结构化数据提取工具

sparrow 是一个利用机器学习技术从扫描文档中提取结构化数据的工具。它支持多种文档格式，并提供了一个用户友好的演示界面，方便用户测试和验证文档提取模型。该项目是开源的，代码托管在GitHub上。

Extreme-Multi-Patch Self-Supervised-Learning (EMP-SSL) – 高效自监督学习新方法

EMP-SSL是一种创新的自监督学习方法，通过增加每个图像实例中的图像块数量，显著提高了自监督学习的效率。该方法不依赖于常见的启发式技术，如分支之间的权重共享，并采用了特征归一化、输出量化和停止梯度等技术，使得训练时间减少了两个数量级，同时在多个数据集上实现了高准确率。

DeepKnowledgeTracing开源项目 – 基于深度学习的知识追踪模型

Deep Knowledge Tracing (DKT) 是一种利用循环神经网络 (RNNs) 来追踪学生知识状态的深度学习模型。该模型由 Chris Piech 等人在 NIPS 2015 的论文中提出，旨在通过分析学生的学习历史来预测其未来的表现。DKT 能够处理大规模的教育数据，并提供对学习过程和知识获取的深入见解。此外，该模型的开源实现可在 GitHub 上获取。

GPTs开源项目 – 集合优秀 GPT 提示，助力用户

一个集合了优秀 GPT 提示的项目，旨在帮助用户更好地利用 GPT 技术。该项目提供了多种高质量的提示，支持不同场景的应用，易于使用和集成，并且是开源的，欢迎贡献和讨论。

Open Interpreter-通过终端接口与GPT官网 – 4交互

Open Interpreter是一个开源项目，允许语言模型在你的计算机上运行代码以完成各种任务。用户可以通过类似ChatGPT的终端界面进行操作。

Llama Stack开源项目 – 集成化的 LLM 应用开发工具

Llama Stack 是一个开源项目，旨在将 LLM 应用构建生成周期的所有组件打包，包括训练、微调、产品评估、观测、Agent & Memory、合成数据生成等，并支持 9+ 提供商。

APISR开源项目 – 动漫图像视频超分辨率模型

APISR是一个专注于动漫图像和视频的超分辨率模型，旨在通过提升画质分辨率来恢复和增强低质量、低分辨率的动漫图像和视频源。该项目特别针对真实场景中的各种退化问题，提供了多种超分辨率模型和权重，支持2x、4x等不同放大倍数的处理。APISR还提供了在线演示、本地Gradio推理、数据集处理、训练等功能，适用于动漫爱好者和研究人员。

alpaca.cpp开源项目 – 开源本地聊天模型，接入Chatbot UI

基于LLaMA衍生的本地模型，风格偏向ChatGPT的聊天模式，能够接入流行的ChatGPT开源界面Chatbot UI。该项目旨在提供高效的自然语言处理功能，支持多种语言的输入和输出，可在本地运行，无需依赖互联网，特别适合低资源环境。

RAGFlow开源项目 – 深度文档理解驱动的RAG引擎

RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎，能够为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）提供可靠的问答及有理有据的引用。它支持多模态文档解析和精准信息提取，特别在金融合同解析中表现优异。

Gen AI Toolbox for Databases开源项目 – 数据库生成式AI开发工具箱

Google开源的Gen AI Toolbox for Databases是一个专为开发者设计的工具箱，旨在简化与数据库交互的生成式AI工具的开发过程。它提供了快速处理连接池、安全处理身份验证、内置详尽的技术文档等功能，帮助开发者更高效地构建和优化数据库相关的生成式AI应用。此外，工具箱还集成了OpenTelemetry支持，提升了端到端的可观测性，并简化了开发流程，使得集成工具仅需不到10行代码即可完成。

PhotoPrism开源项目 – AI驱动的智能照片管理工具

PhotoPrism是一款基于AI的智能照片管理工具，支持自动对照片进行分类、标记，并通过直观的界面展示。它可以轻松处理各种图片格式，包括RAW文件，同时还能按日期、地点、内容进行搜索。项目由前Google工程师Michael Mayer发起，旨在打造一个功能强大且保护隐私的照片管理解决方案。

kro开源项目 – 简化Kubernetes资源管理

Kubernetes资源编排的利器，让复杂资源管理变得简单高效。kro通过定义复杂多资源构造为可复用组件，简化资源管理，动态创建和管理底层资源，无缝集成现有工具，并持续优化和改进中。