TokenSkip开源项目 – 优化大模型推理效率

TokenSkip是一个专为优化大语言模型推理过程而设计的工具，它通过智能地跳过冗余的推理步骤，压缩思维链路径，从而在保持推理准确性和效率的同时，显著降低训练和推理成本。

TokenSkip的特点:

1. 仅需0.2%的参数微调，实现高效压缩
2. 在40%的压缩率下，性能几乎无损（小于0.4%的性能下降）
3. 训练成本低，14B模型仅需2.5小时即可完成训练

TokenSkip的功能:

1. 优化大语言模型的推理过程，减少冗余步骤
2. 压缩思维链路径，提高推理效率
3. 在保持高准确性的同时，降低训练和推理成本

相关导航

Lagent开源项目 – 轻量级智能代理框架

Lagent是一个专为轻量AI代理设计的开源框架，旨在为开发者提供高效构建智能代理的工具。它通过简化的架构支持快速开发与部署，特别适用于资源受限场景。Lagent支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。

mm-cot开源项目 – 提升大语言模型在复杂任务中的表现

mm-cot是亚马逊开源的多模态链式思维（Multi-modal Chain of Thought）模型，旨在提升大语言模型在复杂任务中的表现。它支持多模态输入，包括文本和图像，并通过链式思维增强推理能力，特别针对复杂任务进行了优化的架构设计，方便研究人员和开发者进行二次开发。

LoLCATs开源项目 – 高效转换大型语言模型

一种称为LoLCATs的新方法，用于将现有的大型语言模型（如 Llama 和 Mistral）转换为具有亚quadratic时间复杂度的线性化版本，同时保持模型性能。

Origami开源项目 – 开源工具，助力标准化与集成

Origami是一个开源项目，旨在构建规范和工具，以更好地实现标准化和工具的集成，促进团队合作和工作透明度。

Swarm开源项目 – 轻量级多代理协调框架

Swarm 是一个实验性的教育框架，专注于轻量化、模块化和易于测试的多智能体系统协调。它提供了两种基本抽象：代理（Agent）和传递（Handoff），代理包含指令和工具，可以随时选择将对话传递给另一个代理。Swarm 探索了轻量级、可扩展和高度可定制的模式，最适合处理大量独立的功能和指令。该项目由 OpenAI 提供，旨在简化多智能体系统的协调和执行，并使其可测试。

multitrident开源项目 – 多尺度目标检测工具

multitrident 结合了 TridentNet 和 RefineDet 技术，能够在一次前向传播中同时检测不同尺度的目标。它通过高效的单一前向传播实现多尺度目标检测，适用于各种计算机视觉任务，并持续更新和改进。

MiniMind开源项目 – 低成本快速训练超小语言模型

MiniMind 是一个开源 AI 项目，旨在从零开始，以极低的成本和极短的时间训练出超小语言模型。项目涵盖了从数据集清洗到模型训练的全过程，并提供了多种先进的算法和模型结构。通过仅需 3 块钱成本和 2 小时，即可训练出 25.8M 的超小语言模型，最小版本体积是 GPT-3 的 1/7000，适合普通个人 GPU 快速训练。项目还拓展了视觉多模态的 VLM: MiniMind-V，所有核心算法代码均从 0 使用 PyTorch 原生重构，不依赖第三方库提供的抽象接口。这不仅是大语言模型的全阶段开源复现，也是一个入门 LLM 的教程。

Brave Browser开源项目 – 隐私优先的浏览器

Brave 浏览器是一个以隐私保护为核心的浏览器，基于 Chromium 构建，支持 macOS、Windows 和 Linux 平台。它集成了多种隐私保护功能，如广告拦截、跟踪器拦截、HTTPS 自动升级等。Brave 还引入了基于区块链的 BAT（Basic Attention Token）奖励系统，用户可以通过观看隐私保护的广告获得 BAT 奖励。该项目提供了构建工具和代码同步功能，开发者可以基于这些工具定制和构建自己的 Brave 浏览器版本。

OmniParse开源项目 – 多模态数据解析与优化平台

OmniParse 是一个多格式数据解析与优化平台，能够将非结构化数据转换为结构化数据，专为增强与GenAI框架的兼容性设计。它支持从文档到多媒体的高效数据转换，并具备数据优化功能。此外，OmniParse 还支持跨模态对齐、流式处理、自监督学习、分布式架构、自动版本迁移和审计追踪等功能。该平台支持约20种文件格式，包括文档、表格、图像、视频、音频、网页等，适合批量处理各种数据并用于AI应用的场景。

dagger/agents开源项目 – Dagger构建的AI代理示例

dagger/agents 是一个基于 Dagger 的 AI 代理示例项目，旨在为开发者提供快速上手的模板。该项目展示了如何使用多种编程语言（如 Go、Python 和 TypeScript）实现 AI 代理，并提供了多代理协作的示例。代码简洁、易于理解且可扩展，适合开发者在此基础上进行定制和扩展。

Resyncer开源项目 – 同步异步API的Swift库

Resyncer是一个Swift库，旨在在同步环境中无缝集成异步API。它允许开发者调用异步代码（无论是使用回调还是Swift的async/await模式），并阻塞调用线程，直到异步任务完成。这确保在继续同步工作流之前可以获得结果，非常适合需要顺序执行但涉及异步任务的场景。

Tantivy开源项目 – 高性能全文搜索引擎库

Tantivy是一个用Rust编写的高性能全文搜索引擎库，受Apache Lucene启发。它支持多种分词器和语言，使用BM25评分，具备增量索引和多线程索引能力。Tantivy不是现成的搜索引擎服务器，而是一个用于构建搜索引擎的库，适用于需要高性能全文搜索的场景。它已成功应用于多个项目，如Seshat、Tantiny和Lnx。

LangGraph 101开源项目 – 掌握LangGraph框架的教程

LangGraph 101 是由 LangChain 团队设计的免费教程，旨在帮助用户掌握 LangGraph 框架，用于构建精确可控的 AI 智能体和多智能体应用。通过一系列笔记本教程，涵盖从基础到高级的 LangGraph 知识，并提供开源案例代码，便于快速上手实践。教程还包括环境搭建指南、集成 Azure OpenAI 方案，以及流式处理、断点和状态编辑等人机交互功能。

NotebookLlama开源项目 – PDF转播客工作流

NotebookLlama 是 Meta 发布的开源项目，专注于将 PDF 文档转换为播客音频的工作流程。它提供了详细的教程和工具链，支持从 PDF 提取文本、改写为播客脚本、增强脚本表现力，并最终生成自然对话风格的播客音频。

Namo-R1开源项目 – CPU友好的实时视觉语言模型

Namo-R1是一款仅需CPU即可实时运行的500M参数视觉语言模型，能够轻松超越Moondream2和SmolVLM。它不仅支持多语言OCR和图像描述等复杂任务，还完全开源，提供训练脚本和数据，便于用户进行二次开发和部署。