Microsoft Olive开源 – AI模型优化工具

Microsoft Olive是一个由微软开发的开源AI模型优化工具，专注于简化机器学习模型的微调、转换、量化和优化过程。它特别适用于在云端和边缘设备（如CPU、GPU和NPU）上高效运行AI模型，尤其是小语言模型（SLM）。Olive基于ONNX（开放神经网络交换格式），能够自动组合优化技术，输出高效的模型，同时考虑准确性、延迟等约束条件。它提供了40多个内置优化组件，支持模型压缩、优化、微调和编译等技术，并与Hugging Face和Azure AI无缝集成，适合开发者在资源受限的边缘设备上快速构建和部署AI模型。

Microsoft Olive的特点:

1. 40多个内置优化组件，覆盖模型压缩、优化、微调和编译等技术
2. 支持模型微调、转换和量化，优化为int4精度以降低计算需求
3. 自动优化流行的模型架构，如Llama、Phi、Qwen、Gemma等
4. 与Hugging Face和Azure AI无缝集成，增强开发体验
5. 支持在ONNX Runtime上进行推理，提供Python和C#接口
6. 内置缓存机制，提高生产力
7. 特别适合硬件感知优化，确保在不同设备（如边缘设备）上的高效运行

Microsoft Olive的功能:

1. 通过命令行安装和运行，适合开发者快速部署AI模型
2. 优化Hugging Face模型，输出路径为指定目录，使用CPU设备，精度为int4
3. 使用Jupyter笔记本示例快速入门和实验
4. 为设备端推理微调模型
5. 在边缘设备上高效运行AI模型，适用于物联网和移动设备开发
6. 通过JSON或YAML文件定义优化流程，指定输入模型、目标硬件和优化策略

相关导航

MaxKB开源项目 – 开源的 AI 知识库问答系统

MaxKB 是一款基于大语言模型（LLM）的开源知识库问答系统，旨在为用户提供简单易用且功能强大的 AI 问答能力。它支持多种大模型接入，如 DeepSeek R1、Llama 3、OpenAI 等，用户可以根据隐私和成本需求灵活选择模型。MaxKB 支持上传 PDF、Word 文档或通过网址一键爬取在线文档，自动处理文档并立即具备 AI 问答能力。它适用于智能客服、公司内部知识库、产品文档问答、学术研究与教育等多种场景。MaxKB 提供用户友好的界面，支持快速嵌入到第三方业务系统，内置强大的工作流引擎，满足各种复杂业务需求。

FollowFox官网 – 将想象转化为视觉现实的AI工具

FollowFox是一个创新的开源AI文本到图像生成器，旨在帮助艺术家、设计师及任何希望将创意转化为视觉效果的用户。平台提供灵活的控制和用户友好的体验，使用户能够通过Distillery生成高质量的图像。

Self-hosted AI Starter Kit开源项目 – 快速搭建本地AI环境

Self-hosted AI Starter Kit 是一个开源的本地AI环境快速搭建模板，由n8n精心策划，旨在为用户提供创建安全、自托管AI工作流所需的基础工具。该项目强调数据隐私和安全，适合用于研究、开发、教学等多种场景。

AI-Flow开源 – 无代码AI工作流构建工具

AI-Flow 是一个开源的无代码工具，旨在通过可视化拖放界面连接和组合多种AI模型，简化复杂AI工作流程的设计、管理和监控。它支持包括OpenAI、StabilityAI、Claude等主流模型，提供实时监控、并行处理等功能，适合开发者和非技术人员快速构建AI驱动的工作流。

LearnPrompt开源项目 – 永久免费开源的 AIGC 课程

LearnPrompt 是一个永久免费开源的 AIGC 课程，支持多种 AI 模型和工具，包括 ChatGPT、Midjourney、Runway、Stable Diffusion、AI 数字人以及 AI 声音与音乐，提供全面的学习资源和应用指导。

Joia官网 – 为团队协作而生的AI聊天工具

Joia是为团队协作而设计的ChatGPT替代方案，旨在为组织内的每个人提供AI聊天访问权限。用户可以创建特定目的的聊天机器人并与团队共享，同时与OpenAI最新模型或开源模型进行对话。Joia是免费的，注重隐私，并且自豪地开源，能够通过按需付费来节省订阅成本。

r1-overthinker开源 – 增强DeepSeek R1模型推理深度的工具

r1-overthinker 是一个为 DeepSeek R1 模型设计的深度思考工具，通过强制模型更长时间地思考，提升其推理深度。它支持从 1.5B 到 70B 参数的多种模型，具有无限上下文长度，但受限于 GPU 内存。该工具通过延长推理过程，检测早期结论并通过提示鼓励更多思考，直到达到设定的阈值，从而提高模型的回答质量和准确性。

LangManus开源项目 – 开源多智能体自动化框架

LangManus 是一个社区驱动的AI自动化框架，结合大语言模型和专用工具，用于Web搜索、爬取和Python代码执行等任务。其目标是回馈开源社区，支持通过自然语言任务描述完成复杂任务。该框架采用分层多代理系统，包括协调者、规划者、监督者、研究者、编码者、浏览器和报告者等角色，确保任务高效分发。适用于学术研究、数据分析和复杂自动化场景。

Company Researcher开源项目 – 快速了解公司的开源 AI 工具

一款可帮我们快速了解任何公司的开源 AI 工具，能够从互联网上全面收集关于公司的信息。

Awesome Deep Reasoning开源 – 深度推理研究资源集合

该项目是一个专注于深度推理研究的资源集合，旨在解决深度推理研究中的资源查找难题。它收集了40多个深度推理模型、论文、数据集和工具，覆盖从基础到高级的多维度资源，包括数学、科学、代码等多个领域。项目持续更新，紧跟最新研究动态，特别关注r1模型（如DeepSeek-R1）相关内容，为用户提供一站式资源平台。

AttentionEngine开源 – 定制注意力机制的统一框架

AttentionEngine 是一个旨在优化注意力机制的综合框架，特别支持 Transformer 和线性注意力。它通过模块化设计和自动化优化，减少了手动干预的需求，提供灵活的适应性以满足多样化的算法要求。用户可以用 80 行代码定义 softmax 注意力，并自动生成高性能设备代码。该框架支持多种硬件平台，如 NVIDIA H100 和 AMD MI250，性能测试显示在 H100 上表现优异。

SpeeD开源 – 扩散模型三倍加速训练工具

SpeeD是由NUS-HPC-AI-Lab开发的扩散模型训练加速工具，通过重新采样和重新加权策略优化时间步处理，实现训练效率提升三倍。其核心采用不对称采样策略和变化感知加权策略，减少收敛区域时间步的采样频率，增加加速和减速区域的时间步采样概率，并对快速变化过程增量的时间步赋予更高权重。该工具即插即用且架构无关，兼容多种扩散模型架构如U-Net、DiT等，适用于图像生成等多种任务。