赤兔Chitu开源项目 – 高性能大模型推理框架

赤兔Chitu是由清华大学高性能计算研究所与清程极智联合开源的高性能大模型推理框架，专注于效率、灵活性和可用性。它支持多种主流大模型，如DeepSeek、LLaMA系列、Mixtral等，并致力于在各类硬件环境（包括传统GPU、非NVIDIA GPU和CPU）上提供高效的推理能力。赤兔Chitu通过底层技术革新，摆脱对特定硬件的依赖，降低了企业部署AI模型的门槛和成本。

赤兔Chitu的特点:

1. 支持多种主流大模型
2. 高效GPU内核与并行策略
3. 跨硬件兼容性（包括非NVIDIA GPU和CPU）
4. 原生支持FP8精度模型
5. 低延迟、高吞吐、小显存优化

赤兔Chitu的功能:

1. 单GPU推理
2. 混合并行推理（TP+PP）
3. 启动推理服务
4. 性能基准测试

相关导航

AI as API开源项目 – 构建并开放NLP文本分类API

学习如何构建自己的NLP文本分类器，并将其作为API进行开放，方便用户进行文本分类任务。提供简单易用的接口，支持多种文本分类需求。

openlogprobs开源项目 – 提取语言模型的下一token概率

openlogprobs是一个Python API，旨在通过语言模型API提取完整的下一token概率。它通过使用logit偏置来逆向工程标记的对数概率，支持topk搜索和精确解算法，从而有效提取语言模型API的完整概率向量。

In-App Chat官网 – 多平台聊天体验

InAppChat是一个平台，提供愉悦的聊天体验，用户可以在一个接口中利用来自多个平台的聊天机器人和技能。通过1Chatbot构建聊天机器人，无需担心前端的构建，同时提供聊天SDK、API、UI工具包和消息功能，支持将多个自然语言理解(NLU)库结合为一个聊天机器人，从而实现快速开发和未来-proof的解决方案。

Optuna开源项目 – 高效的超参数优化框架

Optuna是一个专为易用性、可扩展性和灵活性设计的下一代超参数优化框架。它支持剪枝和并行化，能够自动停止无希望的试验，并在多个进程或线程中进行并行优化。Optuna提供了动态搜索空间的定义-by-run API，并提供了多种采样器以适应不同的优化策略。此外，Optuna还集成了可视化工具，用于分析优化结果，并支持与TensorFlow、PyTorch、XGBoost等流行机器学习框架的无缝集成。

Llumnix开源项目 – 高效调度LLM请求的服务层

Llumnix是一个针对大型语言模型（LLM）多实例服务的高效且易于使用的请求调度层，支持动态调度、内存碎片化减少、加载均衡优化，并且易于与现有的多实例部署平台集成。

SpreadSimple AI Creator官网 – 无需编码的AI网站建设工具

SpreadSimple是一个无需编码的网站建设工具，利用AI和Google Sheets让用户快速创建功能丰富的网站。

HunyuanVideo开源项目 – 大型视频生成模型系统框架

HunyuanVideo是一个大型视频生成模型的系统框架，能够生成与领先闭源模型相媲美的视频，支持多模态信息融合和大规模模型训练。该项目旨在提供高效的工具和环境，以促进视频生成技术的发展和应用。

AI迷思录开源项目 – 人工智能安全实战指南

AI迷思录是一份详细的人工智能应用与安全指南，旨在帮助用户从零基础成长为具备实战能力的人工智能安全专家。项目涵盖了人工智能的基础知识、相关法律法规、经典AI模型分析、AI漏洞与攻击探讨、防御方法与策略、安全开发与运维指导、相关框架与工具推荐、会议讲座资源整理以及实践实验室提供。

oneflow_convert开源项目 – ONNX模型转换为OneFlow格式的工具

OneFlow-ONNX v0.6.0是一个用于将ONNX模型转换为OneFlow格式的工具，提升了转换接口的易用性，并新增支持多种模型和算子。

HuggingSnap开源项目 – 手机上的智能视觉助手

HuggingSnap是一款基于SmolVLM2的iOS应用，用户可以通过手机摄像头快速了解周围的世界。该应用支持文本翻译、图像识别和内容总结等功能，仅需iPhone运行iOS 18即可使用。其基于轻量级多模态模型，性能强劲且适合设备端运行。

book-inventory开源项目 – 快速搜索书籍的 Nextjs 模板

book-inventory 是一个基于 Nextjs 的项目模板，旨在帮助用户快速搜索和管理 60 万本书籍。它使用 PostgreSQL 作为后台数据库，并采用 Drizzle 进行 ORM，支持书本信息的向量化和基于向量的检索，适合学习 Nextjs 和嵌入式技术。

db_tutorial开源项目 – 用于学习数据库系统的教程

一个用于学习数据库系统的教程，帮助用户理解数据库的基本原理和实现。该项目实现了一个简单的关系数据库，支持基本的SQL查询，提供高效的数据存储和检索机制，并包含多个示例和测试用例，易于扩展和修改，适合初学者和有一定基础的开发者。

Tauri-DeepSeek官网 – 轻量高效的国产桌面AI应用

Tauri-DeepSeek 是一款国产桌面应用，基于 Tauri 框架和 DeepSeek 模型，具备轻量、高性能的特点。它特别适合程序员、学术用户和企业用户，提供了多源搜索、长上下文对话和私有知识库融合三大核心功能。其技术架构支持跨平台应用（Windows、macOS、Linux），并具备沙箱隔离和本地数据加密的安全特性。DeepSeek-V3 模型拥有 6710 亿参数，支持 128k tokens 的超长文本理解，兼容开源模型，便于低成本微调垂直领域应用。

Yogu开源项目 – 简洁功能丰富的AI聊天桌面应用

Yogu 是一款基于 Tauri 和 Vue 3 构建的简洁且功能丰富的 AI 聊天桌面应用。它支持多种 AI 模型提供商，提供网络搜索、聊天历史管理、多语言支持、文件上传功能以及多主题切换等特性，旨在为用户提供便捷、个性化的 AI 聊天体验。