LLaVA C++ Server开源项目 – 简单API服务器，用于LLaVA的C++实现

Dictanote是一款集成语音识别的笔记应用，用户可以轻松通过语音录入笔记。它实时准确地将语音转录为文本，支持50多种语言和80多种方言。用户可以使用语音命令添加段落、标点符号和笑脸表情。该应用还支持跨平台使用，适用于桌面（Windows/Linux/Mac的Google Chrome）、Android和iPhone（Safari 12及以上）。

PostgresML是一个完整的MLops平台，以简单的PostgreSQL扩展形式存在。它允许用户在数据库内部快速、简单且强大地构建模型。

Invicta AI通过Mixture of Agents (MoE)方法组织AI代理团队，创建具有独特知识、语言模型、触发器和工具的专业AI工人。该项目旨在通过计算而非人力来扩展工作，轻松自动化复杂工作流，无需编码。用户可以将提示转化为强大且可分享的自定义AI模型，增强人类能力和体验。

Boogie是一个平台，允许用户使用大型语言模型（如GPT-4）测试、部署和管理自然语言处理应用程序，帮助开发者高效构建强大的NLP应用。

ChatinAI 是一个基于 OpenAI Assistants API 的网页聊天机器人，旨在利用您的网站数据创建个性化的 AI 聊天助手。通过即时与访客互动，提升转化率，并提供无与伦比的用户体验。

Evebyte Studio是一款Windows软件，旨在通过图形界面轻松控制物理Android手机设备，无需编程。用户可以创建和管理单个或多个手机任务，操作简单直观。

Butterfish是一个集成了AI功能的Shell，能够在命令行中提供上下文帮助和建议，增强用户的命令行体验。用户只需在终端输入'butterfish shell'启动Butterfish shell包装器，然后可以正常使用shell，首字母大写的命令会触发AI的响应。

基于 MLC-LLM 开发，将 MiniCPM 和 MiniCPM-V 在 Android 手机端上运行，具备优化的内存管理和计算性能，提供用户友好的接口，支持多种语言模型。

ChatGLM.cpp是ChatGLM-6B的C++实现版，专为在macBook等设备上运行而设计。它通过C++实现优化了性能和资源使用，使其能够在资源受限的环境中高效运行，同时保持与ChatGLM-6B模型的兼容性。

VMEC++是一个用C++从头实现的、对Python友好的变分矩平衡代码（VMEC）重新实现。它是一个用于恒星器和托卡马克的自由边界理想磁流体力学（MHD）平衡求解器。

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。

eigenGPT是一个基于C++的高效实现，旨在提供简化的GPT2架构，易于理解和扩展，适合嵌入式系统和资源受限环境。

qwen.cpp是基于C++的Qwen-LM实现，旨在为用户提供高效、实时的聊天体验，支持跨平台使用，便于集成与自定义。

DepthFM 是一个先进、多功能且快速的单目深度估计模型，能够在单次推理步骤中生成高质量的深度图。该模型展示了从基础图像合成扩散模型（Stable Diffusion v2-1）到流匹配模型的成功迁移，直接从输入图像映射到深度图。DepthFM 不仅在常规深度估计任务中表现出色，还在深度修复和深度条件合成等下游任务中展现了领先的能力。

阿里云 PAI Model Gallery 是一个为开发者提供便捷 AI 模型部署的平台，特别支持 DeepSeek-V3 和 DeepSeek-R1 系列模型。这些模型分别是拥有 6710 亿参数的专家混合大语言模型和高性能推理模型。该服务通过一键部署功能，结合 BladeLLM、SGLang 和 vLLM 等加速技术，帮助用户轻松集成先进 AI 能力，无需复杂基础设施配置。