MLC-MiniCPM开源项目 – 在安卓上高效运行 MiniCPM

基于 MLC-LLM 开发，将 MiniCPM 和 MiniCPM-V 在 Android 手机端上运行，具备优化的内存管理和计算性能，提供用户友好的接口，支持多种语言模型。
MLC-MiniCPM的特点:
1. 支持在 Android 平台上高效运行 MiniCPM 和 MiniCPM-V
2. 优化的内存管理和计算性能
3. 用户友好的接口，易于使用
4. 支持多种语言模型

MLC-MiniCPM的功能:
1. 在 Android 设备上运行 MiniCPM 模型
2. 使用 MiniCPM-V 实现更复杂的任务
3. 通过 GitHub 获取最新的更新和支持

相关导航

Prompto官网 – 与多种大型语言模型交互的开源应用

Prompto是一个开源的网络应用程序，旨在用户能够轻松地与不同的大型语言模型进行交互。用户可以调整结果、进行聊天或查询、保存提示等功能。

1000gpt官网 – 探索个性化的GPT语言模型

1000gpt是一个平台，提供由个人创作的各种定制GPT模型。用户可以根据自己的需求找到合适的语言模型，充分释放人工智能的潜力。

Webullar官网 – 快速简便的网站生成工具

Webullar是一个创新的AI网站生成器，旨在简化用户的网站创建过程，使用户能够在短短30秒内构建功能齐全的网站。只需提供一句简洁的业务描述，用户即可生成网站。

TabSherpa.ai官网 – 高效管理浏览器标签

TabSherpa.ai 是一个浏览器扩展，当你关闭 Chrome 时，它会将你打开的标签页的详细列表和每个标签页的摘要通过邮件发送给你。TabSherpa 侧边栏还显示摘要和相似链接建议，帮助你在浏览时搜索标签和监控内存使用情况。

LLaVA C++ Server开源项目 – 简单API服务器，用于LLaVA的C++实现

LLaVA C++ Server 是一个用于LLaVA模型的高效推理的API服务器，旨在提供简单易用的接口，兼容多种平台与环境，支持模型的动态加载与卸载，并优化内存管理和性能。

Efficient LLM inference solution on Intel GPU-基于Intel GPU的高效LLM推理

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。

MiniCPM开源项目 – 高效端侧大模型

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。通过 Int4 量化技术，MiniCPM 实现了在手机端的部署能力，提供与人类说话速度相当的流式输出速度。MiniCPM 在中文、数学和编程能力方面表现优异，超越了 Llama2-13B、MPT-30B 和 Falcon-40B 等模型。此外，基于 MiniCPM-2B 开发的多模态模型 MiniCPM-V 在同规模模型中表现最佳，支持高效参数微调和全参数微调，二次开发成本较低。

Janus-Pro开源项目 – 统一多模态理解和生成的先进模型

Janus-Pro是DeepSeek发布的多模态大模型，专注于图像生成和理解。它采用自回归框架，通过分离视觉编码为‘理解’和‘生成’两条路径，提升了框架的灵活性和性能。该模型在图像生成、图像描述、地标识别、视觉常识、OCR等任务上表现出色，并在多模态理解和文本到图像生成基准测试中取得了SOTA性能。模型规模扩展至70亿参数，支持多种输入形式的理解和生成，适用于各种多模态应用场景。

RAGEN开源 – 首个开源DeepSeek-R1强化学习框架

RAGEN 是 DeepSeek-R1 强化学习训练框架的首个开源复制品，专注于训练大型语言模型（LLM）推理代理。它支持多轮统一处理，避免批量大小不稳定，提供世界建模能力，并帮助智能体进行规划。特别适用于交互式和随机环境中的多步任务训练，如 Sokoban 谜题和 FrozenLake 环境。

AI-Waifu开源项目 – Vtuber

AI-Waifu-Vtuber是一个基于VoiceVox Engine、DeepL、Whisper OpenAI、Seliro TTS和VtubeStudio等技术构建的AI伴侣虚拟YouTuber项目。该项目的功能包括生成具备人工智能语音和表情交互能力的虚拟YouTuber角色，支持在流媒体平台上进行直播并与观众互动。其中，VoiceVox Engine用于实现自然的语音合成，DeepL用于机器翻译，Whisper OpenAI用于自然语言处理和对话生成，Seliro TTS用于将文本转化为自然流畅的语音输出，VtubeStudio用于虚拟YouTuber角色的动作捕捉和控制，使其能够进行逼真的表情和动作交互。

Composable Prompts官网 – 快速构建和测试LLM任务的平台

Composable Prompts是一个顶尖平台，旨在快速构建、测试和部署基于大型语言模型（LLMs）的任务和API。它为LLMs的世界带来了组合、模板、测试、缓存和可视化等功能，使开发者能够高效地创建强大的提示，重用它们，并在不同环境中进行测试。同时，它通过智能缓存优化性能和成本，并允许轻松切换模型和运行环境。

中文空间语义理解评测开源项目 – 评估中文空间语义理解能力的项目

该项目旨在评估中文空间语义理解的能力，提供基准数据集和评测工具，帮助研究人员和开发者了解和提升模型在空间语义任务上的表现。