MLC-MiniCPM开源项目 – 在安卓上高效运行 MiniCPM

Prompto是一个开源的网络应用程序，旨在用户能够轻松地与不同的大型语言模型进行交互。用户可以调整结果、进行聊天或查询、保存提示等功能。

1000gpt是一个平台，提供由个人创作的各种定制GPT模型。用户可以根据自己的需求找到合适的语言模型，充分释放人工智能的潜力。

Webullar是一个创新的AI网站生成器，旨在简化用户的网站创建过程，使用户能够在短短30秒内构建功能齐全的网站。只需提供一句简洁的业务描述，用户即可生成网站。

TabSherpa.ai 是一个浏览器扩展，当你关闭 Chrome 时，它会将你打开的标签页的详细列表和每个标签页的摘要通过邮件发送给你。TabSherpa 侧边栏还显示摘要和相似链接建议，帮助你在浏览时搜索标签和监控内存使用情况。

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。通过 Int4 量化技术，MiniCPM 实现了在手机端的部署能力，提供与人类说话速度相当的流式输出速度。MiniCPM 在中文、数学和编程能力方面表现优异，超越了 Llama2-13B、MPT-30B 和 Falcon-40B 等模型。此外，基于 MiniCPM-2B 开发的多模态模型 MiniCPM-V 在同规模模型中表现最佳，支持高效参数微调和全参数微调，二次开发成本较低。

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。

LLaVA C++ Server 是一个用于LLaVA模型的高效推理的API服务器，旨在提供简单易用的接口，兼容多种平台与环境，支持模型的动态加载与卸载，并优化内存管理和性能。

plugin.video.netflix 是 Kodi 的一个插件，专为在没有 WideVine L1 认证的 Android 设备上实现 1080P Netflix 播放而设计。通过利用 ChromeOS 镜像，该插件能够绕过 L1 认证限制，支持多种 Kodi 平台，包括 CoreELEC，为用户提供高清的 Netflix 观看体验。

Call Center AI 是微软基于 Azure 和 OpenAI GPT 开发的项目，旨在通过 AI 技术增强呼叫中心功能。它支持多语言和多种语音风格，提供实时流式对话，自动化处理低到中等复杂度的呼叫，预计可节省超过 50% 的人力成本。项目采用云原生设计，基于 Azure 的容器化无服务器应用，易于维护和扩展，特别适合保险、IT 支持和客户服务等领域。

包含了从计算机视觉、自然语言处理到生物计算、气象预测等各个领域的模型，这些模型结合了幻方萤火超算集群的特点，使用并行训练、高效算子、高性能存储等方式，大幅提升原有模型的性能，节省训练时间。

这个项目包含了成为机器学习与AI研究和研究论文专家所需的所有资源。提供全面的机器学习与AI研究论文集合、关键研究论文的摘要与解决方案，以及理解复杂机器学习与AI概念的资源，营造了一个适合研究人员和学习者的协作环境。

Takomo是一个无代码的AI构建工具，用户可以通过拖拽和连接预训练的机器学习模型，轻松创建独特的AI应用。它使用户能够在几分钟内生成API，从而简单地将AI功能集成到他们的项目中。

NetGuard是一个开源的无root权限Android防火墙应用，它允许用户控制各个应用对Wi-Fi和移动数据的访问权限。通过该应用，用户可以轻松管理设备上的网络流量，确保隐私和安全。

NeuroGPT 是一个提供免费 API 服务的平台，用户可以方便地访问 GPT-3.5、GPT-4 及其他语言模型。它支持多种自然语言处理任务，并且具有高性能和低延迟的响应时间，适合开发者和企业使用。

这个开源项目提供了一个基于 ChatGPT 的机器人，用于处理 Kubernetes 问题。