JittorLLMs开源项目 – 低硬件要求的大模型推理库

Hugot 是一个用于 Golang 的 huggingface transformer pipelines，可以轻松地将 Python 中的 huggingface 模型部署到 golang 应用中。该项目支持多种 Hugging Face 模型，简化模型部署过程，轻松与 Golang 应用集成，提供高性能的推理和用户友好的 API。

一个 Flutter 库，用于运行 ONNX 模型，可以将 Pytorch、Tensorflow 等主流机器学习框架训练的模型轻松转换为 ONNX 格式，并可在 iOS、Android、Web、Linux、Windows 和 macOS 等平台上原生运行，无需进行任何修改。

一个用于增强LLM推理能力的Python库，提供可组合的推理算法框架。支持自定义评分函数的采样和重排序模式，内置蒙特卡洛树搜索等高级算法，通过vLLM保持高性能，特别适合研究人员快速实验和迭代新想法。

ScaleLLM是一个面向大型语言模型高性能推理的系统，经过仔细设计，能够满足产业级环境的需求。

SiliconCloud 是一个基于优秀开源基础模型的高成本效益的生成式AI云服务，旨在为企业和开发者提供全场景模型服务。它支持快速的模型推理，适合各种应用场景，如对话和图像生成。项目特点包括高性能推理、自动伸缩和灵活的定价模式。

百度内容处理平台是一个专注于自动化报告生成和数据处理的工具，特别强调其处理中文文本的能力。该平台利用先进的AI技术，能够自动生成2-30,000字的报告框架，并能一次性读取和处理多份文档，如茅台年报。它适用于处理大量中文文本数据，高效生成综合报告，特别适合企业财务、市场分析等场景。

llama2.zig是一个用纯Zig编写的项目，旨在提供Llama 2模型的推理功能。它的设计强调高性能和易用性，所有功能都封装在一个文件中，方便用户直接运行或集成到其他Zig项目中。

dagger/agents 是一个基于 Dagger 的 AI 代理示例项目，旨在为开发者提供快速上手的模板。该项目展示了如何使用多种编程语言（如 Go、Python 和 TypeScript）实现 AI 代理，并提供了多代理协作的示例。代码简洁、易于理解且可扩展，适合开发者在此基础上进行定制和扩展。

这是一个包含21个以上AI优化提示的工具包，旨在帮助用户在电子邮件营销中节省时间并提高点击率和收入。通过使用这些经过优化的提示，用户可以更有效地创建吸引人的邮件内容，从而实现更高的转换率。

优秀Qwen提示语大全是一个集合了各种高质量Qwen模型提示语的资源库，旨在帮助用户更好地与Qwen对话和生成文本内容。通过提供多样化的提示语，用户能够优化与Qwen的互动，提升文本生成的效果和准确性。资源库内容丰富，涵盖多种应用场景，适用于自然语言处理任务、学习和参考Qwen提示语等用途。

AstrBot 是一个开源的聊天机器人及开发框架，旨在提供易于使用且多平台兼容的聊天机器人解决方案。它支持多个消息平台的集成，如 QQ、QQ 频道、Telegram 和微信等，并支持多种大型语言模型（LLM）的接入，包括 OpenAI、Google Gemini、Llama 和 DeepSeek。AstrBot 具有异步和松耦合的设计，易于扩展，并支持插件功能，允许开发者轻松添加自定义功能。此外，它还具备多模态能力，如图像理解和语音转文字（利用 Whisper），并提供可视化管理面板，便于用户进行管理和配置。

CloverCities ai是一个无代码解决方案的平台，旨在重拾早期网络的创造力，帮助用户设计独特且视觉吸引人的主页。用户只需注册账户，选择模板或从头开始，拖放元素，自定义选项，便可发布网站。

Abyss是一个创新平台，通过AI驱动的解决方案，彻底改变工作流和任务自动化，旨在简化复杂任务，为个人和专业人士提供无缝体验，不需要广泛的技术知识。它通过AI小工具提供特定任务的执行，帮助用户提高生产力。

B2Metric IQ Analytics 是一款为各类公司营销和增长团队提供的AI驱动客户旅程预测分析解决方案，能够预测用户行为。通过理解客户在数字平台上的后续行动，优化营销增长。

markprompt是一个提供文档查询对话的Web网站，支持Markdown文档的自然语言检索，并对OpenAI的API进行了二次封装。平台集成用户系统、客服系统、支付系统和统计系统，支持OpenAI的Embedding和Chat功能，每个用户可拥有单独的OpenAI Key，并可以监控和限制客户端Tokens的使用量。