llama-swap 是一个 HTTP 代理服务器,用于在需求时自动加载和切换模型。它支持动态切换 llama.cpp 或其他符合 OpenAI 兼容的后端服务器,如 vllm。该工具简化了模型调用流程,允许在请求中热切换模型,并且可以集成到现有应用程序中以增强模型调用能力。
大型语言模型(LLM)的chat模板,用于支持transformers的chat_template功能,旨在为不同模型提供一致的输入格式,提供了多个流行模型的示例模板。该项目为开发人员提供了便捷的工具,简化了与不同语言模型的交互流程,确保输入格式的一致性,提高了开发效率。
modelkit是一个极简但功能强大的Python MLOps库,方便将机器学习模型快速部署到产品中,兼容多种框架,提供模型版本控制和多种数据源支持。
PostgresML是一个完整的MLops平台,以简单的PostgreSQL扩展形式存在。它允许用户在数据库内部快速、简单且强大地构建模型。
Ludwig v0.8是一个开源的低代码框架,旨在帮助开发者轻松构建先进的机器学习模型,特别是优化用于使用私有数据构建定制的大型语言模型(LLM)。它提供了一种声明式接口,使得模型的构建过程更加高效和简便。
SuperDuperDB是一个强大的平台,允许用户在各种数据存储上轻松部署、训练和操作任意AI模型和API。它旨在简化AI模型的训练流程,提供用户友好的界面,并支持与现有API的无缝集成,从而提高数据处理的效率和灵活性。
提供一种 Pythonic 方式在 LLM 管线上运行离线评估,以便轻松投入生产
Make CustomGPT是一个平台,旨在帮助用户轻松发现、比较和部署自定义的GPT模型。通过该平台,用户可以释放人工智能的潜力,找到最适合其项目的语言模型,并轻松进行定制,使AI更好地为他们服务。
这是一个本地基于向量的文档检索工具,允许用户通过自然语言进行检索,事先将文档向量化。该工具确保了数据隐私,支持离线使用,并提供了选择使用OpenAI模型的选项。
基于FLUX.1的IPAdapter模型的ComfyUI插件实现,支持通过参考图像来控制生成结果。该项目提供了完整的模型权重和工作流程,可在ComfyUI中快速部署使用,同时也支持在线体验版本。