Agenta开源项目 – 开源LLMOps平台

Superpower ChatGPT 是一个聊天机器人平台，提供多种功能以帮助用户管理聊天记录和提示，并自定义语言和风格。它具有聊天管理、提示管理、语言风格定制及实用工具等特点，旨在提升使用者的聊天体验。

Dify.AI是一个AI原生的LLMOps平台，旨在帮助用户轻松创建可持续的应用程序。用户可以通过可视化编排工具创建各种类型的AI应用，包括聊天机器人、代码转换器、SQL生成器、新闻内容撰写、创意脚本、摘要、个性化对话以及Quora问题回答。该平台还提供API以实现更高级的集成和插件选项。

dottxt-ai/prompts 是一个专门用于生成和管理提示（prompts）的库，使用 Jinja 模板来渲染提示，并且支持大型语言模型和提示工程。它提供灵活的提示管理功能，使得用户能够方便地创建和定制用于自然语言处理的提示。

该项目旨在探索LLM评估与人工标注之间的相关性，以期能够实现廉价评估与与人工评估结果的高相关性。通过分析不同的LLM评估基准，该项目提供了有效的评估方法，并支持多种LLM模型的评估。

Portkey 使得你的AI应用的生产化变得轻而易举，提供统一的API管理多个AI提供商，确保应用的可靠性，并提供实时监控和调试功能。

Baron AI是终极AI接口，用户可以在任何应用中通过热键轻松启动ChatGPT，还能创建专家角色显著提升响应质量。用户可以轻松保存、重用和分享常用提示，免去复制粘贴的麻烦。Baron支持Windows、Mac和Linux，用户能够通过配置个人资料和提示引擎来定制对话，提升每次互动的上下文和质量。

nele.ai帮助企业快速、安全地实施AI技术，如ChatGPT，同时确保数据隐私，并简化提示管理。

Humanloop是一个为AI工程师及其团队设计的平台，旨在快速构建稳健的生产级应用，利用前沿的语言模型。用户可以在一流的操作环境中管理提示，评估工作流程，控制代理，并微调自有的语言模型，以创建差异化且可靠的AI应用。

一个用于运行Mistral AI发布的评估以及为流行学术基准测试提供标准化提示、解析和度量计算的代码库，支持多轮LLM-as-a-judge评估任务

NisusAI 是一个平台，通过无编码方式简化生成AI助手的创建，提供文档、模型和提示管理，快速开发和可扩展性，以变革商业流程。我们被微软初创企业项目接受。

Athina AI是一款旨在帮助开发者监控和评估其大语言模型（LLMs）应用程序的工具，专注于生产环境中的性能监控、故障检测以及提示管理。通过Athina，开发者可以实时跟踪LLMs的表现，及时发现并修复模型的幻觉问题，从而提升应用的可靠性和用户体验。

Helicone是一个开源平台，用于记录、监控和调试AI应用。它支持一行代码集成，提供使用情况追踪、LLM指标、提示管理等功能，适合开发者和团队使用。

PRST.ai是一个自托管的AI自动化工具，专注于提升任何AI工具的提示管理能力。用户可以无缝集成和管理外部AI工具，自定义提示而无需编码，并根据API使用量定制定价，从而完全掌控他们的AI旅程。该工具支持安全数据管理、用户反馈捕获、高级分析和企业级设置，具备灵活的API和用户界面。

Pezzo是一个先进的AI平台，旨在彻底改变开发者构建、测试、监控和部署AI功能的方式。它简化了AI开发流程，使其更快、更高效和更具成本效益。通过提供提示管理、可观察性、故障排除和协作工具，Pezzo使团队能够将AI驱动的功能交付速度提高至传统方法的10倍。

Platea AI帮助团队快速运行并行测试，结合多个提示和模型，快速达到所需的提示水平。它还允许用户轻松管理和操作快速创建的提示版本。