Athina AI官网 – 帮助开发者监控和评估LLM应用

parea.ai 是一个专为调试和监控大型语言模型（LLM）应用而设计的开发者工具包。用户可以通过该平台轻松管理LLM工作流程，评估和比较不同的提示，监控应用程序的性能，并进行版本控制和迭代。

FLASK是一个专注于基于技能集的细粒度评估工具，能够对大语言模型（LLM）进行全面分析和比较。它提供了评估模型在不同能力上的表现，并与最先进的开源LLM进行对比，帮助用户了解模型的优势和不足。

PlugBear是一款能够快速将大型语言模型（LLM）应用连接至多种沟通渠道的工具，如Slack、Discord、Zendesk和电子邮件。它支持多种LLM应用构建器和框架，包括OpenAI的GPT、LangChain等，帮助用户轻松集成和管理AI聊天机器人。

StructuredRAG是一个用于评估大型语言模型（LLM）遵循响应格式指令能力的六个任务基准，旨在研究不同提示策略对模型性能的影响，并提供复杂任务的性能评估。该项目还包括开源实验代码和结果，方便研究人员进行进一步探索。

ChatGPT是目前使用最广泛的两个语言大模型之一，具备先进的自然语言处理能力，能够进行对话生成、文本理解等多种任务。研究人员观察到其模型性能随着时间的推移而变差，因此持续监测模型性能变化显得尤为重要。

LLMonitor是一个开源的监控与评估工具，专为AI开发者设计，旨在通过日志查询和分析提升应用的质量。它为基于大型语言模型的应用提供可观察性和日志记录功能，帮助开发者优化和调试复杂的AI代理和聊天机器人。

TensorLeap是一个专注于深度学习模型调试和可解释性的工具，旨在提高神经网络开发的透明度和效率，帮助数据科学家和组织加速开发周期，确保模型的可靠性。

Catsight 是一个功能强大的跨平台进程内存监视器，支持多种操作系统，用户可以实时查看和分析进程的内存使用情况，识别内存泄漏，并调试内存问题。它提供了简洁易用的界面，支持多种进程类型，允许用户对内存进行搜索和过滤。

TabSherpa.ai 是一个浏览器扩展，当你关闭 Chrome 时，它会将你打开的标签页的详细列表和每个标签页的摘要通过邮件发送给你。TabSherpa 侧边栏还显示摘要和相似链接建议，帮助你在浏览时搜索标签和监控内存使用情况。

DebugBench是一个包含4,253个实例的LLM调试基准，涵盖了C++、Java和Python中四个主要的漏洞类别和18个次要类别。为构建DebugBench，作者从LeetCode社区收集了代码片段，使用GPT-4向源数据植入漏洞，并确保了严格的质量检查。

Future AGI通过使用批评代理来替代人工质量保证，消除了人机协作的方法。用户可以设置自定义指标，以满足独特需求并更快检测错误，从而将人力资源保留用于关键任务，并在推理增长时有效扩展。

river是一个用于在线机器学习的Python库，支持增量学习和数据流处理，适合实时预测系统的构建。它具有多种机器学习算法和模型，易于与现有的数据处理管道集成，同时支持模型评估和性能监控。

dottxt-ai/prompts 是一个专门用于生成和管理提示（prompts）的库，使用 Jinja 模板来渲染提示，并且支持大型语言模型和提示工程。它提供灵活的提示管理功能，使得用户能够方便地创建和定制用于自然语言处理的提示。

NisusAI 是一个平台，通过无编码方式简化生成AI助手的创建，提供文档、模型和提示管理，快速开发和可扩展性，以变革商业流程。我们被微软初创企业项目接受。

PRST.ai是一个自托管的AI自动化工具，专注于提升任何AI工具的提示管理能力。用户可以无缝集成和管理外部AI工具，自定义提示而无需编码，并根据API使用量定制定价，从而完全掌控他们的AI旅程。该工具支持安全数据管理、用户反馈捕获、高级分析和企业级设置，具备灵活的API和用户界面。

nele.ai帮助企业快速、安全地实施AI技术，如ChatGPT，同时确保数据隐私，并简化提示管理。

Helicone是一个开源平台，用于记录、监控和调试AI应用。它支持一行代码集成，提供使用情况追踪、LLM指标、提示管理等功能，适合开发者和团队使用。

river-torch是一个基于PyTorch的Python库，专为在线深度学习而设计，支持实时数据的模型适应。它与River框架无缝集成，提供多种神经网络架构，并包含模型评估和性能监控工具。

Baron AI是终极AI接口，用户可以在任何应用中通过热键轻松启动ChatGPT，还能创建专家角色显著提升响应质量。用户可以轻松保存、重用和分享常用提示，免去复制粘贴的麻烦。Baron支持Windows、Mac和Linux，用户能够通过配置个人资料和提示引擎来定制对话，提升每次互动的上下文和质量。

iX 是一个自主的GPT-4智能体平台，旨在设计和部署半自主LLM智能体，提供了一种可扩展和响应迅速的解决方案，用于将任务委派给AI驱动的智能体。

Foundry AI是一个用于构建、评估和改进AI代理的综合平台，旨在提高业务自动化的效率。

Platea AI帮助团队快速运行并行测试，结合多个提示和模型，快速达到所需的提示水平。它还允许用户轻松管理和操作快速创建的提示版本。

Pezzo是一个先进的AI平台，旨在彻底改变开发者构建、测试、监控和部署AI功能的方式。它简化了AI开发流程，使其更快、更高效和更具成本效益。通过提供提示管理、可观察性、故障排除和协作工具，Pezzo使团队能够将AI驱动的功能交付速度提高至传统方法的10倍。

Portkey 使得你的AI应用的生产化变得轻而易举，提供统一的API管理多个AI提供商，确保应用的可靠性，并提供实时监控和调试功能。

Agenta 是一个专为构建生产级语言大型模型 (LLM) 应用程序而设计的开源平台。它提供了端到端的工具，涵盖 LLMOps 工作流的各个阶段，包括构建、部署和监控。Agenta 帮助工程团队和产品团队更快地构建稳定的 LLM 应用程序，提供提示游乐场、自定义工作流、LLM 评估、提示管理、LLM 跟踪和监控等功能。

fastrace是一个超快速的追踪(tracing)库，比其他追踪工具快10到100倍，帮助开发者高效地监控和优化软件性能。