Athina AI是一款旨在帮助开发者监控和评估其大语言模型（LLMs）应用程序的工具，专注于生产环境中的性能监控、故障检测以及提示管理。通过Athina，开发者可以实时跟踪LLMs的表现，及时发现并修复模型的幻觉问题，从而提升应用的可靠性和用户体验。
parea.ai 是一个专为调试和监控大型语言模型（LLM）应用而设计的开发者工具包。用户可以通过该平台轻松管理LLM工作流程，评估和比较不同的提示，监控应用程序的性能，并进行版本控制和迭代。
FLASK是一个专注于基于技能集的细粒度评估工具，能够对大语言模型（LLM）进行全面分析和比较。它提供了评估模型在不同能力上的表现，并与最先进的开源LLM进行对比，帮助用户了解模型的优势和不足。
PlugBear是一款能够快速将大型语言模型（LLM）应用连接至多种沟通渠道的工具，如Slack、Discord、Zendesk和电子邮件。它支持多种LLM应用构建器和框架，包括OpenAI的GPT、LangChain等，帮助用户轻松集成和管理AI聊天机器人。
StructuredRAG是一个用于评估大型语言模型（LLM）遵循响应格式指令能力的六个任务基准，旨在研究不同提示策略对模型性能的影响，并提供复杂任务的性能评估。该项目还包括开源实验代码和结果，方便研究人员进行进一步探索。
ChatGPT是目前使用最广泛的两个语言大模型之一，具备先进的自然语言处理能力，能够进行对话生成、文本理解等多种任务。研究人员观察到其模型性能随着时间的推移而变差，因此持续监测模型性能变化显得尤为重要。
LLMonitor是一个开源的监控与评估工具，专为AI开发者设计，旨在通过日志查询和分析提升应用的质量。它为基于大型语言模型的应用提供可观察性和日志记录功能，帮助开发者优化和调试复杂的AI代理和聊天机器人。
TensorLeap是一个专注于深度学习模型调试和可解释性的工具，旨在提高神经网络开发的透明度和效率，帮助数据科学家和组织加速开发周期，确保模型的可靠性。
Catsight 是一个功能强大的跨平台进程内存监视器，支持多种操作系统，用户可以实时查看和分析进程的内存使用情况，识别内存泄漏，并调试内存问题。它提供了简洁易用的界面，支持多种进程类型，允许用户对内存进行搜索和过滤。
TabSherpa.ai 是一个浏览器扩展，当你关闭 Chrome 时，它会将你打开的标签页的详细列表和每个标签页的摘要通过邮件发送给你。TabSherpa 侧边栏还显示摘要和相似链接建议，帮助你在浏览时搜索标签和监控内存使用情况。
DebugBench是一个包含4,253个实例的LLM调试基准，涵盖了C++、Java和Python中四个主要的漏洞类别和18个次要类别。为构建DebugBench，作者从LeetCode社区收集了代码片段，使用GPT-4向源数据植入漏洞，并确保了严格的质量检查。
Future AGI通过使用批评代理来替代人工质量保证，消除了人机协作的方法。用户可以设置自定义指标，以满足独特需求并更快检测错误，从而将人力资源保留用于关键任务，并在推理增长时有效扩展。
