Langtrace是一个开源平台，用于监控、追踪和评估您的LLM驱动应用的性能。它自动生成与OpenTelemetry兼容的追踪信息，捕捉提示、完成、令牌计数、成本、模型超参数设置和延迟指标。Langtrace可以通过仅需两行代码快速集成。
DevGPT 是一个智能编程助手，可以根据用户的任务实时生成代码，并依据用户的编程风格进行定制。它使用针对用户代码库进行定制训练的模型，能够无缝集成代码到现有代码基础中，并为用户创建拉取请求，提升开发效率。
一个Python库，可轻松跟踪和可视化LLM的提示和输出。用户可以识别有效的策略，高效解决问题，并确保可重复的工作流程。
AgentOps 是一个专注于开发和评估 AI 智能体的工具包，提供评估、可观察性、重放分析等功能。它支持多种 LLM 和代理框架集成，如 CrewAI、Langchain、Autogen 等，适用于多种计算机和 AI 应用场景。通过 Python SDK，用户可以轻松集成到现有系统中，进行智能体监控、成本跟踪、基准测试等操作。此外，AgentOps 还支持艺术创作、旅游推荐、房产搜索、健康分析、人物模拟、数据抓取和策略制定等多种应用场景。
Llog是一个为大型语言模型(LLM)设计的协作分析与洞察工具，能够通过简单的请求记录最终用户的交互，并便于所有商业利益相关者从这些日志中提取、分享和推导洞察。
文章提出了一个七阶段的LLM微调流程，涵盖了从数据准备到模型部署的完整生命周期，提供了实用的技术和方法，以提升大规模语言模型的性能和应用效果。
InfluxDB 是一个开源时间序列平台，提供用于存储和查询数据的 API，支持后台数据处理，用于监控、警报、用户仪表板以及数据的可视化与探索。
用于LLM360评估和分析的代码库，包含了多种评估指标和分析方法，旨在帮助用户全面理解和优化模型表现。
