AgentOps 是一个专注于开发和评估 AI 智能体的工具包，提供评估、可观察性、重放分析等功能。它支持多种 LLM 和代理框架集成，如 CrewAI、Langchain、Autogen 等，适用于多种计算机和 AI 应用场景。通过 Python SDK，用户可以轻松集成到现有系统中，进行智能体监控、成本跟踪、基准测试等操作。此外，AgentOps 还支持艺术创作、旅游推荐、房产搜索、健康分析、人物模拟、数据抓取和策略制定等多种应用场景。
能力密度是研究团队提出的评估不同规模 LLM 的训练质量的新指标，定义为模型的有效参数量与实际参数量的比值。该指标提供了统一的度量框架，通过引入参考模型的概念，建立参数量与性能之间的映射关系，显著降低同等性能的推理成本，并指示模型存在高性价比的有效使用期。
一个Python库，可轻松跟踪和可视化LLM的提示和输出。用户可以识别有效的策略，高效解决问题，并确保可重复的工作流程。
TokenCost用于计算大型语言模型(LLM)API的Token使用成本，可以准确计算提示Token的数量，并提供使用提示和完成的估计成本，还可以跟踪LLM价格的变化。
Simplifai是一个强大的AI自动化平台，旨在通过智能自动化简化复杂流程，主要服务于银行、金融、保险和公共部门。它通过文档处理、客户服务和索赔处理等功能，显著降低人工工作，提高操作效率，确保数据安全和合规性。
Langtrace是一个开源平台，用于监控、追踪和评估您的LLM驱动应用的性能。它自动生成与OpenTelemetry兼容的追踪信息，捕捉提示、完成、令牌计数、成本、模型超参数设置和延迟指标。Langtrace可以通过仅需两行代码快速集成。
一个开源实验平台，用于改进基于LLM的应用的功能。通过捕捉输入/输出、添加属性、结合用户反馈和识别，提升生产中的LLM功能。
CloudVerse AI 是一个多云财务操作平台，能够自动收集多个公共云提供商和云服务的成本与使用数据。
Rapid AI是一个帮助企业将潜力转化为现实的AI工具，提供智能解决方案以分析数据、优化策略和革新工作流。它的平台灵活且可扩展，适用于各种规模的企业。
OLY.AI是一个专为企业设计的自然语言机器人平台，能够使用QuickBooks数据快速准确地回答财务问题。
NicheBay是一款移动应用，旨在支持代发商和Shopify店主。它拥有多种强大的功能，如AI驱动的智能代发解决方案、自动订单处理和高效的物流管理。该应用还提供财务和价格管理以及质量检验服务。NicheBay通过AI技术和市场趋势分析，专注于挖掘有价值的产品。
文章提出了一个七阶段的LLM微调流程，涵盖了从数据准备到模型部署的完整生命周期，提供了实用的技术和方法，以提升大规模语言模型的性能和应用效果。
关于大型语言模型（LLM）评估的指南，提供了从实践经验到理论知识的见解，旨在帮助用户确保 LLM 在特定任务上表现良好
parea.ai 是一个专为调试和监控大型语言模型（LLM）应用而设计的开发者工具包。用户可以通过该平台轻松管理LLM工作流程，评估和比较不同的提示，监控应用程序的性能，并进行版本控制和迭代。
DeepWhale是一个AWS FinOps和云优化服务，利用机器学习技术帮助用户调整云资源配置和优化购买策略，最高可节省60%的AWS费用。
MonkeyPatch 是构建可扩展的 LLM 驱动应用的最简单方式，随着时间推移，应用的成本和速度不断优化。
Prompt Flow 是微软推出的开发工具套件，旨在简化基于大语言模型（LLM）的 AI 应用程序的端到端开发周期，支持从构思、原型设计、测试、评估到生产部署和监控的全流程。它提供创建和管理可执行工作流的功能，支持与多种工具和框架的集成，并可轻松部署到云服务或本地环境。
SiteJetAI是一个基于人工智能的客户支持聊天机器人，旨在提供定制化的客户服务解决方案。通过与Slack、Zapier、Hubspot、Zendesk等平台的无缝集成，它能够快速响应客户需求，降低企业运营成本，同时提升客户满意度。
