Anthropic近期对其API进行了一系列重要更新,特别是针对Claude 3.7 Sonnet模型的优化,显著提升了生成式AI的效率与协作能力。这些更新不仅帮助开发者提高吞吐量、降低令牌使用成本,还为团队协作提供了更便捷的工具。以下将详细介绍这些更新的核心内容及其实际应用价值。
提示缓存优化:提升吞吐量与成本效益
Anthropic在Claude 3.7 Sonnet中引入了缓存感知速率限制和简化的提示缓存管理功能,显著提升了提示缓存的效率:
– 缓存感知速率限制:提示缓存读取的令牌不再计入输入令牌每分钟(ITPM)限制。这意味着开发者可以在现有速率限制内处理更多请求,从而提高吞吐量并降低成本。
– 简化缓存管理:开发者不再需要手动跟踪缓存片段。Claude会自动从最长缓存前缀中读取内容,减少了开发者的工作量并释放了更多令牌。
这些优化特别适用于以下场景:
– 需要维护大型知识库的文档分析平台
– 需要参考大量代码库的编程助手
– 依赖详细产品文档的客户支持系统
令牌高效工具使用:降低输出令牌消耗
Claude 3.7 Sonnet支持令牌高效工具使用,通过调用自定义工具(如从非结构化文本中提取结构化数据或通过API自动化任务),可将输出令牌消耗减少高达70%。早期用户平均节省了14%的令牌使用。
开发者只需在请求中添加测试版头token-efficient-tools-2025-02-19
即可启用此功能。此外,Anthropic还引入了文本编辑器工具,允许Claude对文档、代码或研究报告进行针对性编辑,进一步降低令牌消耗和延迟,同时提高准确性。
团队协作功能:提升提示工程效率
Anthropic还推出了提示共享功能,使团队能够在Anthropic控制台内协作开发提示。这一功能允许工作区成员共享、编辑和迭代提示,同时保留清晰的修订历史记录,确保每个贡献者的工作都能被追踪。
实际应用案例:Cognition的成功实践
早期用户Cognition(Devin的开发者)已成功利用这些更新优化其提示缓存使用,提高了吞吐量并降低了成本。Cognition的联合创始人兼CEO Scott Wu表示:“提示缓存使我们能够提供更多代码库上下文,从而获得更高质量的结果,同时降低成本与延迟。”
如何开始使用这些功能
这些功能已对所有Anthropic API用户开放,开发者只需进行少量代码更改即可立即实施:
1. 利用缓存感知速率限制:在Claude 3.7 Sonnet中使用提示缓存。
2. 实施令牌高效工具使用:在请求中添加测试版头token-efficient-tools-2025-02-19
。
3. 尝试文本编辑器工具:将其集成到应用程序中,优化文档编辑流程。
Anthropic API的这些更新为生成式AI的应用提供了更强大的支持,无论是提升效率、降低成本,还是增强团队协作能力,都展现了其在提示工程领域的领先地位。开发者可以充分利用这些功能,将生成式AI技术推向新的高度。