Anthropic API 更新:提升生成式AI效率与协作能力

AI快讯2个月前发布 admin
0 0

Anthropic近期对其API进行了一系列重要更新,特别是针对Claude 3.7 Sonnet模型的优化,显著提升了生成式AI的效率与协作能力。这些更新不仅帮助开发者提高吞吐量、降低令牌使用成本,还为团队协作提供了更便捷的工具。以下将详细介绍这些更新的核心内容及其实际应用价值。

提示缓存优化:提升吞吐量与成本效益

Anthropic在Claude 3.7 Sonnet中引入了缓存感知速率限制简化的提示缓存管理功能,显著提升了提示缓存的效率:
缓存感知速率限制:提示缓存读取的令牌不再计入输入令牌每分钟(ITPM)限制。这意味着开发者可以在现有速率限制内处理更多请求,从而提高吞吐量并降低成本。
简化缓存管理:开发者不再需要手动跟踪缓存片段。Claude会自动从最长缓存前缀中读取内容,减少了开发者的工作量并释放了更多令牌。

这些优化特别适用于以下场景:
– 需要维护大型知识库的文档分析平台
– 需要参考大量代码库的编程助手
– 依赖详细产品文档的客户支持系统

令牌高效工具使用:降低输出令牌消耗

Claude 3.7 Sonnet支持令牌高效工具使用,通过调用自定义工具(如从非结构化文本中提取结构化数据或通过API自动化任务),可将输出令牌消耗减少高达70%。早期用户平均节省了14%的令牌使用。

开发者只需在请求中添加测试版头token-efficient-tools-2025-02-19即可启用此功能。此外,Anthropic还引入了文本编辑器工具,允许Claude对文档、代码或研究报告进行针对性编辑,进一步降低令牌消耗和延迟,同时提高准确性。

团队协作功能:提升提示工程效率

Anthropic还推出了提示共享功能,使团队能够在Anthropic控制台内协作开发提示。这一功能允许工作区成员共享、编辑和迭代提示,同时保留清晰的修订历史记录,确保每个贡献者的工作都能被追踪。

实际应用案例:Cognition的成功实践

早期用户Cognition(Devin的开发者)已成功利用这些更新优化其提示缓存使用,提高了吞吐量并降低了成本。Cognition的联合创始人兼CEO Scott Wu表示:“提示缓存使我们能够提供更多代码库上下文,从而获得更高质量的结果,同时降低成本与延迟。”

如何开始使用这些功能

这些功能已对所有Anthropic API用户开放,开发者只需进行少量代码更改即可立即实施:
1. 利用缓存感知速率限制:在Claude 3.7 Sonnet中使用提示缓存。
2. 实施令牌高效工具使用:在请求中添加测试版头token-efficient-tools-2025-02-19
3. 尝试文本编辑器工具:将其集成到应用程序中,优化文档编辑流程。

Anthropic API的这些更新为生成式AI的应用提供了更强大的支持,无论是提升效率、降低成本,还是增强团队协作能力,都展现了其在提示工程领域的领先地位。开发者可以充分利用这些功能,将生成式AI技术推向新的高度。

© 版权声明

相关文章

暂无评论

暂无评论...