缓存感知速率限制：提升处理能力
Claude SDK的最新更新引入了缓存感知速率限制，这一功能允许开发者在现有的速率限制内处理更多的请求，同时减少令牌使用。具体来说，提示缓存读取的令牌不再计入Claude 3.7 Sonnet的输入令牌每分钟（ITPM）限制。这一优化特别适用于需要大量上下文和高处理能力的应用场景，如文档分析平台、编码助手和客户支持系统。
简化提示缓存管理：提高开发效率
为了进一步简化提示缓存的使用，Claude SDK现在能够自动读取之前缓存的最长前缀。开发者不再需要手动跟踪和指定要使用的缓存段，这不仅减少了工作量，还释放了更多的令牌。这一功能在Anthropic API和Google Cloud的Vertex AI上均可使用，使得缓存管理更加高效和便捷。
高效令牌使用工具：降低成本
Claude SDK还支持高效令牌使用工具，这些工具允许Claude以更少的令牌执行任务，如从非结构化文本中提取结构化数据或通过API自动化简单任务。早期用户报告称，这一功能平均减少了14%的令牌消耗，某些情况下甚至高达70%。开发者只需在请求中添加特定的beta头即可启用这一功能，从而显著降低成本。
新工具：文本编辑器
Claude SDK引入了一个新的文本编辑器工具，专为用户与Claude在文档上协作设计。该工具允许Claude对源代码、文档或研究报告中的特定部分进行有针对性的编辑，从而减少令牌消耗和延迟，同时提高准确性。开发者可以轻松地在他们的应用程序中实现这一工具，通过提供API请求并处理工具使用响应。
实际应用案例：Cognition
早期用户Cognition已经利用这些更新来提高令牌效率和响应质量。Cognition的联合创始人兼CEO Scott Wu表示，提示缓存使他们能够提供更多关于代码库的上下文，从而获得更高质量的结果，同时降低成本和延迟。通过缓存感知的ITPM限制，他们进一步优化了提示缓存的使用，提高了处理能力。
如何开始使用
这些功能现已对所有Anthropic API客户开放，开发者可以通过以下步骤立即实施这些更新：
– 利用缓存感知速率限制：在Claude 3.7 Sonnet中使用提示缓存。
– 实施高效令牌使用工具：在请求中添加beta头以开始节省令牌。
– 尝试文本编辑器工具：将其集成到应用程序中，以实现更高效的文档编辑工作流程。
通过这些更新，Claude SDK为生成式AI的开发和应用提供了更高效、更经济的解决方案，帮助开发者在实际场景中更好地利用这些先进技术。
相关文章
