LLM层级分支处理

N8loom是一个基于树结构的前缀缓存库，专为LLM（大语言模型）生成的层级分支路径提供快速创建和处理的解决方案。它通过缓存树结构实现高效的多分支并行处理，支持批量和流式生成文本，并包含FastAPI服务器示例，方便部署为在线服务。

AI-magic收录了大量国内外AI工具箱，包括AI写作、图像、视频、音频、编程等各类AI工具，以及常用的AI学习、技术、和模型等信息，让你轻松加入人工智能浪潮。