LLM采样框架

Backtrack Sampler是一个易于理解的框架，用于大型语言模型采样，能够撤销和修改生成的Token，适合实验和研究用途。

Cursive是一个直观的Python大型语言模型（LLM）框架，旨在简化与LLM的交互，支持多种模型和任务，提供高效的数据处理能力和灵活的API设计，适用于各种应用场景。

Lepton Search是一个为AI使用案例专门构建的Python工具链的搜索工具，当前为测试版。该工具可以在不到500行代码的情况下构建，利用Lepton工具链，使得AI搜索变得更加高效和便捷。

HugNLP是一个基于HuggingFace Transformer的综合自然语言处理库，支持多种NLP任务，具有易于使用的API接口和丰富的预训练模型，同时允许用户自定义模型训练。

BuildShip是一个低代码可视化平台，允许用户创建强大的API、定时任务、后端任务和云功能。它由AI驱动，能够连接任何AI模型、预构建的工作流节点，或者使用AI生成新的节点。用户还可以根据需要修改代码，并通过一键部署应用。

由知乎和ModelBest公司开发的高性能LLM推理引擎，针对PCIe GPU优化，支持Llama等大模型变体。