Backtrack Sampler是一个易于理解的框架,用于大型语言模型采样,能够撤销和修改生成的Token,适合实验和研究用途。
Cursive是一个直观的Python大型语言模型(LLM)框架,旨在简化与LLM的交互,支持多种模型和任务,提供高效的数据处理能力和灵活的API设计,适用于各种应用场景。
Lepton Search是一个为AI使用案例专门构建的Python工具链的搜索工具,当前为测试版。该工具可以在不到500行代码的情况下构建,利用Lepton工具链,使得AI搜索变得更加高效和便捷。
HugNLP是一个基于HuggingFace Transformer的综合自然语言处理库,支持多种NLP任务,具有易于使用的API接口和丰富的预训练模型,同时允许用户自定义模型训练。
BuildShip是一个低代码可视化平台,允许用户创建强大的API、定时任务、后端任务和云功能。它由AI驱动,能够连接任何AI模型、预构建的工作流节点,或者使用AI生成新的节点。用户还可以根据需要修改代码,并通过一键部署应用。
由知乎和ModelBest公司开发的高性能LLM推理引擎,针对PCIe GPU优化,支持Llama等大模型变体。