bunny-llama 是一个基于 llama.cpp 的开发工具,结合 bun.sh 和 llama.cpp bindings,支持热模块重载,允许开发者在应用运行时实时修改代码,无需手动重启,极大提升开发效率。
一个命令行工具,用于管理、安装和配置多种语言的Llama推理实现。该工具提供快速安装和配置的功能,具有用户友好的命令行界面,以及灵活的配置选项,支持跨平台使用。
Llama 2 Everywhere (L2E) 是一个友好的llama2.c的分支,旨在使Llama 2 LLM架构能够在各种设备上兼容运行,从Chromebook到企业高密度单核部署。该项目提供了多种构建目标,利用不同的库和工具来提高性能和可移植性,确保用户能够在不同的环境中高效使用Llama 2。
这是一个与Llama2相关资源的集合,包括教程、论文和工具,旨在为用户提供全面的信息和支持。该项目还接受社区贡献并定期更新,所有资源都经过分类,便于用户浏览和查找。
一个用Rust开发的本地LLM接口工具,支持多平台(Mac/Windows/Linux)的CPU和GPU运行。特色是提供了级联提示工作流(Cascading Prompt Workflow)系统,能将LLM的概率性输出转换为确定性信号,大幅提高输出可靠性。
Llama2.jl是一个用Julia编写的库,旨在提供与Llama2.c相同的功能,结合高性能和易用性,方便用户进行数据处理和数学运算。
LiteChain是一个构建LLMs应用的轻量级替代LangChain的选择,专注于拥有小而简单的核心,易于学习、适应,文档完备,完全类型化和可组合,旨在帮助开发者快速实现复杂应用逻辑。
基于llama.cpp,通过Continue Visual Studio Code扩展启用对Code Llama的支持的VS Code插件,能够本地化集成Code Llama与VSCode,提升开发效率。
一个交互式指南,涵盖了提示工程和最佳实践,专为与大型语言模型(LLM)工作的开发者、研究人员和爱好者设计。