Llama 2 Everywhere (L2E) 是一个友好的llama2.c的分支,旨在使Llama 2 LLM架构能够在各种设备上兼容运行,从Chromebook到企业高密度单核部署。该项目提供了多种构建目标,利用不同的库和工具来提高性能和可移植性,确保用户能够在不同的环境中高效使用Llama 2。
一个交互式指南,涵盖了提示工程和最佳实践,专为与大型语言模型(LLM)工作的开发者、研究人员和爱好者设计。
llama2.cpp 是一个高效的推理库,专为 C++ 开发,支持 CPU 计算,并且未来将支持 CUDA 和 AVX512,旨在提供高效的 Llama 2 模型推理体验,方便集成到各种 C++ 项目中。
bunny-llama 是一个基于 llama.cpp 的开发工具,结合 bun.sh 和 llama.cpp bindings,支持热模块重载,允许开发者在应用运行时实时修改代码,无需手动重启,极大提升开发效率。
这是一个完整的管道,用于在消费硬件上使用LoRA和RLHF微调Alpaca LLM。基于Alpaca架构实现人类反馈的强化学习(RLHF),基本上是ChatGPT的一个变体,但使用的是Alpaca。
ChatLLM 是一个基础知识库,旨在帮助用户轻松使用大型语言模型(LLM)。它提供生产级的API,支持前后端分离,并兼容多种LLM模型,如文心一言和讯飞星火。该项目易于集成和扩展,具有友好的用户界面,方便开发者和用户使用。