llama2.zig是一个用纯Zig编写的项目,旨在提供Llama 2模型的推理功能。它的设计强调高性能和易用性,所有功能都封装在一个文件中,方便用户直接运行或集成到其他Zig项目中。
LangPort是一个开源的大型语言模型服务平台,旨在提供超快的LLM推理服务,支持Huggingface transformers及多种语言模型,具有易于扩展的特性。
这是一个基于Mojo编写的Llama 2实现,旨在显著提升推理速度,充分利用Mojo语言的优势,支持Llama 2模型,并采用优化的内存管理,便于在各种环境中使用。
llama2.scala是Andrej Karpathy的llama2.c在Scala 2中的移植,提供了一种在一个文件中实现Llama 2推理的方式。
eigenGPT是一个基于C++的高效实现,旨在提供简化的GPT2架构,易于理解和扩展,适合嵌入式系统和资源受限环境。
一个命令行工具,用于管理、安装和配置多种语言的Llama推理实现。该工具提供快速安装和配置的功能,具有用户友好的命令行界面,以及灵活的配置选项,支持跨平台使用。