llama2.scala是Andrej Karpathy的llama2.c在Scala 2中的移植,提供了一种在一个文件中实现Llama 2推理的方式。
llama2.zig是一个用纯Zig编写的项目,旨在提供Llama 2模型的推理功能。它的设计强调高性能和易用性,所有功能都封装在一个文件中,方便用户直接运行或集成到其他Zig项目中。
Confident AI是一个综合性的LLM评估平台,提供14种以上的指标来运行LLM实验,管理数据集,监控并整合人类反馈,以自动改进LLM应用。它与DeepEval协作,支持任何用例。
一个用Rust开发的本地LLM接口工具,支持多平台(Mac/Windows/Linux)的CPU和GPU运行。特色是提供了级联提示工作流(Cascading Prompt Workflow)系统,能将LLM的概率性输出转换为确定性信号,大幅提高输出可靠性。
llama2.go是一个基于LLAMA-2模型的纯Go语言实现,提供高性能的机器学习功能,易于集成,支持多种数据格式,适合在Go项目中使用。