所有AI工具AI开发框架AI开源项目AI编程工具

llama.cl开源项目 – 高效LLaMA推理工具

llama.cl是一个用Common Lisp实现的LLaMA推理工具,旨在简化AI语言模型的探索过程,并提高推理效率。它兼容Karpathy的llama2.c,能够无缝对接现有模型,并支持BLAS加速,显著提升...

标签:

AI交流(进群备注:llama.cl)

llama.cl是一个用Common Lisp实现的LLaMA推理工具,旨在简化AI语言模型的探索过程,并提高推理效率。它兼容Karpathy的llama2.c,能够无缝对接现有模型,并支持BLAS加速,显著提升性能。在Intel i7 5930等硬件上,推理速度可达34.4 tok/s,为开发者提供高效的模型推理体验。

llama.cl的特点:

  • 1. 兼容Karpathy的llama2.c,无缝对接现有模型
  • 2. 支持BLAS加速,性能提升10倍
  • 3. 在Intel i7 5930上,速度可达34.4 tok/s

llama.cl的功能:

  • 1. 进行LLaMA模型的推理
  • 2. 与现有LLaMA模型无缝集成
  • 3. 利用BLAS加速提升模型推理性能
  • 4. 在Intel i7 5930等硬件上进行高效推理

相关导航

暂无评论

暂无评论...