一个命令行工具,可以一条命令直接启动大模型前端、API、后端全家桶,包括Ollama, llama.cpp, vLLM, Open WebUI, Libre Chat, Dify等多个组件,支持一键部署。
llama-utils是一个便捷高效的工具,旨在支持用户在本地或边缘设备上运行定制和优化的语言模型(LLM)。它提供简单的操作方式,帮助用户快速部署和管理模型,同时确保高效的性能和资源利用。
Llaminate 是一个为任何训练过的大型语言模型提供托管前端的平台。用户只需提供推理 URL,Llaminate 将启动一个定制的托管体验,以便与用户分享。
基于长期记忆的下一代检索增强大模型框架,旨在推动RAG技术从仅能处理简单QA任务向应对复杂一般性任务拓展。
rover是一个交互式的Terraform可视化工具,允许用户探索和查看Terraform的状态和配置,提供直观的界面和实时反馈。
一个通过PyTorch从头开始训练Llama 2 LLM架构模型的项目,支持将权重保存到原始二进制文件并在简单的C文件中推断模型。