llama-cli是一个用Go语言编写的自托管解决方案,提供简单的LLaMA/alpaca模型API和命令行界面(CLI)。它允许用户在本地环境中托管和交互LLaMA/alpaca模型,并支持将这些模型集成到自定义应用程序中进行推理。该项目以高性能和高效为目标,适合在各种环境中部署。
字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型