一个用Rust开发的本地LLM接口工具，支持多平台(Mac/Windows/Linux)的CPU和GPU运行。特色是提供了级联提示工作流(Cascading Prompt Workflow)系统，能将LLM的概率性输出转换为确定性信号，大幅提高输出可靠性。
dstack是一个开源工具，可以在任何云环境中简化大型语言模型（LLM）的开发。它使开发者能够利用开放的LLM，降低云成本，避免对供应商的锁定。
LiteChain是一个构建LLMs应用的轻量级替代LangChain的选择，专注于拥有小而简单的核心，易于学习、适应，文档完备，完全类型化和可组合，旨在帮助开发者快速实现复杂应用逻辑。
OpenPipe是一个自托管的平台，旨在以数据驱动的方式快速生成、测试和比较LLM提示。用户可以轻松地在不同模型之间翻译提示，从而优化模型的表现。
用于实验、评估和部署基于检索增强生成 (RAG) 的系统的工具包，支持各种大语言模型 (LLM)，旨在减少 LLM 幻觉风险并提高可靠性。
用 LangChain + FastApi 部署自动化LLM应用，以便将 LangChain 应用作为 API 提供服务
Terracotta是一个平台，使用户能够快速直观地实验大型语言模型（LLMs），支持模型管理、微调和评估。用户可以安全存储数据，针对分类和文本生成微调模型，并进行定性与定量比较。
bunny-llama 是一个基于 llama.cpp 的开发工具，结合 bun.sh 和 llama.cpp bindings，支持热模块重载，允许开发者在应用运行时实时修改代码，无需手动重启，极大提升开发效率。
Grok-1是xAI推出的开源大语言模型，拥有3140亿参数，适用于NLP任务，并提供JAX示例代码，便于加载、运行和微调。
本项目旨在利用合成数据，通过大语言模型从非结构化文档生成查询和相关文档，从而创建合成数据集，以微调开源嵌入模型。这样可以显著提高信息检索的准确性和效率，同时增强模型在特定领域的理解能力。
BabyCommandAGI旨在测试命令行界面（CLI）与大型语言模型（LLM）的结合效果，探索它们之间的互动，基于BabyAGI构建，并使用GPT-4 API。通过模拟LLM与CLI之间的对话，项目旨在揭示这种组合可能带来的新机遇与挑战。
llama2.scala是Andrej Karpathy的llama2.c在Scala 2中的移植，提供了一种在一个文件中实现Llama 2推理的方式。
