数据驱动的LLM提示测试平台

OpenPipe是一个自托管的平台，旨在以数据驱动的方式快速生成、测试和比较LLM提示。用户可以轻松地在不同模型之间翻译提示，从而优化模型的表现。

LLM Prompt & Model Playground 是一个让用户可以并排测试两个LLM提示、模型或配置的工具。它支持多种输入的实时测试，极大地加快了提示和模型的测试过程，并且提供了慷慨的免费使用额度。该项目由Context.ai开发。

一个Python库，可轻松跟踪和可视化LLM的提示和输出。用户可以识别有效的策略，高效解决问题，并确保可重复的工作流程。

Promptfoo是一个专门为测试和增强语言模型数学（LLM）提示而设计的库，提供强大的工具来评估提示质量和模型输出，从而提升结果。

PromptxAI Generative AI Playbook是一个资源库，帮助企业和个人利用生成式AI实现增长与创新。该项目提供了示例、框架和技术，帮助用户入门生成式AI。它包括内容生成、内容获取以及影响未来工作的趋势等热门示例，并提供了包含提示管理、LLM模型、内容增强等工具的扩展手册。此外，用户可以学习提示工程技术，以优化生成式AI应用程序的性能，如ChatGPT、DALL-E和Midjourney。手册还提供加速器笔记本和代码库，帮助用户开始使用生成式AI。

微软提供的一个项目，旨在简化和优化提示生成与管理，支持自研小模型phi-1.5。

Platea AI帮助团队快速运行并行测试，结合多个提示和模型，快速达到所需的提示水平。它还允许用户轻松管理和操作快速创建的提示版本。

一个用Rust开发的本地LLM接口工具，支持多平台(Mac/Windows/Linux)的CPU和GPU运行。特色是提供了级联提示工作流(Cascading Prompt Workflow)系统，能将LLM的概率性输出转换为确定性信号，大幅提高输出可靠性。

能力密度是研究团队提出的评估不同规模 LLM 的训练质量的新指标，定义为模型的有效参数量与实际参数量的比值。该指标提供了统一的度量框架，通过引入参考模型的概念，建立参数量与性能之间的映射关系，显著降低同等性能的推理成本，并指示模型存在高性价比的有效使用期。

允许用户将代码项目转换为 LLM（Large Language Model）提示的本地工具，专注于安全性、便捷性和用户体验。

Terracotta是一个平台，使用户能够快速直观地实验大型语言模型（LLMs），支持模型管理、微调和评估。用户可以安全存储数据，针对分类和文本生成微调模型，并进行定性与定量比较。

dstack是一个开源工具，可以在任何云环境中简化大型语言模型（LLM）的开发。它使开发者能够利用开放的LLM，降低云成本，避免对供应商的锁定。

这是一个完整的管道，用于在消费硬件上使用LoRA和RLHF微调Alpaca LLM。基于Alpaca架构实现人类反馈的强化学习（RLHF），基本上是ChatGPT的一个变体，但使用的是Alpaca。

Litellm是一个Python SDK/Proxy Server，旨在简化与多种大语言模型API的交互，支持使用OpenAI格式调用100多个LLM API，提供统一的输入输出格式，易于集成和使用。