OpenPipe开源项目 – 数据驱动的LLM提示测试平台

LLM Prompt & Model Playground 是一个让用户可以并排测试两个LLM提示、模型或配置的工具。它支持多种输入的实时测试，极大地加快了提示和模型的测试过程，并且提供了慷慨的免费使用额度。该项目由Context.ai开发。

Promptfoo是一个专门为测试和增强语言模型数学（LLM）提示而设计的库，提供强大的工具来评估提示质量和模型输出，从而提升结果。

PromptxAI Generative AI Playbook是一个资源库，帮助企业和个人利用生成式AI实现增长与创新。该项目提供了示例、框架和技术，帮助用户入门生成式AI。它包括内容生成、内容获取以及影响未来工作的趋势等热门示例，并提供了包含提示管理、LLM模型、内容增强等工具的扩展手册。此外，用户可以学习提示工程技术，以优化生成式AI应用程序的性能，如ChatGPT、DALL-E和Midjourney。手册还提供加速器笔记本和代码库，帮助用户开始使用生成式AI。

Platea AI帮助团队快速运行并行测试，结合多个提示和模型，快速达到所需的提示水平。它还允许用户轻松管理和操作快速创建的提示版本。

能力密度是研究团队提出的评估不同规模 LLM 的训练质量的新指标，定义为模型的有效参数量与实际参数量的比值。该指标提供了统一的度量框架，通过引入参考模型的概念，建立参数量与性能之间的映射关系，显著降低同等性能的推理成本，并指示模型存在高性价比的有效使用期。

Terracotta是一个平台，使用户能够快速直观地实验大型语言模型（LLMs），支持模型管理、微调和评估。用户可以安全存储数据，针对分类和文本生成微调模型，并进行定性与定量比较。

dstack是一个开源工具，可以在任何云环境中简化大型语言模型（LLM）的开发。它使开发者能够利用开放的LLM，降低云成本，避免对供应商的锁定。

OmniMind 是一个多功能的语言模型，兼容各种数据类型，如 URL 和 PDF，具有无限的处理规模，并利用 GPT-4 的先进特性。它允许用户为不同的平台（如网站和应用程序）定制小部件，从而提高业务效率。

Open-LLM-Leaderboard是一个用于追踪各种大型语言模型（LLMs）在开放式问题上的表现的基准测试平台，旨在反映模型的真实能力，并通过开放社区促进共同进步。

dottxt-ai/prompts 是一个专门用于生成和管理提示（prompts）的库，使用 Jinja 模板来渲染提示，并且支持大型语言模型和提示工程。它提供灵活的提示管理功能，使得用户能够方便地创建和定制用于自然语言处理的提示。

Token.js是一个集成了200多个大型语言模型（LLM）的TypeScript SDK，采用OpenAI格式，支持在客户端运行，无需代理服务器，且为免费开源项目，得到了社区的广泛支持。

WorkGPT是一个强大的AI助手，基于GPT-3.5、GPT-4和Llama2等语言模型，旨在提升用户在Google Docs、Slides、Gmail和Sheets等应用中的工作效率，帮助用户编辑和创建内容、撰写电子邮件、处理信息、阅读等。

SciPubPlus是一个由活跃的研究者和科学家设计的AI驱动学术写作工具，旨在满足学术写作的独特需求，提供一系列助手，帮助用户在写作过程中每个阶段轻松导航。

开源项目draw-a-ui，通过tldraw绘制图形，直接生成HTML代码，并支持后续修改，使用了GPT4 Vision的API，方便用户进行可视化编辑和实时预览。

基于OpenAI Realtime Console的一个项目，可以在手机网页上与GPT进行语音聊天，方便用户随时随地与AI进行互动。