glideprompt 是一个能够编写系统提示并在流行语言模型(如 Llama、Mistral、OpenAI、Claude、Gemini)上测试的工具,帮助用户更好地决定哪个语言模型最适合他们的任务。用户只需输入任务,即可获得针对语言模型的系统级提示。该工具比较不同语言模型的性能,以辅助用户为特定任务选择最佳模型。
LLM Zoo收集了各种开源和闭源语言模型的信息,包括发行时间、模型大小、支持的语言、领域、训练数据以及相关资源链接。旨在为自然语言处理(NLP)领域的研究人员提供参考,以帮助其选择适合其需求的模型。
该项目研究了prompt在不同下游任务和不同类型、规模的预训练语言模型之间的迁移性,探索其在零样本设定下的有效性、对其他模型的适用性以及对训练速度的提升,并分析了影响迁移性的因素。
openlogprobs是一个Python API,旨在通过语言模型API提取完整的下一token概率。它通过使用logit偏置来逆向工程标记的对数概率,支持topk搜索和精确解算法,从而有效提取语言模型API的完整概率向量。
LLMDrift是一个项目,旨在研究大型语言模型(如GPT-3.5和GPT-4)的性能漂移,特别关注其性能可能随时间下降的趋势及其影响。
Prompt Refine是一个旨在帮助用户进行提示实验以提高语言模型性能的工具,提供用户友好的界面,方便运行和分析实验。
该工具允许用户简单描述目标,自动生成量身定制的提示,以最大化AI应用的效果,支持多个热门AI工具,使用便捷,提升用户体验。
Cognitiev PRO是一个多模态的AI聊天机器人,致力于在保护用户隐私的前提下,革新用户与技术的互动方式。该项目基于先进的GPT-4技术,提供定制的聊天模式,包括书籍/电影解说、故事/剧本写作、艺术/代码分析、代码改进等多种功能。
由微软开发的工具,旨在简化创建、管理、调试和评估大型语言模型(LLM)提示(prompts)的过程,提高开发者的工作效率和生产力。
FLASK是一个专注于基于技能集的细粒度评估工具,能够对大语言模型(LLM)进行全面分析和比较。它提供了评估模型在不同能力上的表现,并与最先进的开源LLM进行对比,帮助用户了解模型的优势和不足。