LLM训练质量

能力密度是研究团队提出的评估不同规模 LLM 的训练质量的新指标，定义为模型的有效参数量与实际参数量的比值。该指标提供了统一的度量框架，通过引入参考模型的概念，建立参数量与性能之间的映射关系，显著降低同等性能的推理成本，并指示模型存在高性价比的有效使用期。

一个Python库，可轻松跟踪和可视化LLM的提示和输出。用户可以识别有效的策略，高效解决问题，并确保可重复的工作流程。

集合了基于大型语言模型（LLM）评估方法的综合调研项目，旨在为开发者、研究者和实践者提供如何有效利用LLM作为评估工具的资源。

AgentOps 是一个专注于开发和评估 AI 智能体的工具包，提供评估、可观察性、重放分析等功能。它支持多种 LLM 和代理框架集成，如 CrewAI、Langchain、Autogen 等，适用于多种计算机和 AI 应用场景。通过 Python SDK，用户可以轻松集成到现有系统中，进行智能体监控、成本跟踪、基准测试等操作。此外，AgentOps 还支持艺术创作、旅游推荐、房产搜索、健康分析、人物模拟、数据抓取和策略制定等多种应用场景。

一个让构建和优化LLM评估器变得简单有趣的原型应用。提供游戏化的界面帮助用户构建LLM评估器，包含了对标注数据的评估工具、半自动优化功能，以及一个迭代工作流来对齐标注者与AI输出。

这是一个精心策划的资源列表，涵盖了有关在不进行昂贵再训练的情况下更新大型语言模型（LLMs）的优秀论文和资源，基于EMNLP'23的调查结果。

OpenPipe是一个自托管的平台，旨在以数据驱动的方式快速生成、测试和比较LLM提示。用户可以轻松地在不同模型之间翻译提示，从而优化模型的表现。

该项目根据我们的调查整理了评估大型语言模型的文献，提供了全面的评价方法和研究资料。

这是一个讽刺性网站，旨在帮助他人学习如何使用基于LLM的搜索。用户只需输入问题，点击按钮，即可生成一个可分享的链接，并返回定制的搜索结果。

Llog是一个为大型语言模型(LLM)设计的协作分析与洞察工具，能够通过简单的请求记录最终用户的交互，并便于所有商业利益相关者从这些日志中提取、分享和推导洞察。

检索增强生成 (RAG) 及其他：关于如何让你的 LLM 更明智地使用外部数据的全面调查

这是一个完整的管道，用于在消费硬件上使用LoRA和RLHF微调Alpaca LLM。基于Alpaca架构实现人类反馈的强化学习（RLHF），基本上是ChatGPT的一个变体，但使用的是Alpaca。

TokenCost用于计算大型语言模型(LLM)API的Token使用成本，可以准确计算提示Token的数量，并提供使用提示和完成的估计成本，还可以跟踪LLM价格的变化。