关于大型语言模型（LLM）评估的指南，提供了从实践经验到理论知识的见解，旨在帮助用户确保 LLM 在特定任务上表现良好
这是一个精心策划的资源列表，涵盖了有关在不进行昂贵再训练的情况下更新大型语言模型（LLMs）的优秀论文和资源，基于EMNLP'23的调查结果。
Llog是一个为大型语言模型(LLM)设计的协作分析与洞察工具，能够通过简单的请求记录最终用户的交互，并便于所有商业利益相关者从这些日志中提取、分享和推导洞察。
Algomax是一个平台，旨在简化您的LLM和RAG模型评估，提升提示开发效率，并通过独特的定性指标洞察加速开发过程。该平台提供直观的仪表盘，便于您轻松集成到工作流程中，评估模型性能，评估引擎设计精准，能够深入洞察模型行为。
Hegel AI Prompt Playground是一个供团队实验大型语言模型（LLM）和提示的工具，用户可以跟踪尝试过的历史记录并添加评估，帮助开发者更高效地迭代出适合其用例的工作提示和模型组合，附带SDK。
Github上ninehills整理的一份DeepSeek R1 阅读清单，并标注了重点内容，涵盖多篇关于Reasoning LLMs的文章和论文，提供GRPO开源实现和复刻项目。
用于实验、评估和部署基于检索增强生成 (RAG) 的系统的工具包，支持各种大语言模型 (LLM)，旨在减少 LLM 幻觉风险并提高可靠性。
这个开源项目是一个响应式聊天应用程序，使用了OpenAI的GPT-4进行动力支持。它具有响应流、代码高亮和各种预设功能，适用于开发人员。这个项目使用了Next.js、React和Joy等技术。
这是一个讽刺性网站，旨在帮助他人学习如何使用基于LLM的搜索。用户只需输入问题，点击按钮，即可生成一个可分享的链接，并返回定制的搜索结果。
AgentOps 是一个专注于开发和评估 AI 智能体的工具包，提供评估、可观察性、重放分析等功能。它支持多种 LLM 和代理框架集成，如 CrewAI、Langchain、Autogen 等，适用于多种计算机和 AI 应用场景。通过 Python SDK，用户可以轻松集成到现有系统中，进行智能体监控、成本跟踪、基准测试等操作。此外，AgentOps 还支持艺术创作、旅游推荐、房产搜索、健康分析、人物模拟、数据抓取和策略制定等多种应用场景。
本文评估了LLM自动生成特征归因解释的能力，研究不同方式触发自我解释的可信度，并与传统解释方法进行了比较。
