一个开源实验平台，用于改进基于LLM的应用的功能。通过捕捉输入/输出、添加属性、结合用户反馈和识别，提升生产中的LLM功能。
Llog是一个为大型语言模型(LLM)设计的协作分析与洞察工具，能够通过简单的请求记录最终用户的交互，并便于所有商业利益相关者从这些日志中提取、分享和推导洞察。
AgentLLM是一个基于开源大语言模型的自主智能体项目，旨在证明嵌入式LLM能够以可接受的性能处理复杂的目标导向任务，且完全在浏览器中运行。
用 LangChain + FastApi 部署自动化LLM应用，以便将 LangChain 应用作为 API 提供服务
DebugBench是一个包含4,253个实例的LLM调试基准，涵盖了C++、Java和Python中四个主要的漏洞类别和18个次要类别。为构建DebugBench，作者从LeetCode社区收集了代码片段，使用GPT-4向源数据植入漏洞，并确保了严格的质量检查。
用于实验、评估和部署基于检索增强生成 (RAG) 的系统的工具包，支持各种大语言模型 (LLM)，旨在减少 LLM 幻觉风险并提高可靠性。
Podereo是一个创新平台，允许用户在最重要的屏幕上直接收集反馈。通过Podereo，你可以轻松地在网站上获取用户的意见和建议，帮助提升用户体验。
VerifAI的MultiLLM是一个开源框架，通过并行调用多个大型语言模型（LLM）并对其输出进行排名，以找到最佳结果（真实值）。该框架可扩展以支持新的LLM和自定义排名函数，从而评估来自不同LLM的多样化输出。
Terracotta是一个平台，使用户能够快速直观地实验大型语言模型（LLMs），支持模型管理、微调和评估。用户可以安全存储数据，针对分类和文本生成微调模型，并进行定性与定量比较。
一个轻量级LLM应用开发框架，类似于Python requests库的简洁设计理念，提供了90%必需的LLM开发功能。
liteLLM是一个开源库，旨在简化LLM（大语言模型）的完成和嵌入调用。它提供了一个方便易用的接口，使得调用不同的LLM模型变得更加简单。用户只需导入'litellm'库并设置必要的环境变量（如OPENAI_API_KEY和COHERE_API_KEY），即可创建Python函数并使用liteLLM进行LLM完成调用。此外，liteLLM还提供了一个演示平台，用户可以在其中编写Python代码并查看输出，从而比较不同的LLM模型。
Vectorview 是一个针对 RAG 或 LLM 开发者的必备工具，提供语义搜索应用的实时监控和分析功能。它帮助开发者理解用户习惯及其嵌入数据的表现。
AgentOps 是一个专注于开发和评估 AI 智能体的工具包，提供评估、可观察性、重放分析等功能。它支持多种 LLM 和代理框架集成，如 CrewAI、Langchain、Autogen 等，适用于多种计算机和 AI 应用场景。通过 Python SDK，用户可以轻松集成到现有系统中，进行智能体监控、成本跟踪、基准测试等操作。此外，AgentOps 还支持艺术创作、旅游推荐、房产搜索、健康分析、人物模拟、数据抓取和策略制定等多种应用场景。
MVP Studio是一个专注于人性化移动应用开发的工作室，致力于为客户打造符合其需求的移动应用。用户只需预约咨询，我们将指导整个过程，从需求收集到开发迭代，并提供云端后台支持，最终帮助用户将应用发布到应用商店。
Bookipedia是一个革命性的平台，利用人工智能技术使用户能够与书籍进行交流，增强阅读体验。用户可以通过选择感兴趣的书籍标题，开始与书籍的对话，询问问题、讨论情节或分享见解。
