dstack官网 – 简化LLM开发的开源工具

一个轻量级LLM应用开发框架，类似于Python requests库的简洁设计理念，提供了90%必需的LLM开发功能。

一个用Rust开发的本地LLM接口工具，支持多平台(Mac/Windows/Linux)的CPU和GPU运行。特色是提供了级联提示工作流(Cascading Prompt Workflow)系统，能将LLM的概率性输出转换为确定性信号，大幅提高输出可靠性。

AutoGen UI是一个支持使用多个代理来开发大型语言模型（LLM）应用的框架。这些代理能够相互对话，以协同解决复杂任务，极大地简化了LLM应用的开发流程，同时具有强大的可扩展性和用户友好的Web界面。

E2B桌面沙箱为大型语言模型（LLM）提供图形桌面环境的沙盒服务，旨在通过安全的计算机使用体验提供隔离的云端环境。

mlc-llm 使每个人都能在每个人的设备上本地开发、优化和部署 AI 模型，支持多种 AI 模型架构，并提供模型优化工具和简化的部署过程。

Token.js是一个集成了200多个大型语言模型（LLM）的TypeScript SDK，采用OpenAI格式，支持在客户端运行，无需代理服务器，且为免费开源项目，得到了社区的广泛支持。

一个用于端到端架构和大语言模型（LLM）的项目，旨在简化和优化开发过程。

文章提出了一个七阶段的LLM微调流程，涵盖了从数据准备到模型部署的完整生命周期，提供了实用的技术和方法，以提升大规模语言模型的性能和应用效果。

为低延迟和高扩展性设计的快速轻量级代理，支持LLM的多种实验和推出特性，适用于生产环境

AIOS是一款大型语言模型（LLM）代理操作系统，将大型语言模型嵌入到操作系统中，作为OS的大脑，使得操作系统具备“灵魂”，这是迈向人工通用智能（AGI）的重要一步。

Bind是一个协作的GenAI应用开发平台，允许用户轻松创建用于营销、销售和支持的AI助手。它提供全面的工具和功能，连接各种数据源，部署强大的AI助手，以洞察和回答客户数据。用户可以构建LLM机器人，连接实时数据，自动化任务，并提供私有的LLM基础设施来轻松部署应用。

magentic允许用户将大型语言模型（LLMs）集成到Python函数中，简化了LLM的调用与管理，提供易于使用的API，支持多种LLM模型，适合快速原型开发和测试。

Salute是一个简单的声明式控制大型语言模型（LLM）的方法的JavaScript库，旨在简化与LLM的交互，使开发者能够轻松管理和配置语言模型的行为。

Hegel AI Prompt Playground是一个供团队实验大型语言模型（LLM）和提示的工具，用户可以跟踪尝试过的历史记录并添加评估，帮助开发者更高效地迭代出适合其用例的工作提示和模型组合，附带SDK。

Terracotta是一个平台，使用户能够快速直观地实验大型语言模型（LLMs），支持模型管理、微调和评估。用户可以安全存储数据，针对分类和文本生成微调模型，并进行定性与定量比较。