调试和监控工具

一个轻量框架，用于开发、调试和监控大规模大语言模型(LLM)和Agent驱动的应用。它提供了易用的工具，帮助开发者快速构建和优化语言模型应用。

Spoor是一个使用编译器插装技术的应用追踪工具，能够深入分析应用程序的性能，并提供实时监测和报告。支持多种编程语言，易于集成，适合各种开发环境。

Nadi是一个创新的工具，旨在简化应用程序崩溃的监控过程，帮助开发者及时发现和解决问题。

Catsight 是一个功能强大的跨平台进程内存监视器，支持多种操作系统，用户可以实时查看和分析进程的内存使用情况，识别内存泄漏，并调试内存问题。它提供了简洁易用的界面，支持多种进程类型，允许用户对内存进行搜索和过滤。

LaMini-LM是一个对多个迷你大语言模型进行微调的项目，旨在提升模型的性能，其中包括经过微调的GPT-2，其性能可与LLaMa的Alpaca-7B相媲美。

textlesslib是一个专为无文本口语处理设计的库，集成了多种先进的AI模型，提供高效的音频特征提取，支持多种语言的处理，且开放源代码，易于扩展。

Vectorview 是一个针对 RAG 或 LLM 开发者的必备工具，提供语义搜索应用的实时监控和分析功能。它帮助开发者理解用户习惯及其嵌入数据的表现。

LightEval是一个轻量级的LLM评估套件，Hugging Face在内部使用，并与最近发布的LLM数据处理库datatrove和LLM训练库nanotron集成。

一个基准测试工具，用于研究和评估开源大型语言模型在软件工具操作方面的能力，提供了多样化的软件工具和易于使用的基础设施，可以直接评估每个模型的执行成功率。

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

Mask-tuning是一种训练方法，通过将训练目标集成到微调过程中，旨在提升预训练语言模型在特定任务上的表现和泛化能力，尤其是在未见过的数据上。

Fast-LLM是一个开源库，旨在加速大型语言模型的训练。它具有快速的训练速度、良好的可扩展性，支持多种模型架构，并且提供易于使用的接口，适合研究和工业应用。

Web LLM 是一个可以在浏览器中直接运行大型语言模型的工具，支持通过 WebGPU 加速。它支持多种大型语言模型，包括 Llama 2 7B/13B、Mistral 7B 和 WizadMath，并能够在设备内存为 64GB 的情况下运行 Llama 2 70B 模型。利用 WebGPU 提供更快、更流畅的模型运行体验，仅需约 6GB 的显存即可运行 Llama 7B 和 Vicuna-7B。

Rizt是一个平台，帮助用户在无需编码或机器学习知识的情况下设计、分析和集成AI代理。用户可以通过友好的界面选择预构建模块并定义代理的行为，创建后可以分析其性能，并将其集成到所需的应用或系统中。

OpenAgents是一个开放平台的语言智能体，旨在促进构建概念证明语言智能体的搭建，易于使用和托管。它提供了一系列功能，支持多种智能体的创建和管理，帮助开发者快速实现智能体的应用场景。

这个开源项目是一个响应式聊天应用程序，使用了OpenAI的GPT-4进行动力支持。它具有响应流、代码高亮和各种预设功能，适用于开发人员。这个项目使用了Next.js、React和Joy等技术。

Function Calling Studio 是一个允许用户构建和测试函数调用方案的平台。用户可以设置函数及其参数，并一次性运行一组测试提示。这使得用户能够快速迭代他们的函数并观察其性能。

Mastra是一个功能全面的TypeScript AI框架，提供构建AI应用所需的核心组件。它集成了GPT、Claude、Gemini等主流模型API，支持可视化工作流设计器，适用于复杂业务逻辑编排。框架包含Agents、Tools、Workflow、RAG、评测等工具，帮助开发者快速构建和管理AI应用。支持多模型路由、持久化记忆池、自动化测试套件等功能，可在本地运行或部署到无服务器云端。