实验跟踪

Weights & Biases (W&B) 是一个全面的人工智能开发平台，帮助开发者追踪、可视化和管理机器学习模型的整个生命周期，从实验到生产。它提供了实验跟踪、数据版本控制、可视化仪表板和团队协作等功能。W&B 支持与多种流行的机器学习框架（如 PyTorch、TensorFlow/Keras、Hugging Face Transformers 等）集成，并通过 REST API、Python SDK 和基于 Web 的仪表板为用户提供便捷的操作体验。

这是一个非常通用且功能丰富的模板，专为快速且可扩展的机器学习实验流程设计。它集成了PyTorch Lightning、Hydra、Optuna和Weights & Biases，能够显著提升深度学习工作流的效率，并提供灵活的配置管理、超参数优化、实验跟踪与可视化等功能。

OpenEvals是一个为大型语言模型（LLM）应用提供强大评估工具的项目。它支持多种预建评估器，如正确性、简洁性和幻觉检测，能够帮助开发者全面评估LLM应用的性能。OpenEvals兼容Python和TypeScript，适配多种开发环境，并且集成了LangSmith，方便实验跟踪和结果记录。

LLMOps是一个灵活、稳健且高效的Python工具包，专为大型语言模型(LLM)的运营设计。它提供了模型注册、实验跟踪和实时推理等关键功能，帮助开发者和研究人员更好地管理和优化他们的模型。该工具包支持高效的操作，并具备灵活的集成能力，适用于各种机器学习工作流。

Giskard是一个开源测试框架，专为生成式AI和机器学习模型设计。它集成了130多种评估指标，支持自动化检测生成内容的事实性、安全性及合规性。Giskard可以处理从表格模型到大型语言模型（LLM）的所有内容，并提供企业级测试中心，支持自托管和云部署。它还与Hugging Face、MLFlow、Weights & Biases等平台无缝集成，帮助团队更快、更好地交付机器学习产品。

qlora-pipe是一个开源脚本，旨在通过在四块4090 GPU上进行定制训练，以高效的方式训练大型语言模型（LLM）。它支持多块GPU的并行训练，并提供多种配置选项以优化训练流程，确保用户能够根据不同的需求灵活调整训练参数。

CSGHub是一个开源的、可信的大模型资产管理平台，旨在帮助用户管理与大型语言模型及其应用（如数据集、模型文件、代码等）生命周期相关的资产。

旨在开发支持大规模并行训练的机器学习天气和气候模型的PyTorch框架，Makani 提供高效的计算资源利用，帮助研究人员进行气候变化研究和天气预测。

LangSmith是一个旨在帮助开发者缩小原型与生产之间差距的平台，专为构建和迭代能够利用大型语言模型(LLMs)的产品而设计，既能发挥其强大能力，又能应对其复杂性。

Knostic是一款先进的AI工具，通过实施基于需要了解的访问控制，管理和控制大型语言模型(LLMs)的访问，确保企业能够安全高效地共享信息，防止数据过度共享，同时引导用户获取所需的精确信息。它与Microsoft Copilot等系统集成，提供精确个性化，提升了各行业的安全性和操作效率。

Cotempqa项目旨在探讨大型语言模型在共时推理方面的能力，特别是如何理解和分析时序数据。该项目提供了分析视频中时间序列事件和处理动态变化的数据集的工具，帮助研究者和开发者在实时数据处理和推理方面获得更深入的理解与应用。

2000 Fine Tuning Prompts是一个全面的资源，旨在帮助爱好者学习和实验微调，熟悉其在不同上下文中的功能和应用。

用于评估和理解大型语言模型的统一评估框架，提供了用户友好的API，方便研究人员进行模型性能评估、提示工程和对抗提示攻击评估等。

Differentiable Adaptive Merging (DAM) 自动化合并多个具有独特能力的大语言模型（LLM），优化模型间的平衡，以提高数据效率和降低计算成本。DAM 超越传统和进化方法，提供可扩展的解决方案，适用于多样化的 AI 系统。

OneDiff是一个用于加速扩散模型的工具，提供了一种新的免训练、几乎无损的范式，显著提升模型的迭代速度。

Substratus.AI是一个专注于大规模语言模型（LLMs）的平台，旨在以极简的方式实现机器学习模型的部署和微调。用户可以在几分钟内安装所需的ML平台，并通过单个命令轻松运行和微调最先进的LLMs。