大规模并行训练

旨在开发支持大规模并行训练的机器学习天气和气候模型的PyTorch框架，Makani 提供高效的计算资源利用，帮助研究人员进行气候变化研究和天气预测。

OneFlow 是一个分布式深度学习框架，旨在使每位算法工程师能够训练超大模型，例如 GPT，克服高训练成本和大模型落地难的问题。它提供易用且高效的动态图和静态图训练接口，支持多种硬件设备，简化模型部署和训练过程。

高性能的Python计算引擎，专为数据处理和人工智能设计，能够自动并行化Python程序，无需重写代码，大幅提升计算效率

CodeTF是Salesforce出品的一站式代码类LLM工具库，提供了一套统一的接口用于Code LLM的训练、推导和微调，支持多种模型，易于扩展和集成。

Hugging Face Transformers 是一个广泛使用的开源NLP框架，专注于大规模预训练语言模型的实现与部署。它支持BERT、GPT-3、T5等数百种顶级模型，涵盖文本分类、情感分析、命名实体识别等多种NLP任务，并支持多模态任务。该库提供简洁的API接口，便于快速加载、微调和优化模型，适用于学术研究与工业应用，社区驱动更新迅速，是自然语言处理领域的重要工具。

LLMOps是一个灵活、稳健且高效的Python工具包，专为大型语言模型(LLM)的运营设计。它提供了模型注册、实验跟踪和实时推理等关键功能，帮助开发者和研究人员更好地管理和优化他们的模型。该工具包支持高效的操作，并具备灵活的集成能力，适用于各种机器学习工作流。

Ludwig v0.8是一个开源的低代码框架，旨在帮助开发者轻松构建先进的机器学习模型，特别是优化用于使用私有数据构建定制的大型语言模型（LLM）。它提供了一种声明式接口，使得模型的构建过程更加高效和简便。

Lorai是一个平台，允许用户使用自己的品牌资产训练生成AI模型，以在几秒钟内创建独特内容。用户可以在浏览器中轻松训练低秩适应（LoRAs），无需计算资源，快速生成高质量设计元素。

GPU Finder是一个网站，帮助客户发现来自全球公共云提供商的可用GPU实例。它提供了不同云提供商提供的各种GPU、GPU服务器和GPU计算平台的信息。

Xtreme1 是一个为多感官训练数据生成和处理而设计的平台，提供高效的数据标注和管理工具，支持深度学习模型的训练和评估，并且易于集成到现有的工作流程中。用户可以通过友好的界面和丰富的文档快速上手。

MosaicML 提供的示例项目，旨在帮助用户更好地理解和使用其机器学习工具和框架。该项目包含多种模型训练示例，特别是针对大型语言模型（LLM）的应用。通过高效的资源管理和优化建议，集成了 FSDP（Fully Sharded Data Parallel）以提升训练性能，并提供详细的文档和使用指南，方便开发者快速上手。

Groq是一个专注于加速AI推理的领先平台，通过其独特的LPU™技术，提供卓越的性能，适用于需要快速数据处理和实时决策的应用场景。Groq能够提高AI操作的速度和效率，特别适合各种行业使用。

Hugging Face 实现并开源的推理阶段计算扩展研究，通过动态计算策略提升小型语言模型的性能。

该研究发现，在计算限制范围内，LLM（高达90亿参数）经过四轮训练后，新数据带来的收益微乎其微，增加资源的收益有限。对于嘈杂的数据集，数据过滤的效果更为显著。