高性能AI训练

为Google Cloud TPU优化的Transformers模型，提供高性能AI训练和推理接口，支持多种大规模语言模型。

FasterTransformer是一个旨在提高Transformer模型速度和效率的工具，支持多种架构如BERT和GPT，提供高性能的推理和训练，且易于集成。它支持FP16和INT8量化技术，能够在NVIDIA GPU上实现高效的模型推理和快速训练，适合在生产环境中部署优化后的模型。

midGPT是一个基于Jax和Equinox的大型语言模型分布式预训练框架，能够在云TPU切片上高效训练数十亿参数的GPT风格解码器模型，旨在提升语言模型的训练效率和性能。

Efficient Large LM Trainer 是一款专为大规模语言模型设计的高效训练工具，旨在通过优化的算法和资源管理，提升训练速度并减少内存占用，支持多种硬件设备，便于用户集成和使用。

AI2开源的OLMo语言模型核心构建模块，基于PyTorch实现，提供了完整的模型训练和优化组件，支持多种规模模型(1B-13B)训练，包含flash attention、float8训练等高级特性

高性能的Python计算引擎，专为数据处理和人工智能设计，能够自动并行化Python程序，无需重写代码，大幅提升计算效率