OLMo语言模型

AI2开源的OLMo语言模型核心构建模块，基于PyTorch实现，提供了完整的模型训练和优化组件，支持多种规模模型(1B-13B)训练，包含flash attention、float8训练等高级特性

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

H2O LLM Studio是一个用户友好的图形界面工具，允许用户轻松微调大型语言模型（LLM），无需编程技能。

一个包含大约4675本中文科幻小说的语料库，可以用于中文科幻小说的人工智能研究。

LLMPruner是一款专为大语言模型设计的裁剪工具，旨在优化模型性能并减少其参数量。它支持多种模型架构，并提供可视化工具，方便用户了解模型结构和裁剪效果，易于与现有机器学习工作流集成。

为Google Cloud TPU优化的Transformers模型，提供高性能AI训练和推理接口，支持多种大规模语言模型。

gpt-fast 是一种简约的、仅限 PyTorch 的解码实现，加载了最佳实践：int8/int4 量化、推测解码、张量并行性等，显著提高 LLM 操作系统的性能。