Kvax开源项目 – JAX框架下的高效FlashAttention实现

Scalable-Softmax (SSMax) 是一种针对Transformer模型中标准Softmax函数的改进方案，旨在解决注意力衰减问题。通过引入可学习的缩放参数，SSMax能够有效防止注意力分布在长上下文场景下变得过于平坦，从而提升模型在长序列中关键信息检索的能力。该方案可与现有Transformer架构无缝集成，仅需最小代码改动即可实现。

建立在HuggingFace模型和PyTorch Fully Sharded Data Parallelism基础上的训练套件，旨在优化吞吐量，简化在资源受限环境中训练中型模型的分布式方案设置工作流程，尤其适用于学术集群。

solo-learn 是一个基于 Pytorch Lightning 的库，专注于视觉表征学习的自监督方法。它提供了多种最先进的自监督学习技术，支持混合精度的分布式训练，易于使用且可轻松扩展，适合在较小设备上进行训练。solo-learn 还具备全面的文档和示例，便于用户快速上手和集成到现有的 Pytorch 工作流中。

EasyContext 是一个用于内存优化和训练配方的项目，旨在将语言模型的上下文长度扩展到100万令牌，同时对硬件要求最小化。该项目提供了多种方法来提升模型性能，并兼容现有技术的实现，帮助开发者在资源有限的情况下有效地进行模型训练。

flash-attention是一个基于FlashAttention优化的Transformer实现，其训练速度在GPT2和GPT3上比Huggingface的实现快3-5倍，显著提升了训练效率，同时优化了内存使用，并支持多种硬件加速。

这是一个关于出色LLM推理的小集合，包含文献、博客和文档以及代码，支持TensorRT-LLM、流式LLM、SmoothQuant、WINT8/4、连续批处理、FlashAttention、PagedAttention等技术。

metaseq是一个用于训练和评估大型序列模型的框架，旨在简化和加速大规模模型的开发过程。

1.58-bit FLUX是字节跳动研究人员开发的一种创新的量化方法，旨在减少文生图像模型的内存占用和计算需求。该模型通过自监督信号进行量化，将权重压缩到1.58位，仅用{-1, 0, +1}三种值表示。尽管量化到如此低的位数，模型在生成1024 x 1024分辨率图像时，性能仍与未量化的模型基本一致。研究人员还开发了专用的计算内核，使得存储减少了7.7倍，推理内存减少了5.1倍，显著降低了对存储和内存的需求。该模型采用了后训练量化（PTQ）方法，无需在训练过程中进行繁琐的微调操作，直接对预训练好的模型进行量化处理，避免了重新训练带来的计算开销和时间消耗。

CockroachDB Swiss是一个用Go语言实现的高性能哈希表，专为大规模数据处理设计，提供极致的性能和内存优化。它通过优化内存分配和减少尾延迟，显著提升了处理大规模数据时的效率和响应速度。

Llumnix是一个针对大型语言模型（LLM）多实例服务的高效且易于使用的请求调度层，支持动态调度、内存碎片化减少、加载均衡优化，并且易于与现有的多实例部署平台集成。

FastLLM是一个动态策略选择的深度学习模型训练代码库，集成了Deepspeed、Megatron、FlashAttention、CudaFusionKernel和编译器技术，旨在优化大规模语言模型的训练效率，提供更加灵活和高效的训练方案。

gla-jax是一个基于JAX和pallas的Gated Linear Attention (GLA)核实现，专注于为长序列处理提供高效解决方案。它通过多种GLA实现和内存优化技术，显著提升了序列处理的性能和效率。

一站式AI开发平台，支持机器学习、深度学习和大模型开发。它提供从数据管理到模型部署的全流程支持，涵盖在线开发、分布式训练、推理服务等功能，帮助企业和开发者高效构建AI应用。

专为大型语言模型（LLM）训练优化的类，集成了多种高效训练技术，旨在提升训练效率和内存使用效率。

Perceiver IO是DeepMind的Perceiver IO的非官方PyTorch实现，支持分布式训练，具有通用输入处理能力，适用于图像、文本和音频等多种任务，设计高效，能够处理大规模数据。