Gated Linear Attention实现

gla-jax 是一个专注于使用 JAX 和 Pallas 实现 Gated Linear Attention (GLA) 内核的项目，旨在高效处理长序列。该项目特别适用于语言建模等需要处理长序列的任务，提供了三种不同的 GLA 实现，优化了内存使用，并支持多尺度子分块，以提高计算效率。gla-jax 可以作为 Transformer 模型中标准注意力层的替代方案，为长序列处理提供更高效的解决方案。