AI交流(进群备注:TabularS3L)

TabularS3L是一个基于PyTorch Lightning的库,专门用于表格数据的自监督和半监督学习。它提供了一个统一的框架,使用户能够轻松探索和部署相关模型,适用于各种表格数据处理任务。
TabularS3L的特点:
- 1. 基于PyTorch Lightning构建
- 2. 专为表格数据的自监督学习设计
- 3. 支持半监督学习
- 4. 提供统一框架以探索和部署相关模型
TabularS3L的功能:
- 1. 用于表格数据的自监督学习
- 2. 用于表格数据的半监督学习
- 3. 探索和部署自监督和半监督学习模型
- 4. 在PyTorch Lightning框架下进行模型训练和评估
相关导航

Forgetting Transformer (FoX)开源 – 改进的Transformer,增强长文本处理
Forgetting Transformer (FoX) 是一种改进的 Transformer 模型,通过在 Softmax 注意力机制中加入遗忘门,增强了处理长文本和序列任务的能力。它的设计目标是提升长文本建模、长度外推和短文本任务的性能,同时保持长上下文处理能力,并解决标准 Transformer 缺乏显式数据依赖遗忘机制的问题。FoX 通过数据依赖的方式下调未归一化的注意力分数,命名为“遗忘注意力”(Forgetting Attention)。研究表明,FoX 在长上下文语言建模、长度外推和短上下文下游任务上优于标准 Transformer,而在长上下文下游任务上表现相当。此外,FoX 兼容 Flash Attention 算法,且无需位置嵌入,保留了 Transformer 相对于循环序列模型(如 Mamba-2、HGRN2 和 DeltaNet)在长上下文能力上的优势。
暂无评论...