Transformer模型增强

DCA (DeepCrossattention) 是一种用于增强Transformer网络中残差连接的新机制。它通过可学习的权重和深度交叉注意力动态地结合不同层的信息，从而提高语言模型的性能、训练效率和稳定性。DCA采用Pytorch实现，可通过pip安装，并提供如DCAGPT等类用于构建和训练Transformer模型，专注于语言建模任务。