标签:BEiT模型

BEiT模型:释放JFT-300M潜力的自监督学习新范式

BEiT模型将BERT的成功经验应用于视觉领域,通过自监督学习和Transformer的结合,展示了在速度、内存占用和超参数方面的优势。它能够复用NLP预训练框架和经验...