所有AI工具AI学习网站AI开发框架AI开源项目

COMPACTER开源项目 – 高效低秩超复数适配器

COMPACTER是一种用于大语言模型微调的技术,通过引入适配器、低秩优化和参数化超复数乘法层,在任务性能和可训练参数数量之间取得更好的平衡。它通过低秩超复数适配器减少内存占用...

标签:

AI交流(进群备注:COMPACTER)

COMPACTER是一种用于大语言模型微调的技术,通过引入适配器、低秩优化和参数化超复数乘法层,在任务性能和可训练参数数量之间取得更好的平衡。它通过低秩超复数适配器减少内存占用,并在GLUE和SuperGLUE基准测试上达到了与标准微调相当或更好的性能。COMPACTER在机器翻译、文本摘要等领域能有效增强模型的泛化能力。技术原理包括在预训练模型中插入特定于任务的权重矩阵,通过共享的“慢”权重和每个COMPACTER层定义的“快”秩一矩阵之间的Kronecker积降低参数复杂度,利用超复数乘法层(PHM)和低秩参数化来减少模型参数,同时保持或提高模型性能。

COMPACTER的特点:

  • 1. 低秩超复数适配器减少内存占用
  • 2. 在GLUE和SuperGLUE基准测试上表现优异
  • 3. 增强模型在机器翻译、文本摘要等领域的泛化能力
  • 4. 通过Kronecker积降低参数复杂度
  • 5. 利用超复数乘法层(PHM)减少模型参数

COMPACTER的功能:

  • 1. 运行全微调模型:`bash scripts/baseline.sh`
  • 2. 运行AdapterDrop:`bash scripts/adapters_drop.sh`
  • 3. 运行Adapters:`bash scripts/adapters.sh`
  • 4. 运行低秩适配器:`bash scripts/low_rank_adapters.sh`
  • 5. 运行Pfeiffer-Adapters:`bash scripts/pfeiffer_adapters.sh`
  • 6. 运行BitFit:`bash scripts/bitfit.sh`
  • 7. 运行Compacter++:`bash scripts/compacter++.sh`
  • 8. 运行Compacter:`bash scripts/compacter.sh`
  • 9. 运行PHM-Adapters:`bash scripts/phm_adapters.sh`
  • 10. 运行Intrinsic-SAID:`bash scripts/intrinsic_said.sh`
  • 11. 运行Prompt tuning-R:`bash scripts/prompt_tuning_random_init.sh`
  • 12. 运行Prompt tuning-T:`bash scripts/prompt_tuning_tokens_init.sh`

相关导航

暂无评论

暂无评论...