AI交流(进群备注:COMPACTER)

COMPACTER是一种用于大语言模型微调的技术,通过引入适配器、低秩优化和参数化超复数乘法层,在任务性能和可训练参数数量之间取得更好的平衡。它通过低秩超复数适配器减少内存占用,并在GLUE和SuperGLUE基准测试上达到了与标准微调相当或更好的性能。COMPACTER在机器翻译、文本摘要等领域能有效增强模型的泛化能力。技术原理包括在预训练模型中插入特定于任务的权重矩阵,通过共享的“慢”权重和每个COMPACTER层定义的“快”秩一矩阵之间的Kronecker积降低参数复杂度,利用超复数乘法层(PHM)和低秩参数化来减少模型参数,同时保持或提高模型性能。
COMPACTER的特点:
- 1. 低秩超复数适配器减少内存占用
- 2. 在GLUE和SuperGLUE基准测试上表现优异
- 3. 增强模型在机器翻译、文本摘要等领域的泛化能力
- 4. 通过Kronecker积降低参数复杂度
- 5. 利用超复数乘法层(PHM)减少模型参数
COMPACTER的功能:
- 1. 运行全微调模型:`bash scripts/baseline.sh`
- 2. 运行AdapterDrop:`bash scripts/adapters_drop.sh`
- 3. 运行Adapters:`bash scripts/adapters.sh`
- 4. 运行低秩适配器:`bash scripts/low_rank_adapters.sh`
- 5. 运行Pfeiffer-Adapters:`bash scripts/pfeiffer_adapters.sh`
- 6. 运行BitFit:`bash scripts/bitfit.sh`
- 7. 运行Compacter++:`bash scripts/compacter++.sh`
- 8. 运行Compacter:`bash scripts/compacter.sh`
- 9. 运行PHM-Adapters:`bash scripts/phm_adapters.sh`
- 10. 运行Intrinsic-SAID:`bash scripts/intrinsic_said.sh`
- 11. 运行Prompt tuning-R:`bash scripts/prompt_tuning_random_init.sh`
- 12. 运行Prompt tuning-T:`bash scripts/prompt_tuning_tokens_init.sh`
相关导航
暂无评论...