AdapterDrop是一种创新方法，专注于优化Transformer模型的推理效率。通过从模型的较低层动态移除适配器，它在多任务场景下显著加快了推理过程。例如，移除前五层的适配器后，处理八个任务的推理速度可提升39%。此外，AdapterDrop还通过剪枝技术保留最重要的适配器，确保任务性能不受影响。该方法还支持跨层参数共享，显著减少参数量和存储需求。
