AI交流(进群备注:adapter-transformers)

adapter-transformers是一个开源工具库,支持在Transformer模型中添加和训练适配器(Adapter)。适配器是一种轻量级的模块,可以在不修改原始模型参数的情况下,对模型进行微调。该工具库支持多种任务,包括文本分类、命名实体识别等,并且可以与Hugging Face的Transformers库无缝集成。它提供了统一的接口,支持高效微调和模块化迁移学习,支持多种适配器方法,如Bottleneck Adapters、AdapterFusion、LoRA等,并支持适配器合并和组合,为NLP任务的参数高效迁移学习提供了强大的工具。
adapter-transformers的特点:
- 1. 支持多种适配器方法,如Bottleneck Adapters、AdapterFusion、LoRA等
- 2. 与Hugging Face的Transformers库无缝集成
- 3. 支持适配器合并和组合,灵活配置适配器
- 4. 支持全精度或量化训练(如Q-LoRA、Q-Bottleneck Adapters)
- 5. 提供统一的接口,简化高效微调和模块化迁移学习
adapter-transformers的功能:
- 1. 加载预训练适配器并进行推理
- 2. 在现有模型设置中添加和训练适配器
- 3. 灵活配置适配器,支持多种适配器组合
- 4. 在单个模型中轻松组合多个适配器
- 5. 通过任务算术合并适配器
相关导航

Intel Extension for Transformers
Intel Extension for Transformers 是一个开源项目,旨在使客户端 CPU 上的大型语言模型(LLM)微调成为可能,特别是在没有 GPU 的情况下。它支持在 CPU 上进行 QLoRA 微调,适用于笔记本电脑环境,并通过优化的性能提升模型训练效率。该项目与 HuggingFace Transformers 兼容,支持 4 位推理,并利用 Intel 神经压缩器提供丰富的模型压缩技术,如量化、剪枝和蒸馏,显著提高了英特尔平台上的推理效率。此外,它还支持自动化的仅限权重的 INT4 量化流程,兼容多个流行的大语言模型,如 Llama2、Llama 和 GPT-NeoX。
暂无评论...