AI交流(进群备注:MiniMind-V)

MiniMind-V是MiniMind纯语言模型的视觉能力拓展,包含VLM大模型的极简结构、数据集清洗、预训练(Pretrain)、监督微调(SFT)等全过程代码。它是开源VLM模型的最小实现,也是入门视觉语言模型的简明教程。
MiniMind-V的特点:
- 1. 从0开始,仅用1.3块钱成本 + 1小时即可训练出26M参数的超小多模态视觉语言模型
- 2. 包含VLM大模型的极简结构
- 3. 包含数据集清洗、预训练(Pretrain)、监督微调(SFT)等全过程代码
- 4. 开源VLM模型的最小实现
- 5. 入门视觉语言模型的简明教程
MiniMind-V的功能:
- 1. 用于训练超小多模态视觉语言模型
- 2. 用于学习和理解VLM大模型的极简结构
- 3. 用于数据集清洗、预训练和监督微调的全过程实践
- 4. 作为开源VLM模型的最小实现进行研究和开发
- 5. 作为入门视觉语言模型的学习教程
相关导航

Intel Extension for Transformers
Intel Extension for Transformers 是一个开源项目,旨在使客户端 CPU 上的大型语言模型(LLM)微调成为可能,特别是在没有 GPU 的情况下。它支持在 CPU 上进行 QLoRA 微调,适用于笔记本电脑环境,并通过优化的性能提升模型训练效率。该项目与 HuggingFace Transformers 兼容,支持 4 位推理,并利用 Intel 神经压缩器提供丰富的模型压缩技术,如量化、剪枝和蒸馏,显著提高了英特尔平台上的推理效率。此外,它还支持自动化的仅限权重的 INT4 量化流程,兼容多个流行的大语言模型,如 Llama2、Llama 和 GPT-NeoX。
暂无评论...