LLaVA-LLaMA-3是基于Llama-3-8b大型语言模型(LLM)的LLaVA-v1.5复现项目,旨在提供预训练模型及相关的训练和演示脚本,方便研究人员和开发者进行自然语言处理任务的探索与应用。
这是一个由Arcee AI开发的领域适应语言建模工具包,旨在通过适应性训练提高模型在特定领域的表现。它支持多种语言模型的微调,能够兼容多种数据格式,且易于集成和扩展。
一种基于Llama-2模型使用自己数据微调的方法,A100显卡就可以对70B模型微调。
一个用纯C语言实现的项目,旨在训练GPT-2模型,代码量仅为1000行,具有高效的内存管理和性能优化,方便扩展和修改。
Wale IDE是一个提供直观界面的平台,支持用户导入数据或创建新数据集,调节参数以优化提示,并查看提示执行历史。
DeltaPapers集中于预训练模型参数高效方法(Delta Tuning)的重要文献,涵盖最新研究进展,提供每篇论文的摘要和链接,便于用户查找相关领域的关键文献。