Neural-Ligand是一种新颖的模型融合方法,旨在确保模型融合与集成之间的一致性性能。它提供了理论支持,并在各种数据集组合中展示了强大的性能。
本项目探讨了一种名为‘模型融合(blending)’的方法,通过整合多个较小的对话人工智能模型,以实现与单一大模型相媲美或更优的性能,避免计算需求激增,适用于中等规模模型的协同融合。
一个基于HuggingFace开发的大语言模型训练、测试工具。支持各模型的webui、终端预测,低参数量及全参数模型训练和融合、量化。
在本地计算机上微调 LLAMA-v2(或任何其他 LLM)的最简单方法,提供用户友好的界面和高效的训练过程,支持多种语言模型,方便用户上传数据并进行微调。
一个完整的管道,用于在消费级硬件上使用LoRA和RLHF微调Vicuna LLM。该项目实现了基于Vicuna架构的RLHF(强化学习与人类反馈),基本上是ChatGPT的变种,但使用Vicuna。
专注于训练和微调中等大小 GPT 模型的最简仓库,是 karpathy/nanoGPT 的一个分支,并提供了最大更新参数化(muP)的最小实现,旨在简化用户的使用体验和模型的优化过程。
这个开源项目是一个生成式AI模型优化赛的参赛方案,获得了天池NVIDIA TensorRT Hackathon 2023初赛的第三名。该项目的功能涉及到开源、机器学习等领域。
FewCLUE是一个专为中文自然语言处理设计的小样本学习测评基准,提供多种评测任务,支持各种模型和算法的评估,易于扩展和定制,旨在推动中文NLP研究的发展。
一个汇集了可通过API访问的免费大型语言模型(LLM)推理资源的列表,方便开发者获取和使用各种大型语言模型的API。
基于互信息的广义类别发现,旨在通过最大化互信息来解决广义范畴发现问题。该项目探索参数损失函数族,以评估特征和标签之间的互信息,并自动寻找最大化预测性能的损失函数。引入肘部最大质心移位(Emacs)技术,可以估计未标记集合中的类数,并在多个GCD场景下展现出通用性和竞争力,尤其在处理细粒度分类问题时表现出显著优势。
这是一个完整的管道,用于在消费硬件上使用LoRA和RLHF微调Alpaca LLM。基于Alpaca架构实现人类反馈的强化学习(RLHF),基本上是ChatGPT的一个变体,但使用的是Alpaca。
ACT-Bench是一个用于评估自动驾驶世界模型行动可控性的框架,帮助研究者量化模型在特定轨迹下生成驾驶场景的能力。