NdLinear是一种创新的N维线性变换层,专门设计用于处理多维数据(如图像、体积医学扫描和多变量时间序列),而无需展平数据,从而保留其结构信息。它沿输入张量的每个维度独立操作,捕获标准线性层忽略的轴特定依赖关系。研究表明,NdLinear在参数效率方面表现出色,使用更少的参数即可实现与标准线性层相当或更优的性能。它可以作为神经网络架构中的替换组件,适用于各种网络类型,如卷积、循环和基于变换器的网络。
Tied-LoRA是一种简单的范式,它利用和来增加LoRA方法的参数效率。该方法在多个任务中表现出相当的性能,并且仅使用标准LoRA方法的13%的参数,有助于减少模型的复杂性和提升训练效率。
小型模型的妙用:在大型语言模型时代,探索小型模型的独特角色和应用,包括数据筛选、推理增强和知识蒸馏等
2000 Hugging Face Prompts 是一份全面的资源,旨在帮助爱好者学习和实验 Hugging Face,使他们熟悉其在不同背景下的功能和应用。
CAME(Confidence-guided Adaptive Memory Optimization)是一个旨在通过信心引导机制来优化模型内存使用的项目,提升大语言模型的性能。
Boogie是一个平台,允许用户使用大型语言模型(如GPT-4)测试、部署和管理自然语言处理应用程序,帮助开发者高效构建强大的NLP应用。