小型模型的妙用:在大型语言模型时代,探索小型模型的独特角色和应用,包括数据筛选、推理增强和知识蒸馏等
Tied-LoRA是一种简单的范式,它利用和来增加LoRA方法的参数效率。该方法在多个任务中表现出相当的性能,并且仅使用标准LoRA方法的13%的参数,有助于减少模型的复杂性和提升训练效率。
VPTQ是一种针对大型语言模型的极低比特向量后训练量化方法,旨在通过量化技术提高模型的计算效率和存储效率,同时保持模型性能。该项目适用于各种大型语言模型的优化,能够显著减少模型的内存占用和计算资源需求。
一个强大的框架,通过集成sparse kernel、量化、剪枝和注意力键/值的缓存,进一步优化了在CPU上进行的能力。
CompressGPT 是一个提示压缩器,可以为大多数基于 LangChain 工具的提示减少约70% 的Token,只需更改一行代码,帮助用户在文本生成和处理时大幅降低成本和提高效率。
EMMA是一个增强型多模态推理基准测试,用于评估大型多模态语言模型在数学、物理、化学和编程等领域的推理能力,帮助研究者发现模型在复杂多模态任务中的局限性。
Search-o1是一个增强大型推理模型的搜索工具,类似于为模型装上“搜索引擎”,使其在思考过程中能够随时查找知识,从而减少错误和不确定性,提升完成复杂任务的能力。
Plat.AI 是一款预测分析软件,支持使用机器学习和深度学习算法构建和部署自定义模型,实现实时预测。它提供了自动化的模型构建平台,配备数据预处理工具、自定义建模解决方案和无代码建模能力。