NVIDIA官方推出的库,用于压缩transformer模型中的KV缓存,最大可节省约35%的内存空间。kvpress通过多种缓存修剪方法,使大型语言模型的缓存压缩变得简单,降低内存使用并提高解码速度。
NyunZero是一个连接用户基础设施的工具,旨在快速适配和压缩视觉模型以及大语言模型(LLMs)。用户可以在几次点击中加速对象检测模型,或获得与硬件兼容的快速量化LLMs,适应用户的数据需求。
这是一个新的简单替代方案,基于计算输入激活的权重大小和范数之间的逐元素乘积。
一种新的优化器,结合了Prodigy和ScheduleFree的优点,旨在减少机器学习训练中的超参数设置,提高模型训练的效率和稳定性。通过简化参数调整过程,帮助用户更专注于模型开发和优化。
旨在促进能在IMO竞赛中赢得金牌的开放共享AI模型诞生的比赛,设立于2023年11月。