mmgp（Memory Management for the GPU Poor）是一个专为消费级Nvidia GPU设计的内存管理工具，旨在帮助用户在低端硬件上运行最新的开源前沿模型。通过优化内存管理，它能够在仅需6GB显存和24GB内存的条件下运行复杂的模型，并提供多种配置文件以适应从低端到高端的硬件配置。此外，mmgp支持智能模型加载/卸载和异步数据传输，以提升运行效率。
NVIDIA官方推出的库，用于压缩transformer模型中的KV缓存，最大可节省约35%的内存空间。kvpress通过多种缓存修剪方法，使大型语言模型的缓存压缩变得简单，降低内存使用并提高解码速度。
NyunZero是一个连接用户基础设施的工具，旨在快速适配和压缩视觉模型以及大语言模型（LLMs）。用户可以在几次点击中加速对象检测模型，或获得与硬件兼容的快速量化LLMs，适应用户的数据需求。
这是一个新的简单替代方案，基于计算输入激活的权重大小和范数之间的逐元素乘积。
一种新的优化器，结合了Prodigy和ScheduleFree的优点，旨在减少机器学习训练中的超参数设置，提高模型训练的效率和稳定性。通过简化参数调整过程，帮助用户更专注于模型开发和优化。
旨在促进能在IMO竞赛中赢得金牌的开放共享AI模型诞生的比赛，设立于2023年11月。
