AI交流(进群备注:Namo-R1)

Namo-R1是一款仅需CPU即可实时运行的500M参数视觉语言模型,能够轻松超越Moondream2和SmolVLM。它不仅支持多语言OCR和图像描述等复杂任务,还完全开源,提供训练脚本和数据,便于用户进行二次开发和部署。
Namo-R1的特点:
- 1. CPU友好,无需GPU即可快速运行
- 2. 500M参数却能实现多语言OCR、图像描述等复杂任务
- 3. 完全开源,训练脚本和数据一应俱全
Namo-R1的功能:
- 1. 实时运行视觉语言模型
- 2. 多语言OCR任务
- 3. 图像描述生成
- 4. 训练和部署视觉语言模型
相关导航

Forgetting Transformer (FoX)开源 – 改进的Transformer,增强长文本处理
Forgetting Transformer (FoX) 是一种改进的 Transformer 模型,通过在 Softmax 注意力机制中加入遗忘门,增强了处理长文本和序列任务的能力。它的设计目标是提升长文本建模、长度外推和短文本任务的性能,同时保持长上下文处理能力,并解决标准 Transformer 缺乏显式数据依赖遗忘机制的问题。FoX 通过数据依赖的方式下调未归一化的注意力分数,命名为“遗忘注意力”(Forgetting Attention)。研究表明,FoX 在长上下文语言建模、长度外推和短上下文下游任务上优于标准 Transformer,而在长上下文下游任务上表现相当。此外,FoX 兼容 Flash Attention 算法,且无需位置嵌入,保留了 Transformer 相对于循环序列模型(如 Mamba-2、HGRN2 和 DeltaNet)在长上下文能力上的优势。
暂无评论...