循环深度语言模型

Huginn 是一种新型语言模型架构，基于循环深度设计，允许在测试时扩展计算量，而无需增加模型参数或上下文窗口长度。该模型通过在连续潜在空间中迭代循环进行隐式推理，从而提升语言模型在推理任务上的表现。Huginn 的训练数据达 8000 亿个标记，涵盖代码、数学、科学文本和通用文本等多种类型，并提供 35 亿参数的版本，适合在普通硬件上部署。