上下文位置编码（CoPE）-基于上下文的灵活位置编码

Self-Translate是一种技术，通过利用多语言语言模型的少样本翻译能力，能够有效地提高多语言语言模型的性能，克服对外部翻译系统的依赖，尤其在非英语输入场景下表现优越。

将SOTA多模态能力融入语言模型，改进基础模型、修改训练过程、自定义数据集以及对LLaVA实现的重大架构更改。

LLaMA-Adapter V2 是一个高效的模型适配器，能够在短时间内完成训练并支持多模态功能，包括图像解释和问答。

SciBench旨在评估语言模型在复杂科学问题解决中的推理能力。通过开放和封闭数据集的深入基准测试，研究发现当前的语言模型在整体性能方面表现不佳，仅得到35.80%的分数。

Data Gemma是一个开源模型库，旨在通过谷歌数据共享平台的海量真实世界统计数据，帮助解决语言模型的幻觉问题，实现语言模型的现实世界数据锚定。

以爱丽丝漫游“可微分”仙境为比喻，向读者介绍神经网络领域的入门书，涵盖自动微分优化函数、序列、图、文本和音频处理的设计技术。

InfiniteHiP 是一种高效的后训练注意力机制，旨在解决大型语言模型（LLMs）在处理长上下文时的计算和内存挑战。它通过动态消除无关上下文token和优化内存管理，显著提升长文本处理的速率和效率。无需额外训练即可扩展模型的上下文长度，适用于各种长文本任务，如语言理解、推理和文本生成。

一个Mamba的最小化实现。Mamba是CMU和普林斯顿的研究成功。这种SSM架构在语言建模上与Transformers不相上下，而且还能线性扩展，同时具有5倍的推理吞吐量。

DeepSeek-R1 是由 DeepSeek AI 开发的大型语言模型，集成强化学习和链式思维能力，旨在通过 AWS 提供高效的 AI 解决方案。该模型在推理、数学和编码任务中表现出色，且成本比同类模型低 90-95%。它可以通过 Amazon Bedrock 和 SageMaker 等服务部署，适合构建生成式 AI 应用。

MIDI-3D是一个开源项目，专注于将单张图像转化为360度3D场景，利用先进的AI技术实现高保真度的3D场景生成。该项目通过智能分割输入图像，识别场景中的独立元素，并基于多实例扩散模型和注意力机制生成3D场景，具有强大的全局感知能力和细节表现力。在40秒内完成3D场景生成，且对不同风格的图像具有良好的泛化能力。此外，它支持对场景中的多个物体进行3D建模，避免了逐个生成再组合的复杂过程。

激活信标可以将LLM的原始激活压缩成更紧凑的形式，从而在有限的上下文窗口中感知更长的上下文。它通过短滑动窗口处理长上下文，同时保留LLM在短上下文上的原始能力，显著提高了长上下文语言建模和理解任务的表现。

Forgetting Transformer (FoX) 是一种改进的 Transformer 模型，通过在 Softmax 注意力机制中加入遗忘门，增强了处理长文本和序列任务的能力。它的设计目标是提升长文本建模、长度外推和短文本任务的性能，同时保持长上下文处理能力，并解决标准 Transformer 缺乏显式数据依赖遗忘机制的问题。FoX 通过数据依赖的方式下调未归一化的注意力分数，命名为“遗忘注意力”（Forgetting Attention）。研究表明，FoX 在长上下文语言建模、长度外推和短上下文下游任务上优于标准 Transformer，而在长上下文下游任务上表现相当。此外，FoX 兼容 Flash Attention 算法，且无需位置嵌入，保留了 Transformer 相对于循环序列模型（如 Mamba-2、HGRN2 和 DeltaNet）在长上下文能力上的优势。

分享一份精选机器学习系统的入门资料集合，收集了一系列有关注意力机制、性能优化、量化、长上下文长度和稀疏性等方面的论文、视频和代码库。

ModernBert是由Hugging Face、NVIDIA和Johns Hopkins University联合开发的新型编码器模型，旨在取代原始BERT模型。它显著提升了效率，支持长达8192个token的上下文处理，并提供基础版（149百万参数）和大型版（395百万参数）两个版本。ModernBert在分类、检索和问答任务中表现出色，特别适合处理复杂任务。

QwQ-32B 是阿里云 Qwen 团队开发的开源推理模型，基于 Qwen 系列，专注于提升 AI 的推理能力。该模型在数学推理和编码任务中表现突出，性能可能与 DeepSeek R1 相当，甚至在某些基准测试中超过 OpenAI 的 o1-mini。模型通过强化学习技术，能够自我检查答案并形成关键“思考习惯”，支持长上下文处理（最多 131,072 tokens）。QwQ-32B 对本地算力要求较低，仅需 4 张 NVIDIA 4090 GPU 即可运行，适合普通企业和开发者使用。

YOLOv12是一个基于注意力机制的新框架，旨在突破传统CNN架构的局限，提高性能和计算速度。

One-GLM是基于GLM架构的项目，移植到了使用OneFlow后端进行训练，能够大幅提升性能和显存利用率。

该项目实现了带有倒置点积注意力路由的胶囊网络，这是一种新颖的方法，利用倒置点积注意力来改进胶囊之间的路由。该方法不仅提高了胶囊网络的可解释性和性能，还支持高效的计算和可扩展性，并提供了一个灵活的框架，用于实验不同的胶囊架构。

一份整理了机器学习入门学习资源的列表，涵盖注意力机制、性能优化、量化、长上下文和分布式计算等方面的论文、视频及代码库。

BiLLa是一个开源的中英双语LLaMA模型，通过扩充中文词表和利用任务型数据进行训练，显著提升了中文理解和推理能力。在评测中，BiLLa在中英语言建模和推理任务上表现优异，不仅优于其他模型，还在解题和代码得分方面超越了ChatGLM-6B。