mamba-minimal开源项目 – Mamba的轻量化实现

ModernBert是由Hugging Face、NVIDIA和Johns Hopkins University联合开发的新型编码器模型，旨在取代原始BERT模型。它显著提升了效率，支持长达8192个token的上下文处理，并提供基础版（149百万参数）和大型版（395百万参数）两个版本。ModernBert在分类、检索和问答任务中表现出色，特别适合处理复杂任务。

One-GLM是基于GLM架构的项目，移植到了使用OneFlow后端进行训练，能够大幅提升性能和显存利用率。

激活信标可以将LLM的原始激活压缩成更紧凑的形式，从而在有限的上下文窗口中感知更长的上下文。它通过短滑动窗口处理长上下文，同时保留LLM在短上下文上的原始能力，显著提高了长上下文语言建模和理解任务的表现。

CoPE是一种新的位置编码方法，允许根据上下文来调整位置，以关注更高抽象级别的序列元素。它能够根据需要计算每个注意力机制头的距离，解决标准Transformer无法解决的计数和复制任务，并在语言建模和编码任务上拥有更好的困惑度（PPL）。

Forgetting Transformer (FoX) 是一种改进的 Transformer 模型，通过在 Softmax 注意力机制中加入遗忘门，增强了处理长文本和序列任务的能力。它的设计目标是提升长文本建模、长度外推和短文本任务的性能，同时保持长上下文处理能力，并解决标准 Transformer 缺乏显式数据依赖遗忘机制的问题。FoX 通过数据依赖的方式下调未归一化的注意力分数，命名为“遗忘注意力”（Forgetting Attention）。研究表明，FoX 在长上下文语言建模、长度外推和短上下文下游任务上优于标准 Transformer，而在长上下文下游任务上表现相当。此外，FoX 兼容 Flash Attention 算法，且无需位置嵌入，保留了 Transformer 相对于循环序列模型（如 Mamba-2、HGRN2 和 DeltaNet）在长上下文能力上的优势。

BiLLa是一个开源的中英双语LLaMA模型，通过扩充中文词表和利用任务型数据进行训练，显著提升了中文理解和推理能力。在评测中，BiLLa在中英语言建模和推理任务上表现优异，不仅优于其他模型，还在解题和代码得分方面超越了ChatGLM-6B。

分形树项目由Jan Vorisek开发，基于Processing编程语言，能够生成各种形式的分形树，并支持自定义颜色和形状。用户可以调节树的生长参数，探索数学与自然中的分形结构。

Melrina AI专注于Nifty 50股票，通过创新的投资方法，持续超越传统投资方式，提供超越许多共同基金的回报。

Phind AI Alternative 是一款提供经济实惠解决方案的AI搜索引擎，旨在为用户提供相关的搜索结果，帮助进行研究和信息获取。

本项目通过扩散模型解决多机器人在复杂环境中的路径规划问题，旨在提高机器人团队的协作效率。提供预训练模型和数据集，用户可以快速上手，并支持多种地图和场景的适应，满足不同需求。

Asterix Writer是一个写作工具，结合了美观的文本编辑器和先进的AI工具，帮助用户轻松编辑他们的写作。它提供将要点转化为段落、自动格式化和应用过滤器以改变写作语气等功能。

Pet Genius是一款基于人工智能的应用程序，旨在为宠物主人提供及时的健康咨询和个性化指导，帮助他们解决宠物健康问题。用户可以为每只宠物创建专属档案，获取关于急救、营养、行为以及紧急情况的建议，确保宠物获得最佳的护理。

One More Thing in AI是一个为商业领袖和创始人精心策划的AI学习平台，提供来自数百个来源的信息，让您在短时间内掌握AI的核心知识。注册用户超过850人，免费订阅，帮助您快速了解最新的AI趋势和应用。

ContGPT是一款利用AI技术的内容生成工具，旨在彻底改变文章、标题和图像的创作方式。该软件适用于多种内容创作需求，帮助用户高效生成高质量内容，简化创作过程，特别适合博客作者、数字营销人员和内容策略师。

jscanify是一个功能强大的JavaScript文档扫描库，支持纸张检测与高亮显示，能够轻松定位文档。它提供纸张扫描与畸变校正功能，确保输出的图像清晰。该库兼容多种环境，包括Web、NodeJS和React，适用于各种文档扫描需求。