ModernBERT开源项目 – 现代化的BERT模型

ModernBERT 是一个开源项目，旨在通过架构变更和扩展将 BERT 带入现代化。它引入了 FlexBERT，一种模块化编码器构建方法，并依赖于 YAML 配置文件来构建模型。ModernBERT 扩展了 MosaicBERT 的功能，包括 Flash Attention 2，并在各种 NLP 任务中显示出比传统 BERT 模型更高的准确性和效率。该项目提供了用于预训练和评估的代码，并支持与 PyLate 和 Sentence Transformers 集成的检索模型训练和评估。

ModernBERT的特点:

1. 模块化编码器构建方法 FlexBERT
2. 依赖于 YAML 配置文件构建模型
3. 支持 Flash Attention 2
4. 在多种 NLP 任务中表现出更高的准确性和效率
5. 提供预训练和评估代码
6. 支持与 PyLate 和 Sentence Transformers 集成的检索模型

ModernBERT的功能:

1. 使用 YAML 配置文件进行模型训练
2. 通过 composer 框架进行模型训练
3. 使用 StreamingTextDataset 或 NoStreamingDataset 进行数据处理
4. 进行 GLUE 任务评估
5. 训练和评估基于 ModernBERT 的 ColBERT 模型
6. 训练和评估基于 ModernBERT 的密集检索模型

相关导航

Taxy AI开源项目 – 智能浏览器自动化工具

Taxy AI 是一个开源的浏览器自动化库，利用开放域语言模型 GPT-4 来控制浏览器并执行重复任务，旨在提高工作效率和简化日常操作。

MiniMind开源项目 – 低成本快速训练超小语言模型

MiniMind 是一个开源 AI 项目，旨在从零开始，以极低的成本和极短的时间训练出超小语言模型。项目涵盖了从数据集清洗到模型训练的全过程，并提供了多种先进的算法和模型结构。通过仅需 3 块钱成本和 2 小时，即可训练出 25.8M 的超小语言模型，最小版本体积是 GPT-3 的 1/7000，适合普通个人 GPU 快速训练。项目还拓展了视觉多模态的 VLM: MiniMind-V，所有核心算法代码均从 0 使用 PyTorch 原生重构，不依赖第三方库提供的抽象接口。这不仅是大语言模型的全阶段开源复现，也是一个入门 LLM 的教程。

lmms-finetune开源项目 – 多模态大模型微调工具

lmms-finetune 是一个多模态大模型微调工具，提供了一个统一的代码库，简化了微调流程，支持微调多种LLM。它支持完整模型微调和LoRA微调两种方式，并且具有良好的扩展性，能够满足不同场景下的需求。

llm_processes开源项目 – 自然语言驱动的数值预测工具

llm_processes 是一个让自然语言驱动的数值预测变得简单高效的项目。它支持多种主流LLM，提供丰富的实验模板，并且易于扩展，只需修改`hf_api.py`即可添加新的LLM。项目涵盖1D合成数据、黑箱优化、多任务回归等多种应用场景，帮助用户通过自然语言轻松实现复杂的数值预测任务。

Qwen1.5开源项目 – 强大的代码生成模型

Qwen1.5是由阿里巴巴达摩院研发的开源代码生成模型，基于Qwen1.5系列语言模型，在大量代码数据集上进行预训练，拥有强大的代码生成能力。它支持92种编程语言，最长支持64K的上下文输入，能够实现优秀的代码生成、长序列建模、代码修改和SQL能力。

dhSegment开源项目 – 深度学习文档分割工具

dhSegment是一个通用的深度学习框架，专门用于文档分割，尤其适用于历史文档处理。它能够从不同类型的文档中提取内容（如文本区域、图像等），并支持复杂的文档布局分析。该项目是开源的，可在GitHub上获取，广泛应用于数字保存、文档内容提取和OCR预处理等领域。

Brave Browser开源项目 – 隐私优先的浏览器

Brave 浏览器是一个以隐私保护为核心的浏览器，基于 Chromium 构建，支持 macOS、Windows 和 Linux 平台。它集成了多种隐私保护功能，如广告拦截、跟踪器拦截、HTTPS 自动升级等。Brave 还引入了基于区块链的 BAT（Basic Attention Token）奖励系统，用户可以通过观看隐私保护的广告获得 BAT 奖励。该项目提供了构建工具和代码同步功能，开发者可以基于这些工具定制和构建自己的 Brave 浏览器版本。

Awesome Graph Universe开源项目 – 一站式图技术资源库

Awesome Graph Universe 是一个全面的图技术资源库，专注于图数据库、知识图谱和图分析领域。它为用户提供了丰富的工具和库，涵盖了60多种图数据库和工具，以及图分析和可视化的资源。该项目是开源的，持续更新，旨在帮助开发者、研究人员和技术爱好者更高效地探索和应用图技术。

World-Simulator开源项目 – 多模态生成模型资源库

World-Simulator是一个一站式多模态生成模型资源库，旨在帮助AI研究者探索2D、视频、3D和4D生成的前沿进展。它系统性整合了不同维度的生成技术，并提供丰富的资源，包括论文、代码和数据集，助力研究者快速上手。项目持续更新，紧跟学术界最新动态。

Bootstrap开源项目 – 快速构建响应式网页的前端框架

Bootstrap 是一款流行的开源前端框架，帮助开发者快速构建美观且响应式的网页和Web应用程序。它基于 HTML、CSS 和 JavaScript 构建，提供响应式网格系统和丰富的组件，适合构建各种类型的网页。Bootstrap 5 是其最新版本，提供了更多现代化的功能和改进。

mcp-server-chatsum开源项目 – 微信消息总结与管理工具

mcp-server-chatsum 是一款基于 MCP 协议的微信群聊消息总结工具，通过本地运行 wechaty 实时收集微信消息，并使用 Claude 桌面版作为交互入口，帮助用户高效查询和总结群聊内容，确保数据安全与隐私。

vue-pure-admin开源项目 – 基于Vue3的开源中后台管理系统

vue-pure-admin 是一款开源免费且开箱即用的中后台管理系统模版，采用最新的 Vue3、Vite、Element-Plus、TypeScript、Pinia、Tailwindcss 等技术开发。它完全遵循 ECMAScript 模块（ESM）规范，提供精简版本，适合实际项目开发，支持国际化，打包后体积小，性能优异。项目还提供了丰富的文档、视频教程和多种版本（如 Tauri、Electron 等），帮助开发者快速上手和定制开发。

DeepPATH开源项目 – 肺癌切片图像深度学习分类

DeepPATH 是一个专门用于肺癌切片图像分类的深度学习项目。它利用先进的深度学习技术，能够高精度地识别和分类不同类型的肺癌。该项目是开源的，可在GitHub上公开使用，适用于医疗诊断、医学影像研究与开发、教育以及医疗影像软件的自动化分析集成。

Kolmogorov-Arnold Q-Network (KAQN)开源项目 – 将KAN应用于强化学习的初步实验

Kolmogorov-Arnold Q-Network (KAQN) 是一个将Kolmogorov-Arnold Network (KAN) 应用于强化学习领域的项目，旨在通过结合Q-Network和KAN的原理，探索其在强化学习任务中的有效性。该项目目前处于初步实验阶段，目标是研究和开发新的强化学习算法。

从零到精通深度学习 PyTorch开源项目 – 一份系统的 PyTorch 在线教程

分享 GitHub 上一份开源免费的在线教程，涵盖了 PyTorch 基础知识、神经网络、计算机视觉、自定义数据集处理、模块化代码编写以及模型部署等内容。

暂无评论

暂无评论...