OpenBioMed开源项目 – 生物医药AI工具平台

OpenBioMed是一个Python深度学习工具包，专注于AI驱动的生物医药研究。它提供了灵活的多模态数据处理API，涵盖分子、蛋白质、单细胞、自然语言和知识图谱等多种数据类型。OpenBioMed集成了20多种工具，支持从传统AI药物发现任务到新兴的多模态挑战的广泛应用。此外，它还提供了易于使用的接口，用于构建工作流和开发基于大语言模型（LLM）的智能代理，以解决复杂的生物医学研究任务。

OpenBioMed的特点:

1. 统一的数据处理管道，支持多种生物医学数据模态
2. 开箱即用的推理功能，提供预训练模型和推理演示
3. 易于构建工作流和LLM代理，支持复杂科研任务的自动化解决方案
4. 支持多种生物医学任务，如分子属性预测、蛋白质折叠、分子-蛋白质对接等
5. 提供20+深度学习模型，包括PharmolixFM、BioMedGPT-R1等独家模型

OpenBioMed的功能:

1. 使用BioMedGPT-R1进行跨模态问答与推理
2. 构建自动化工作流，解决复杂的药物设计任务
3. 使用预训练模型进行分子属性预测和蛋白质结构预测
4. 通过LLM代理模拟科学实验，获取科学洞察
5. 使用可视化工具展示分子、蛋白质和复合物的结构

相关导航

BioNeMo Framework开源项目 – 加速药物发现的AI模型框架

这是用于大规模药物发现的AI模型构建和适配框架，通过提供特定领域的优化模型和工具，加速构建和适配生物分子AI模型的过程，帮助研究人员更高效地进行药物研发。

LLM Agent-基于LLM的全面代理解决方案

这可能是基于 LLM 的代理的最全面的概述。从如何构建这些代理到如何永久利用它们。

llama_index开源项目 – 基于Gemini Pro Vision的半结构化检索工具

llama_index是一个高效的半结构化检索工具，专注于多模态数据处理，能够与Gemini Pro Vision无缝集成，提供易于使用的API，适合开发者和研究人员在各种应用场景下进行数据检索和分析。

LLocalSearch开源项目 – 完全本地的搜索聚合器

一个使用 LLM 代理的完全本地运行的搜索聚合器，旨在提供高效的搜索体验，同时保证用户数据的隐私和安全。

GR00T-N1-2B模型 – 专为类人机器人设计的开源通用大型模型

GR00T-N1-2B 是 NVIDIA 开发的一个开源通用大型模型，专为类人机器人设计，能够处理语言、图像和视频等多模态数据。该模型采用‘快慢思考’架构，结合扩散变换器模块和视觉-语言模块，生成机器人任务的动作指令。其训练数据采用‘数据金字塔’结构，包括网络数据、人类视频数据、合成数据和真实机器人硬件数据，以确保实际应用的准确性和适应性。

PocketFlow开源项目 – 蛋白质口袋内药物分子生成

PocketFlow 是一种结合化学知识结构的自回归流模型，专门用于在蛋白质口袋内生成类似药物分子的分子生成模型。该模型具有创新的生物活性分子生成能力，能够帮助研究人员更高效地发现和开发新药物，并研究蛋白质与分子之间的相互作用。

Stretch AI开源项目 – 智能行为开发框架

面向Stretch 3移动机器人的智能行为开发框架，集成了抓取、操控、导航、LLM代理、语音交互等多项功能。

The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4-探讨GPT-4对科学发现的影响

一项研究探讨大型语言模型（LLM）在科学发现中的表现，特别是GPT-4在多个科学领域的应用。该研究分析了GPT-4在药物发现、生物学和计算化学等领域的能力，评估其在复杂问题解决和知识整合任务中的有效性，同时进行专家驱动的案例评估和基准测试，旨在加速科学进步和优化资源配置。

SMI–TED开源 – IBM化学材料科学大型模型

SMI–TED是IBM开发的基于SMILES字符串的大型变压器编码器-解码器模型，专注于化学和材料科学研究。它预训练于PubChem的9100万SMILES样本（相当于40亿分子标记），支持分子属性预测、分子生成等任务，在量子属性预测等基准测试中表现优异。模型提供289M和8X289M两种参数规模，支持SMILES、SELFIES、3D分子图等多种表示形式，适用于学术研究和材料创新。

Mini-LLaVA开源项目 – 轻量级多模态大语言模型

Mini-LLaVA是一款轻量级的多模态大语言模型，能够处理图像、文本和视频输入，实现高效且灵活的多模态数据处理。其设计旨在简化多模态应用的开发，提供了简约的实现和灵活的接口，方便用户进行快速开发和实验。

LabelU开源项目 – 多功能数据标注平台

LabelU 是一个全面的数据标注平台，专为处理多模态数据设计。它提供了一系列先进的标注工具和高效的工作流程，使用户能够轻松应对图像、视频和音频的标注任务。LabelU 旨在满足复杂数据分析和模型训练的需求，支持目标检测、分类、分割、关键点、折线、OCR等多种算法场景。此外，它还支持导入预标注的JSONL文件进行二次修改，并允许使用大模型进行自动标注后进行人工批量审核和修改。

OpenEMMA开源项目 – 开源自动驾驶多模态模型

OpenEMMA 是一个基于 LLaVA 的多模态大语言模型的开源端到端自动驾驶框架。它能够整合文本和摄像头等多模态输入，精确预测未来行驶路径，并提供决策理由，支持自动驾驶系统的开发、测试和研究。

MolE开源项目 – 化学基础模型

MolE是一个面向化学的基础模型，结合几何深度学习和Transformer架构，用于学习分子的有意义表示。该模型通过两步预训练过程：首先使用约8.42亿分子的图表示进行自监督学习，然后进行大规模多任务训练来整合生物信息。MolE可用于分子性质预测、分子嵌入计算和相似性搜索等任务，广泛应用于药物发现和化学信息学研究。