ESM开源项目 – 蛋白质生成与表示模型

SegFormer是一个基于Transformer架构的深度学习模型，专为图像分割任务设计。它能够在保持高精度的同时显著降低计算负担，适用于从街景到医学图像等多种领域。其轻量化设计使其特别适合在资源有限的设备上运行，同时作为开源项目，支持社区贡献和定制化开发。

Chai-Lab 是一个用于生物分子结构预测的多模态基础模型，结合了自然语言处理、计算机视觉和几何深度学习技术。它利用 Transformer 架构和自监督学习，能够在原子级别预测蛋白质、小分子、DNA、RNA 等生物分子的三维结构。项目支持多种输入格式和高级功能，如 MSA 生成、模板使用和约束条件，适用于复杂的生物分子预测任务。

TabPFN 是一款针对表格数据的基础模型，基于 Transformer 架构，专门设计用于处理表格数据中的关系和模式。它通过局部自注意力机制捕获表格数据中的局部相关性，性能优于传统方法，且运行速度显著更快。TabPFN 已成功应用于医疗保健、金融和制造业等领域，用于预测疾病风险、检测欺诈和优化供应链等任务。

腾讯开源的HunyanVideo-I2V是基于HunyanVideo框架开发的图像到视频生成模型，专注于从单张静态图片生成高质量动态视频（如跳舞视频）。它采用Transformer架构和全注意力机制，结合3D VAE技术压缩视频数据，支持通过文本提示指导动作生成。作为目前开源领域最大的视频生成模型之一（130亿参数），其目标是为开发者提供可定制化的视频生成工具，弥合闭源与开源模型的差距。

Track-On是一个基于Transformer架构的在线点跟踪模型，专门为实时视频点跟踪而设计。它能够在逐帧处理视频时保持高效性，适用于直播视频等实时应用场景。通过紧凑的记忆模块，Track-On在保证高实时性的同时，优化了内存使用，提升了整体性能。

All Atom Diffusion Transformers 是一个统一的框架，用于生成分子和材料，为化学和材料科学领域带来革命性突破。它通过打破领域限制，实现了分子和材料的统一生成，并利用 Transformer 架构进行高效生成。该项目开源代码，促进了研究和创新。

SAM 2 是 Meta AI 团队开发的开源 AI 模型，专注于图像和视频中的对象分割任务。它是全球首个支持视频实时抠像的 AI 大模型，能够在零样本前提下实现精准的对象分割。Meta 还提供了基于网络的演示体验，并共享了用于构建 SAM 2 的数据集 SA-V，许可为 CC BY 4.0。SAM 2 的设计基于简单的 Transformer 架构，支持实时视频处理，并提供了一个模型在环的数据引擎，通过用户交互改进模型和数据。

该课程提供了基于Transformer架构的音频处理技术，包含丰富的音频数据集和预训练模型，支持多种音频任务如分类、生成和转录，并结合实用示例和代码演示，帮助学习者掌握音频处理的最新技术。

AirLLM 可以让你的 70B 大型语言模型在单个 4GB GPU 卡上运行推理，或者让 405B Llama3.1 在 8G 的 GPU 卡上运行。

SkyReels-V1是昆仑万维开源的首个以人为中心的视频生成模型，具备电影级画质，支持多种面部表情和自然动作组合。该模型使用好莱坞级影视数据进行训练，具有专业的构图和摄影效果，并采用自研的数据清洗和标注流程。它能够处理多人场景中的空间关系，支持文本生成视频(T2V)和图像生成视频(I2V)，并且支持多GPU推理和用户级GPU部署。

GearBind是一个利用几何图神经网络预测蛋白质结合亲和力变化的工具，特别适用于抗体亲和力成熟的研究。该项目结合了预训练和对比学习的技术，能够高效地分析蛋白质结合亲和力的变化，为生物信息学和蛋白质工程领域提供了强大的支持。

fairseq-image-captioning是一个基于Transformer架构的图像自动描述扩展，专为PyTorch/Fairseq框架设计。它支持高效的图像特征提取与文本生成，提供了预训练模型和训练脚本，同时支持用户使用自定义数据集进行训练。该项目可以轻松集成到现有的PyTorch/Fairseq项目中，用于生成图像描述、训练新模型以及进行模型的微调和优化。

该项目通过引入词汇捷径机制，旨在拓宽神经机器翻译中的表示瓶颈，从而提升翻译模型的性能。它基于Transformer架构，优化了模型的表示能力，支持多种语言的机器翻译任务，并提供了预训练模型和训练代码，便于复现和扩展。

收录了63个大语言模型(LLM)相关的面试问题及答案，针对2024年机器学习和数据科学面试提供系统化的准备资料。此项目涵盖了LLMs的基本原理、Transformer架构、注意力机制的详细讲解，以及预训练与微调的核心知识点，附带详细解答和代码示例，旨在帮助求职者全面掌握相关知识。

HunYuanVideo 是由腾讯开发的开源大型视频生成模型，专注于从文本描述生成高质量视频。该模型拥有13亿参数，是目前最大的开源视频生成模型之一。它采用双流到单流混合模型处理视频和文本标记，基于Transformer架构，具备全注意力机制，支持图像和视频的统一生成。HunYuanVideo 在文本对齐、运动质量和视觉质量方面表现优异，优于其他领先模型。