DE-DETRs开源项目 – 数据高效的目标检测

RT-DETR（Real-time DEtection Transformer）是一种在速度和准确率方面均超越YOLO系列的先进物体检测模型，旨在提升计算机视觉任务的效率和效果。该模型采用高效的混合编码器和不确定性最小查询选择方法，支持灵活的速度调整和多尺度特征处理，在COCO数据集上表现出色。

All Atom Diffusion Transformers 是一个统一的框架，用于生成分子和材料，为化学和材料科学领域带来革命性突破。它通过打破领域限制，实现了分子和材料的统一生成，并利用 Transformer 架构进行高效生成。该项目开源代码，促进了研究和创新。

用JAX/Flax训练的SmolLM风格语言模型，能在有限的计算资源下高效预训练，快速达到较高性能。该项目专注于利用现代深度学习框架JAX和Flax，提供灵活的训练选项，并优化资源使用，使其适合在计算资源受限的环境中进行实验和开发。

SkyReels-V1是昆仑万维开源的首个以人为中心的视频生成模型，具备电影级画质，支持多种面部表情和自然动作组合。该模型使用好莱坞级影视数据进行训练，具有专业的构图和摄影效果，并采用自研的数据清洗和标注流程。它能够处理多人场景中的空间关系，支持文本生成视频(T2V)和图像生成视频(I2V)，并且支持多GPU推理和用户级GPU部署。

DualPipe是一种创新的双向流水线并行算法，专为解决大规模AI模型训练中的效率问题而设计。它通过创新的调度策略，完全重叠前向和后向计算-通信阶段，同时减少流水线气泡，从而在相同设备配置下实现更高的训练吞吐量。该算法适用于跨多设备训练超大规模模型的场景，支持PyTorch 2.0及以上版本，无缝融入现代深度学习框架。

PEFT 是 HuggingFace 开源的一个高效微调库，旨在通过仅微调模型的一小部分参数（通常不到模型参数量的1%），实现与完全微调相似的性能，同时显著降低计算和存储开销。它支持多种微调策略，如适配器（Adapters）、低秩适应（LoRA）等，并且兼容多种预训练模型架构，如 BERT、GPT、T5 等。PEFT 还提供了模块化设计，易于集成到现有的 HuggingFace 模型和训练流程中。

收录了63个大语言模型(LLM)相关的面试问题及答案，针对2024年机器学习和数据科学面试提供系统化的准备资料。此项目涵盖了LLMs的基本原理、Transformer架构、注意力机制的详细讲解，以及预训练与微调的核心知识点，附带详细解答和代码示例，旨在帮助求职者全面掌握相关知识。

SegFormer是一个基于Transformer架构的深度学习模型，专为图像分割任务设计。它能够在保持高精度的同时显著降低计算负担，适用于从街景到医学图像等多种领域。其轻量化设计使其特别适合在资源有限的设备上运行，同时作为开源项目，支持社区贡献和定制化开发。

VPTQ是一种针对大型语言模型的极低比特向量后训练量化方法，旨在通过量化技术提高模型的计算效率和存储效率，同时保持模型性能。该项目适用于各种大型语言模型的优化，能够显著减少模型的内存占用和计算资源需求。

该课程提供了基于Transformer架构的音频处理技术，包含丰富的音频数据集和预训练模型，支持多种音频任务如分类、生成和转录，并结合实用示例和代码演示，帮助学习者掌握音频处理的最新技术。

fairseq-image-captioning是一个基于Transformer架构的图像自动描述扩展，专为PyTorch/Fairseq框架设计。它支持高效的图像特征提取与文本生成，提供了预训练模型和训练脚本，同时支持用户使用自定义数据集进行训练。该项目可以轻松集成到现有的PyTorch/Fairseq项目中，用于生成图像描述、训练新模型以及进行模型的微调和优化。

OpenDelta是一个开源框架，旨在实现高效的参数调优（Delta Tuning），支持多种机器学习模型和任务，具有易于集成和扩展的特点，能够优化计算资源的使用。

AirLLM 可以让你的 70B 大型语言模型在单个 4GB GPU 卡上运行推理，或者让 405B Llama3.1 在 8G 的 GPU 卡上运行。

Low-Rank Adaptation of Large Language Models 是微软研究员引入的一项新技术，主要用于处理大模型微调的问题，能够降低微调过程中的计算开销和内存需求。通过冻结预训练模型的权重并在每个 Transformer 块中注入可训练层，LoRA 实现了在减少训练参数数量的同时，保持微调质量与全模型微调相当，并显著提高微调速度。

腾讯开源的HunyanVideo-I2V是基于HunyanVideo框架开发的图像到视频生成模型，专注于从单张静态图片生成高质量动态视频（如跳舞视频）。它采用Transformer架构和全注意力机制，结合3D VAE技术压缩视频数据，支持通过文本提示指导动作生成。作为目前开源领域最大的视频生成模型之一（130亿参数），其目标是为开发者提供可定制化的视频生成工具，弥合闭源与开源模型的差距。

Track-On是一个基于Transformer架构的在线点跟踪模型，专门为实时视频点跟踪而设计。它能够在逐帧处理视频时保持高效性，适用于直播视频等实时应用场景。通过紧凑的记忆模块，Track-On在保证高实时性的同时，优化了内存使用，提升了整体性能。