UltraPixel官网 – 高效生成超高分辨率图像

UltraPixel 是一款革命性的图像生成模型，能够直接生成从 1K 到 6K 分辨率的高保真图像。它利用级联扩散模型，在单一模型内处理多种分辨率，同时保持计算效率。模型通过后期去噪阶段利用低分辨率图像的语义丰富表示，指导高分辨率图像的生成，显著降低复杂性。此外，它引入了隐式神经表示进行连续上采样，并采用适应不同分辨率的尺度感知归一化层。这些技术确保图像在低到高分辨率转换过程中保持高细节和真实感，训练效率高，仅需 100 万张高质量、多尺寸图像即可实现，实验显示其性能达到行业领先水平。

UltraPixel的特点:

1. 支持多种分辨率（1K 到 6K），在单一模型内高效生成高分辨率图像。
2. 利用低分辨率图像的语义信息指导高分辨率生成，减少复杂性。
3. 引入隐式神经表示进行连续上采样，增强跨分辨率语义利用。
4. 采用尺度感知归一化层，适应不同分辨率的数值差异。
5. 参数高效，共享大部分参数，高分辨率输出仅增加少于 3% 的参数。
6. 训练效率高，数据需求低，推理速度快，生成 2160×3840 图像仅 31 秒。
7. 支持 ControlNet 和个性化技术，最高支持 3K 分辨率的边缘控制结果，使用 LoRA 进行个性化训练。

UltraPixel的功能:

1. 文本引导图像生成：基于详细提示生成图像，支持高品质修饰词如“高品质”、“丰富细节”、“8K”、“照片般真实”等。
2. 个性化图像生成：支持使用特定标识符和 LoRA 模型生成个性化图像，例如猫的个性化模型。
3. ControlNet 图像生成：支持边缘控制的图像生成，最高支持 4K 分辨率。
4. 安装：通过 pip install -r requirements.txt 安装依赖，下载预训练模型和 UltraPixel 参数。
5. 推理：运行 Gradio 接口进行文本引导生成，或使用脚本进行个性化/ControlNet 生成。
6. 训练：准备数据集，使用提供的脚本进行文本到图像或个性化训练。

相关导航

SeaArt AI官网 – 免费AI艺术生成平台

SeaArt AI 是一个综合性的 AI 艺术生成平台，专注于为 Stable Diffusion 提供免费 LoRA 模型训练。它支持 LoRA 训练、ControlNet 和多种模型，用户每天可免费生成 60 张图片，特别适合创建多样风格的图像，如动漫、现实主义等。用户可以通过手机或邮箱注册，创建数据集并上传图片进行训练。训练完成后，用户可以使用自己的 LoRA 模型生成图像，并通过调整风格权重和基础模型来实现理想效果。平台还提供文本生成图像、AI 角色创建、图像增强等额外功能，商业使用享有完整版权。

Pose Depot开源项目 – 高质量姿势图像集合

Pose Depot是一个专为ControlNet设计的高质量姿势图像集合，提供多角度的深度图、Canny边缘图、法线图和OpenPose骨架图。该项目旨在为Stable Diffusion等文生图模型提供更精确的姿势控制，并包含一个网页浏览界面，方便用户筛选和预览所需姿势图像。

TCAN开源项目 – 新型人体图像动画框架

TCAN是一种基于扩散模型的新型人体图像动画框架，能够保持时间一致性并良好地推广到未知领域。它使用预先训练的ControlNet，增强了对姿势检测器异常值的稳健性，适用于多种姿势的视频合成任务。

Inf-DiT开源项目 – 基于扩散模型的图像上采样方法

Inf-DiT 是清华大学与智谱AI联合推出的基于扩散模型的图像上采样方法，能够生成超高分辨率图像。该模型引入了单向块注意力机制(UniBA)，将生成过程中的空间复杂度从 O(N^2)降低到 O(N)，有效解决了传统扩散模型在生成大尺寸图像时内存消耗过高的问题。Inf-DiT 采用扩散变换器(DiT)结构，能够处理各种形状和分辨率的图像上采样任务，并通过全局图像嵌入和邻近低分辨率块的交叉注意力机制等技术，增强图像的局部和全局一致性。实验结果表明，Inf-DiT 在超高分辨率图像生成和超分辨率任务中均达到了 SOTA 性能。

Consistency Model with Stable Diffusion XL (SDXL) – 生成一致主题图片的模型

一款基于Stable Diffusion XL (SDXL)的模型，能够生成固定主题的图片系列，无需额外训练即可实现。该模型通过ControlNet对人物进行精确控制，并支持个性化训练以改变图像内容，适合用于创作生动的故事性图片和视觉叙事。

UniPortrait开源项目 – 人像图像个性化统一框架

UniPortrait是由阿里巴巴集团研究团队开发的一个创新性人像图像个性化框架。该框架能够统一处理单人和多人图像的个性化生成，确保在复杂场景中的身份一致性，并支持高保真度的身份保持和广泛的面部可编辑性。它无需预定义布局，支持自由文本描述，适用于多种应用场景。

ControlMeme官网 – 创新的 meme 创建与分享应用

ControlMeme 是一款创新的应用程序，旨在通过高级扩散控制来创建和分享 meme。该应用利用 ControlNet 和 StableDiffusion 1.5 的强大功能，生成无尽的 meme 变体，为用户提供无限的创意可能性。

Alpaca-LoRA-RLHF-PyTorch开源项目 – 适用于消费硬件的Alpaca模型微调

这是一个完整的管道，用于在消费硬件上使用LoRA和RLHF微调Alpaca LLM。基于Alpaca架构实现人类反馈的强化学习（RLHF），基本上是ChatGPT的一个变体，但使用的是Alpaca。

Seg2Sat开源项目 – 合成航拍图像，提取地面覆盖信息

利用Stable Diffusion算法和ControlNet合成航拍图像，数据集源自IGN的FLAIR（法国航空图像地面覆盖数据），用于法国各地区的地面覆盖信息。该项目结合了先进的图像生成技术，能够处理高分辨率图像，提供准确的数据支持。

Platypus开源项目 – LLM改进方案，性能卓越

Platypus是一系列经过微调和合并的，在Open LLM排行榜上名列前茅的 LLM 改进方案。通过结合PEFT和LoRA等方法，通过高质量数据集实现强大的性能。

Hands-On-LLM-Fine-Tuning官网 – 大型语言模型微调实践指南

这是一个针对大型语言模型（LLM）微调的综合性实践教程，旨在帮助用户快速掌握LLM微调技术。项目覆盖了从基础到进阶的多种微调方法，包括全参数微调和参数高效微调（如LoRA），并提供了丰富的实践案例，涵盖金融、推理等多个领域。教程设计注重初学者友好性，通过详细的步骤指导和实际案例演示，帮助用户快速上手并应用于实际场景。

LLMTuner开源项目 – 大语言模型指令调优工具

LLMTuner 是一个专为大语言模型设计的指令调优工具，支持全量参数微调、LoRA 和 QLoRA，旨在提升模型的指令响应能力和优化微调过程。

ChatGLM_multi_gpu_zero_Tuning开源项目 – 高效多卡微调大模型的工具

ChatGLM_multi_gpu_zero_Tuning是一个结合deepspeed和trainer的框架，旨在高效实现多卡微调大模型，目前支持LoRA、Ptuning-v2和Freeze三种微调方式，能够充分利用多卡资源，简化微调流程，适用于研究和开发.

sd-webui-controlnet开源项目 – 增强Stable Diffusion图像生成控制

sd-webui-controlnet 是一个为 AUTOMATIC1111 的 Stable Diffusion web UI 设计的扩展，允许用户将 ControlNet 和 T2I Adapter 模型集成到 Stable Diffusion 中，以实现更精准和可控的图像生成。它支持 ControlNet 1.0/1.1 和 T2I Adapter 模型，提供像素完美模式、用户友好的 GUI 和预处理器预览，以及对多种 Upscaling 脚本的支持。

Arc2Face开源项目 – 基于ArcFace生成逼真人脸

Arc2Face是一个基于ArcFace嵌入生成高质量人脸图像的人工智能项目。它能够在几秒钟内根据输入的ArcFace嵌入生成任何主题的高质量图像，并且在ID相似性上优于现有模型。该项目基于Stable Diffusion构建，可以扩展到不同的输入模式，如ControlNet。

暂无评论

暂无评论...