ThinkDiff是一个创新的扩散模型,通过将视觉语言模型与大型语言模型解码器对齐,简化了训练过程,并显著提升了生成图像的质量和多模态上下文推理能力。该项目在CoBSAT基准测试中取得了显著的准确率提升,仅需5小时训练,且仅使用普通图像-文本对进行训练,无需复杂的多模态数据集。