Transfusion-统一生成文本与图像的模型

Transfusion是一种可以生成文本和图像的训练模型的统一方法，结合了语言建模和扩散的优势。它通过结合下一个Token预测与扩散，在混合模态序列上训练单个Transformer，提供了优于传统方法的扩展性，支持高达7B参数和2T多模态标记。

Nexa SDK是一款全面支持ONNX和GGML模型的工具包，具备文本生成、图像生成、视觉-语言模型（VLM）、自动语音识别（ASR）和文本到语音（TTS）功能，提供OpenAI兼容的API服务器，支持JSON模式调用函数和流媒体，配备用户友好的Streamlit UI，方便开发者使用和集成。

该框架将3D感知集成到预训练的2D扩散模型中，增强了得分蒸馏的鲁棒性和3D一致性，旨在解决2D扩散模型无法捕捉3D一致性的问题。

Magnetron是自制的迷你版PyTorch，从零开始构建，旨在提供一个简单而强大的深度学习框架，适合研究和生产使用。它的设计初衷是帮助用户更好地理解深度学习的基本原理，并在此基础上进行模型的构建与训练。

Graphium是一个专注于图表示学习的深度学习库，特别用于处理现实世界中的化学任务。它具备最先进的图神经网络架构，提供可扩展的API，并支持丰富的分子特征化功能，能够有效应对复杂的化学问题。

ImageBind-LoRA是一个非官方的ImageBind微调工具，利用LoRA技术实现高效的多模态嵌入学习。该项目旨在简化模型训练流程，并提供强大的可扩展性，适用于不同的数据集。

大型视觉语言模型的海量多模态交叉理解基准测试，旨在评估模型在不同领域中的理解与生成能力，支持自动化的可靠度量。

MM-LLM是一个增强现有大型语言模型的框架，支持多模态输入和输出，同时保持其推理和决策能力。该项目提供全面的模型架构和训练管道设计，并回顾了在主流基准上的表现，旨在推动多模态任务的发展。

MnnLlmApp是一个基于MNN-LLM框架的Android手机应用，支持各类大型语言模型（LLM）在手机上离线运行，能够处理多模态任务，包括文本生成、图像生成和音频转文本等。该应用在安卓平台上具有优秀的CPU性能，预填充速度相较于其他框架大幅提升，支持多种模型，完全在设备本地运行，确保数据隐私和处理效率。

Baichuan-Omni-1.5是一个支持文本、图像、视频和音频输入以及文本和音频输出的开源全模态基础模型。它在视觉语言、语音能力和医学图像理解方面表现出色，适用于多种多模态任务。

PaLI-3是一个相对更小、更快且更强大的视觉语言模型，其性能表现优于大小为其10倍的类似模型，专注于多模态任务的高效处理。

PLAID是一个蛋白质设计辅助工具，通过人工智能技术辅助蛋白质结构预测和设计，提高科研效率和准确性。它利用深度学习模型进行结构预测，支持多种设计任务，并提供可视化工具，以帮助研究人员理解和分析设计结果。

Summer AI通过提供即时内容摘要和相关产品建议，增强读者体验，提高参与度和销售增长。

CyberUpgrade是一个旨在帮助组织高效管理网络安全措施的AI驱动平台。它协助跟踪ICT合规审计、处理监管要求，并实施稳健的网络安全实践。该平台使CTO和合规官能够自动化流程，吸引员工参与安全实践，并无缝生成合规文档。CyberUpgrade专注于实际操作安全，而不仅仅是文书工作，从而简化了各类规模企业的合规和网络安全管理。

腾讯混元Turbo S是腾讯推出的新一代快思考模型，已在腾讯元宝上灰度上线。该模型在知识、数理、创作等多个领域表现出色，具有快速响应能力，同时大幅降低了部署成本，推动了大模型应用的普及。