Mellon是一个专注于Diffusers的机器学习工具接口项目,采用客户端/服务器架构,支持拖拽式节点工作流,用户可以轻松搭建和运行Stable Diffusion等模型。项目采用模块化设计,支持自定义节点扩展,并基于ReactFlow和MUI构建了友好的Web界面。
利用torchao和diffusers优化扩散模型的端到端方案,支持推理和FP8训练,旨在提升模型的性能和效率。
AiInfer是一个C++版的AI推理库,目前专门支持TensorRT模型的推理,旨在提供高性能和易用性。
关于如何有效蒸馏大型语言模型的最佳实践实用指南,提供了一系列的最佳实践,帮助工程师和机器学习从业者在生产应用中更高效地蒸馏和使用语言模型。
支持GPU的 Dockerfile,用于运行Stability.AI具有简单 Web界面的stable-diffusion模型,包括多GPU支持。该项目提供了一个易于部署的解决方案,使用户能够利用Docker快速构建和运行稳定扩散模型,并通过Web界面进行方便的访问和交互。
EETQ是针对transformer模型的量化工具,使用Flash-Attention V2优化attention的推理性能,简单易用,只需一行代码即可适配您的PyTorch模型。
OneDiff是一个用于加速扩散模型的工具,提供了一种新的免训练、几乎无损的范式,显著提升模型的迭代速度。
一个极简的图像处理和GPT/Diffusion模型训练工具,专注于快速实验和简洁操作,提供从初始化到图像生成的高效路径