TensorRT-LLM as OpenAI API on Windows – Windows本地加速推理

集成了 TeaCache 的 ComfyUI 插件，用于加速图像、视频和音频扩散模型的推理过程，支持多种模型，并提供了简单的安装方法和推荐配置

F5_TTS_Faster是一款专为F5-TTS推理加速设计的工具，通过使用ONNX和Tensorrt-LLM技术，将推理速度从3.2秒大幅降低至0.72秒，提升约4倍。该项目支持NVIDIA GeForce RTX 3090等硬件，兼容性好，并提供详细的安装和使用指南，使用户能够快速上手并部署。

这是一个关于出色LLM推理的小集合，包含文献、博客和文档以及代码，支持TensorRT-LLM、流式LLM、SmoothQuant、WINT8/4、连续批处理、FlashAttention、PagedAttention等技术。

NVIDIA官方优化的大模型推理框架，在H100显卡上运行Llama3-70B模型达400 tokens/s，较原生PyTorch实现提速8倍，支持INT4量化与动态批处理。

面向低级视觉的扩散模型相关论文资源列表，包括了各种扩散模型在低级别视觉任务中的应用，如自然图像恢复、超分辨率、修复、去雾、低光增强等。这些模型在不同领域，包括医学图像分析、遥感图像处理等方面都有应用。

本课程旨在帮助学员从零开始构建自己的第二大脑AI助手，使知识管理和智能检索变得轻松。课程涵盖多个模块，从基础到生产级AI系统的搭建，内容涉及大语言模型（LLMs）、智能代理（agents）、检索增强生成（RAG）、模型微调、LLMOps以及AI系统技术等。学员将学习如何利用低成本工具（费用在1至5美元之间）实现高效操作，并兼容多种工具如OpenAI、Hugging Face和MongoDB。

MobilityGen是基于NVIDIA Isaac Sim构建的工具集，旨在简化移动机器人的数据收集过程，支持算法训练和测试。它支持多种类型的机器人，提供丰富的真实世界数据，并支持多种数据收集方法。

Pig是一个API，允许用户使用AI启动和自动化Windows应用程序。它提供了一个用户友好的界面，通过聊天或SDK创建和管理自动化任务，适合不同技术水平的用户。

SiliconCloud 是一个基于优秀开源基础模型的高成本效益的生成式AI云服务，旨在为企业和开发者提供全场景模型服务。它支持快速的模型推理，适合各种应用场景，如对话和图像生成。项目特点包括高性能推理、自动伸缩和灵活的定价模式。

把手机变成机器人手臂的远程操作设备，通过WebXR技术实现手机的姿态感知，让操作机器人手臂变得像玩游戏一样简单

使用C++以及CUDA加速神经网络样例，主要实现了矩阵加法和矩阵乘法，提供高效的计算能力，适用于深度学习中的高性能计算需求。

Confident AI是一个综合性的LLM评估平台，提供14种以上的指标来运行LLM实验，管理数据集，监控并整合人类反馈，以自动改进LLM应用。它与DeepEval协作，支持任何用例。

SKY ENGINE AI 是一个前沿平台，专为数据科学家、AI开发者和研究人员设计，利用合成数据进行视觉AI深度学习。它能够在虚拟环境中生成和训练定制的AI模型，适用于汽车、医疗和国防等需要高保真视觉数据模拟的领域。

Bardeen利用人工智能技术自动化手动工作流程，节省您的时间，增强创造力。一些自动化实例包括： - 获取最近会议的行动项，并将它们添加到Notion。 - 概括任何网站并将其保存到Notion。 - 响应当前页面内容中的问题。 - 利用OpenAI的Dall-E使用人工智能创建图像。

SmolLens是基于SmolVLM 2实现的视觉智能应用，通过Hugging Face的强大视觉语言模型，将手机摄像头转变为智能识别工具。它能够实时进行图像识别，快速获取图像中的信息，并且是一个开源项目，易于扩展和定制。