深度学习推理

用于 LLaMA 3 8B 参数版本的轻量级 CUDA C 语言实现的推理引擎，旨在在 Nvidia GPU 上进行高效的并行处理。该项目旨在充分利用 Nvidia GPU 的性能，以提供快速的模型推理，并易于集成到现有的机器学习工作流中。

大型语言模型(LLM)的chat模板，用于支持transformers的chat_template功能，旨在为不同模型提供一致的输入格式，提供了多个流行模型的示例模板。该项目为开发人员提供了便捷的工具，简化了与不同语言模型的交互流程，确保输入格式的一致性，提高了开发效率。

Ludwig v0.8是一个开源的低代码框架，旨在帮助开发者轻松构建先进的机器学习模型，特别是优化用于使用私有数据构建定制的大型语言模型（LLM）。它提供了一种声明式接口，使得模型的构建过程更加高效和简便。

mllm是一个专为移动和边缘设备优化的轻量级多模态大型语言模型推理引擎，能够在无需依赖外部库的情况下，支持多种模型和硬件架构，提供快速推理能力。

qlora-pipe是一个开源脚本，旨在通过在四块4090 GPU上进行定制训练，以高效的方式训练大型语言模型（LLM）。它支持多块GPU的并行训练，并提供多种配置选项以优化训练流程，确保用户能够根据不同的需求灵活调整训练参数。

这是一个在 LLM 中推进提示功能的框架，超越了思维链或思维树等范式所能提供的能力。通过将 LLM 生成的信息建模为任意的图形结构，GoT 提炼整个思维网络的实质，增强思维能力。

Navan.ai是一个无代码平台，允许开发者和企业在几分钟内构建和部署计算机视觉AI模型，节省高达85%的开发时间和成本。用户可以通过nStudio快速构建模型，通过nCloud将模型部署到云端，并获得推理API。此外，用户还可以选择使用预训练的视觉AI模型，如人脸检测等。

Skyvern AI 是一个通过大语言模型（LLM）和计算机视觉技术，自动化基于浏览器的工作流程的项目。它提供了一个简单的 API 端点，便于集成到现有系统中，完全自动化手动工作流程，取代脆弱或不可靠的自动化解决方案。

EETQ是针对transformer模型的量化工具，使用Flash-Attention V2优化attention的推理性能，简单易用，只需一行代码即可适配您的PyTorch模型。