CUDA支持

llama2.cpp 是一个高效的推理库，专为 C++ 开发，支持 CPU 计算，并且未来将支持 CUDA 和 AVX512，旨在提供高效的 Llama 2 模型推理体验，方便集成到各种 C++ 项目中。

Llama 2 Everywhere (L2E) 是一个友好的llama2.c的分支，旨在使Llama 2 LLM架构能够在各种设备上兼容运行，从Chromebook到企业高密度单核部署。该项目提供了多种构建目标，利用不同的库和工具来提高性能和可移植性，确保用户能够在不同的环境中高效使用Llama 2。

该项目旨在使用Rust语言在CPU上运行大型语言模型的推理。它不仅实现了快速的推理速度，还能在低能耗的情况下提供高效的性能。适用于本地推理和Rust项目集成，适合研究新语言模型应用。

该项目演示了如何利用大模型进行蒸馏来构建小模型，从而在某些领域实现比大型模型更强的推理效果。

一个开源免费的 NSFW 内容检测器，使用 Google 模型，准确度高，支持多种文件类型的检测。

Fast Stable Diffusion CPU是一款专为CPU优化的快速稳定扩散模型，在Core i7-12700上生成一张512x512的图片仅需21秒，具有优越的性能和广泛的兼容性，适合各种计算环境。

accelerate是一个工具，可以帮助用户在多种设备上简单地运行PyTorch训练脚本，支持多GPU和TPU训练，并提供了易于集成的解决方案。它使得混合精度训练变得简单，同时支持分布式训练，用户可以通过命令行接口轻松启动训练任务。