基于ColossalAI的软件缓存方法来动态管理CPU和GPU内存空间中的极大嵌入表，能够在单个GPU上高效训练包括91.10 GB嵌入表的DLRM模型，仅需分配3.75 GB的CUDA内存，适用于大规模数据集。
H2O.ai的开源大语言模型GPT项目，旨在创建世界上最好的开源GPT模型，提供强大的自然语言处理能力，支持多种任务，适用于大规模应用。
Candle是一个用Rust编写的机器学习框架，旨在提供高性能的计算能力，灵活的模型构建方式，支持多种机器学习任务，且易于集成和扩展，适用于各种场景。
这是一个关于出色LLM推理的小集合，包含文献、博客和文档以及代码，支持TensorRT-LLM、流式LLM、SmoothQuant、WINT8/4、连续批处理、FlashAttention、PagedAttention等技术。
Run:ai Model Streamer是一个用于将张量从文件流式传输到GPU内存的Python SDK，支持并发和流式处理。
Pocket LLM是一个平台，旨在使复杂的大语言模型和其他先进的人工智能技术对所有人都可访问。它提供定制化、私密的人工智能解决方案，这些解决方案在普通硬件上训练，具有超低延迟推理，消除了对GPU、TPU或定制ASIC的需求。用户可以在没有高级配置或GPU的情况下，仅使用CPU构建和部署数十亿参数的模型。
支持GPU的 Dockerfile，用于运行Stability.AI具有简单 Web界面的stable-diffusion模型，包括多GPU支持。该项目提供了一个易于部署的解决方案，使用户能够利用Docker快速构建和运行稳定扩散模型，并通过Web界面进行方便的访问和交互。
