宏展开DSL

VT-Transformer是一个基于第一性原理的AI模型转换器，采用宏展开的DSL技术，旨在优化各种AI模型在复杂硬件环境下的性能，特别是针对国产硬件。

VT-Transformer是一个基于第一性原理的AI模型转换器，采用宏展开的DSL技术，旨在优化各种AI模型在复杂硬件环境下的性能，特别是针对国产硬件。

BitNet是微软发布的1-bit LLM变体研究，支持在CPU上快速无损地推理1.58位模型。该项目通过将每个参数表示为三进制数 {-1, 0, 1}，显著改善了时延、内存利用、吞吐量和能耗，能够在苹果M2等CPU上运行，适用于1.58位模型的无损推理。

SmolLM2是HuggingFace团队推出的轻量化AI模型系列，支持在资源有限的设备上运行，提供多个参数版本（135M、360M和1.7B），能够处理多种任务，特色是体积小、速度快，开发者友好，支持多种集成和部署方式。

Juice是一个软件项目，提供GPU-over-IP解决方案，使用户能够远程访问和共享可负担且易于获取的GPU资源。通过利用未使用的GPU容量（称为'Dark GPU'），Juice可以在不同的部署和提供商之间实现GPU的高效利用。用户只需在工作站或服务器上安装该软件，即可实现对GPU加速工作负载的直接远程访问。

Intel的LLM加速库，旨在通过使用Intel显卡和带NPU的CPU来加速主流深度学习框架的运行。