VT-Transformer是一个基于第一性原理的AI模型转换器,采用宏展开的DSL技术,旨在优化各种AI模型在复杂硬件环境下的性能,特别是针对国产硬件。
BitNet是微软发布的1-bit LLM变体研究,支持在CPU上快速无损地推理1.58位模型。该项目通过将每个参数表示为三进制数 {-1, 0, 1},显著改善了时延、内存利用、吞吐量和能耗,能够在苹果M2等CPU上运行,适用于1.58位模型的无损推理。
SmolLM2是HuggingFace团队推出的轻量化AI模型系列,支持在资源有限的设备上运行,提供多个参数版本(135M、360M和1.7B),能够处理多种任务,特色是体积小、速度快,开发者友好,支持多种集成和部署方式。
Juice是一个软件项目,提供GPU-over-IP解决方案,使用户能够远程访问和共享可负担且易于获取的GPU资源。通过利用未使用的GPU容量(称为'Dark GPU'),Juice可以在不同的部署和提供商之间实现GPU的高效利用。用户只需在工作站或服务器上安装该软件,即可实现对GPU加速工作负载的直接远程访问。
Intel的LLM加速库,旨在通过使用Intel显卡和带NPU的CPU来加速主流深度学习框架的运行。