DeepSeek是一个优化的推理工具，通过混合计算显著提升了预填充速度，利用Intel CPU的AMX指令以及GPU与CPU的结合，实现了高效的深度学习模型推理。
MNN是阿里开源的轻量深度神经网络推理引擎，能够在端侧加载深度神经网络模型进行推理预测，支持多种深度学习框架并且具有高效的推理速度和灵活的硬件加速选项。
一个强大的框架，通过集成sparse kernel、量化、剪枝和注意力键/值的缓存，进一步优化了在CPU上进行的能力。
Tricksy是一款支持在单个GPU上进行快速推理的工具，利用稀疏感知卸载技术来提高推理效率和速度，同时优化资源使用，适用于深度学习模型的多种场景。
使用C++以及CUDA加速神经网络样例，主要实现了矩阵加法和矩阵乘法，提供高效的计算能力，适用于深度学习中的高性能计算需求。
Griffin是一种将门控线性RNN与局部注意力混合在一起的新模型架构，表现优于以往模型，能够处理长上下文并扩展到14B参数。该模型在训练数据量减少的情况下，仍能保持优异的表现，显著改善预测能力，并保留了Transformer架构在合成任务上的许多优点。
这是一个基于TensorPack框架的实现与模型集锦，包含多种预训练模型，适用于图像处理和计算机视觉任务，易于扩展和自定义。
一个自托管的 GitHub Copilot，GitHub Copilot 的开源/本地替代方案，旨在提供灵活的开发体验。它可以在本地运行，无需依赖外部数据库或云服务，同时具备可视化界面和强大的API接口，方便集成到现有开发环境中。
KeaML是一个AI开发平台，支持用户在开发、训练和部署的各个阶段。用户可以通过直观的界面和强大的工具轻松开发和训练AI模型，并将其部署到生产环境中，实现AI在应用中的价值。
