LightLLM开源项目 – 轻量级的LLM推理与服务框架

Leap Touch 是一个人工智能工具，旨在简化自定义模型的训练和照片生成过程。用户只需创建账户，上传训练数据，选择所需的模型架构，配置训练参数，然后启动训练过程。一旦模型训练完成，用户可以通过提供输入参数或使用预训练模型来生成照片。

Genera.so是一个专为模型创作者设计的平台，能够在几分钟内将生成图像模型转换为在线应用，省去管理GPU和构建接口的复杂性。该平台处理后端基础设施管理，让用户专注于创作。

nki-samples是一个为AWS Trainium和Inferentia芯片优化的机器学习编程环境，提供高性能的NKI语言和指令集架构，支持深度优化，包含23个示例内核，适用于从基础到高级的优化示例，并集成Neuron Profiler，用于性能瓶颈分析。

本书以 MySQL 的挑战为案例，探讨了问题分析与解决策略。作者凭借 20 年的问题解决经验，通过系统的逻辑分析，深入研究了 MySQL 的各种问题，并提出了优化策略。书中不仅涵盖了 MySQL 的逻辑推理、计算机科学基础、内部机制、性能测试等内容，还重点介绍了 MySQL 8.0 的改进、组复制的进展以及性能优化技术。全书分为五个部分，逐步引导读者从基础到深入，理解 MySQL 的问题解决方法，并探讨了如何通过优化策略提升 MySQL 的可扩展性、吞吐量和响应速度，最终实现高可用性故障转移。

JFLUX是Black Forest Labs的Flux.1系列模型的JAX实现，支持FLUX.1的多个变体，并鼓励社区参与进一步的性能优化和功能增强。

为初学者和进阶者准备的CUDA编程学习指南，包含丰富的教程、实用示例和优化技巧，帮助你轻松掌握GPU加速应用开发

Meta Lingua 是一个轻量级、高效且易于修改的大型语言模型（LLM）研究代码库，专为研究者设计，支持模型训练和推理。其核心特点是使用易于修改的 PyTorch 组件，方便研究者尝试新的架构、损失函数和数据集。Meta Lingua 提供端到端的训练、推理和评估功能，模块化设计使其具有高度可重用性和灵活性，能够快速迭代和验证新概念。

基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程，旨在为开发者提供高效、易用的工具，以应对资源有限的设备上的大语言模型需求。

PocketPal AI 是一款可在手机上直接运行小型语言模型的开源客户端，支持离线使用，兼容多种模型，并提供模型管理、参数调整和性能指标查看等功能。它允许用户在手机等设备上运行 GGUF 格式的 deepseek 模型文件，充分利用闲置设备，实现单机离线使用的AI助手。无需网络，开源免费，无限使用，支持安卓和iPhone。

一个用纯C语言实现的项目，旨在训练GPT-2模型，代码量仅为1000行，具有高效的内存管理和性能优化，方便扩展和修改。

集成了 TeaCache 的 ComfyUI 插件，用于加速图像、视频和音频扩散模型的推理过程，支持多种模型，并提供了简单的安装方法和推荐配置

YaRN是一个高效的上下文窗口扩展工具，旨在提高大型语言模型的上下文处理能力。

llama-cli是一个用Go语言编写的自托管解决方案，提供简单的LLaMA/alpaca模型API和命令行界面（CLI）。它允许用户在本地环境中托管和交互LLaMA/alpaca模型，并支持将这些模型集成到自定义应用程序中进行推理。该项目以高性能和高效为目标，适合在各种环境中部署。

Veriom是一个基于人工智能的平台，帮助管理IT基础设施，通过识别和减轻风险、优化操作和确保合规性来提升性能。它利用全面分析和可操作的建议，轻松简化IT性能管理。

基于ONNX Runtime的Java的Stable Deffusion管线，具有GUI界面和负面文本支持，展示了如何在Java中使用ONNX Runtime进行推理，并提供了性能优化的最佳实践

mistral_jax 是一个将 Mistral-7B 模型移植到 JAX 和 Equinox 框架的参考实现。该项目旨在利用 JAX 的高效计算和优化能力，以及 Equinox 的灵活模型构建功能，提供一种高性能、易于扩展的解决方案。适用于自然语言处理任务、模型推理、研究开发等多种场景。

Intel的LLM加速库，旨在通过使用Intel显卡和带NPU的CPU来加速主流深度学习框架的运行。