llm开源项目 – 轻量级LLM培训工具

一个使用简单、原始的 C/CUDA 进行LLM培训的项目，旨在提供轻量级的实现，减少对大型库的依赖。
llm的特点:
1. 快速编译和运行，代码量小（约1000行）
2. 与PyTorch参考实现完全匹配
3. 直接的CUDA实现以提高速度
4. 使用SIMD指令加速CPU版本
5. 支持现代架构，如Llama2、Gemma等

llm的功能:
1. 训练GPT-2模型
2. 编译并运行简单的LLM项目
3. 在不同硬件架构上进行性能优化

相关导航

dstack官网 – 简化LLM开发的开源工具

dstack是一个开源工具，可以在任何云环境中简化大型语言模型（LLM）的开发。它使开发者能够利用开放的LLM，降低云成本，避免对供应商的锁定。

Hegel AI Prompt Playground官网 – 团队实验LLM和提示的游乐场

Hegel AI Prompt Playground是一个供团队实验大型语言模型（LLM）和提示的工具，用户可以跟踪尝试过的历史记录并添加评估，帮助开发者更高效地迭代出适合其用例的工作提示和模型组合，附带SDK。

Superpowered AI官网 – 智能知识检索解决方案

Superpowered AI 是一款端到端的知识检索解决方案，旨在简化构建生产就绪的 LLM 应用程序，同时提供对外部知识的访问。该平台提供知识库即服务，赋予用户强大的人工智能能力。

GPU Finder官网 – 帮助客户发现可用的GPU实例

GPU Finder是一个网站，帮助客户发现来自全球公共云提供商的可用GPU实例。它提供了不同云提供商提供的各种GPU、GPU服务器和GPU计算平台的信息。

Juice官网 – GPU资源的虚拟远程访问

Juice是一个软件项目，提供GPU-over-IP解决方案，使用户能够远程访问和共享可负担且易于获取的GPU资源。通过利用未使用的GPU容量（称为'Dark GPU'），Juice可以在不同的部署和提供商之间实现GPU的高效利用。用户只需在工作站或服务器上安装该软件，即可实现对GPU加速工作负载的直接远程访问。

LightLLM开源项目 – 轻量级的LLM推理与服务框架

LightLLM是一个基于Python的LLM（大型语言模型）推理和服务框架，以其轻量级设计、易于扩展和高速性能而闻名。它利用FasterTransformer、TGI、vLLM和FlashAttention等开源实现的优势，提供比Vllm更快的表现。

llm-action开源项目 – 大模型教学项目，分享技术与经验

本项目旨在分享大模型相关技术原理以及实战经验，包括大模型工程化和应用落地，降低学习难度，促进技术普及。

PocketPal AI开源项目 – 手机本地运行的AI助手

PocketPal AI 是一款可在手机上直接运行小型语言模型的开源客户端，支持离线使用，兼容多种模型，并提供模型管理、参数调整和性能指标查看等功能。它允许用户在手机等设备上运行 GGUF 格式的 deepseek 模型文件，充分利用闲置设备，实现单机离线使用的AI助手。无需网络，开源免费，无限使用，支持安卓和iPhone。

Logos Shift开源项目 – 替换昂贵的LLM API调用

Logos Shift 提供一个简单的方式来替换昂贵的LLM API调用，自动采用经过定制后的更小更快的模型，有效提升模型调用效率并简化管理流程。

hash-it开源项目 – 轻量高效的哈希生成库

hash-it 是一个轻量且高效的库，用于生成一致性哈希值，具有极低的碰撞率。它支持多种数据类型，包括对象、数组和原始类型，并提供了可定制的哈希选项。该库兼容浏览器和Node.js环境，适用于多种场景，如数据比较、存储、唯一标识生成、数据完整性检查以及性能优化等。

O1 ML Scientist Automation System开源项目 – 自动化机器学习系统

这是一个自动化机器学习系统，利用O1和Claude AI模型迭代开发、改进和优化机器学习解决方案，在Kaggle Spaceship Titanic挑战中实现了前1%的性能。

SD4J (Stable Diffusion in Java)开源项目 – Java中的稳定扩散推理工具

基于ONNX Runtime的Java的Stable Deffusion管线，具有GUI界面和负面文本支持，展示了如何在Java中使用ONNX Runtime进行推理，并提供了性能优化的最佳实践

verl开源项目 – 高效强化学习训练库

verl 是火山引擎开源的大型语言模型（LLMs）强化学习（RL）训练库，基于 HybridFlow 论文设计，旨在简化和加速 LLM 的强化学习过程。verl 提供了灵活的 RL 算法扩展、无缝集成现有 LLM 基础设施、灵活的设备映射、与 Hugging Face 模型的轻松集成，并通过 3D-HybridEngine 实现高效的 Actor 模型重分片，显著减少训练和生成阶段的通信开销。

通过多标记预测实现更好且更快的超大型语言模型官网 – 提升LLM效率与性能的新方法

该项目提出了一种名为多标记预测的新型大型语言模型（LLM）训练方法。与传统的下一标记预测不同，该方法在训练语料的每个位置同时预测多个未来标记，每个标记的损失独立计算。通过优化前向和后向传播的顺序，该方法显著减少了GPU内存使用，且不增加训练时间。实验表明，该方法在编码和自然语言任务上显著提高了性能，推理速度大幅提升，特别适合实时应用。

nki-samples开源项目 – 为AWS Trainium和Inferentia优化ML编程

nki-samples是一个为AWS Trainium和Inferentia芯片优化的机器学习编程环境，提供高性能的NKI语言和指令集架构，支持深度优化，包含23个示例内核，适用于从基础到高级的优化示例，并集成Neuron Profiler，用于性能瓶颈分析。

Agentarium开源项目 – 强大的AI智能体管理框架

一个强大的Python框架，用于轻松管理和协调AI Agent，支持创建、管理和协调多个AI Agent之间的复杂交互。它提供了智能体管理、互动编排、进度控制、数据生成等多种功能，旨在提升AI Agent的运行效率和交互质量。

电子书《软件工程中的问题解决艺术：如何让 MySQL 变得更好》 – 深入解析 MySQL 问题解决与优化

本书以 MySQL 的挑战为案例，探讨了问题分析与解决策略。作者凭借 20 年的问题解决经验，通过系统的逻辑分析，深入研究了 MySQL 的各种问题，并提出了优化策略。书中不仅涵盖了 MySQL 的逻辑推理、计算机科学基础、内部机制、性能测试等内容，还重点介绍了 MySQL 8.0 的改进、组复制的进展以及性能优化技术。全书分为五个部分，逐步引导读者从基础到深入，理解 MySQL 的问题解决方法，并探讨了如何通过优化策略提升 MySQL 的可扩展性、吞吐量和响应速度，最终实现高可用性故障转移。

LLMLingua开源项目 – 高效提示压缩工具

LLMLingua是微软开发的提示压缩工具，利用经过良好训练的小型语言模型进行对齐，旨在实现提示的高效压缩和性能优化，最大程度上保持输出的质量和一致性。