nki-samples开源项目 – 为AWS Trainium和Inferentia优化ML编程

nki-samples是一个为AWS Trainium和Inferentia芯片优化的机器学习编程环境，提供高性能的NKI语言和指令集架构，支持深度优化，包含23个示例内核，适用于从基础到高级的优化示例，并集成Neuron Profiler，用于性能瓶颈分析。

nki-samples的特点:

1. 高性能的NKI语言和指令集架构，支持深度优化
2. 包含23个示例内核，涵盖从基础到高级的优化示例
3. 集成Neuron Profiler，助力性能瓶颈分析

nki-samples的功能:

1. 使用NKI语言编写高效的机器学习模型
2. 通过示例内核学习和应用不同的优化技术
3. 利用Neuron Profiler分析和优化模型性能

相关导航

Drive Like A Human开源项目 – 重新定义自动驾驶的智能交互

用大型语言模型重新思考自动驾驶，使用GPT-3.5作为默认的大型语言模型(LLM)，介绍了LLM在驾驶场景中的闭环交互能力以及通过记忆能提升性能的方法

VectorLM开源项目 – 优化中型模型在资源受限环境的训练

建立在HuggingFace模型和PyTorch Fully Sharded Data Parallelism基础上的训练套件，旨在优化吞吐量，简化在资源受限环境中训练中型模型的分布式方案设置工作流程，尤其适用于学术集群。

awesomeMLSys开源项目 – 精选机器学习系统资料集合

分享一份精选机器学习系统的入门资料集合，收集了一系列有关注意力机制、性能优化、量化、长上下文长度和稀疏性等方面的论文、视频和代码库。

microchain开源项目 – 基于函数调用的LLM智能体开源项目

microchain是一个基于函数调用的LLM智能体的开源项目，旨在提供简洁高效的智能体解决方案，支持多种功能与集成，适合开发者和企业使用。

hash-it开源项目 – 轻量高效的哈希生成库

hash-it 是一个轻量且高效的库，用于生成一致性哈希值，具有极低的碰撞率。它支持多种数据类型，包括对象、数组和原始类型，并提供了可定制的哈希选项。该库兼容浏览器和Node.js环境，适用于多种场景，如数据比较、存储、唯一标识生成、数据完整性检查以及性能优化等。

CUDA学习资源库开源项目 – CUDA编程学习指南

为初学者和进阶者准备的CUDA编程学习指南，包含丰富的教程、实用示例和优化技巧，帮助你轻松掌握GPU加速应用开发

SD4J (Stable Diffusion in Java)开源项目 – Java中的稳定扩散推理工具

基于ONNX Runtime的Java的Stable Deffusion管线，具有GUI界面和负面文本支持，展示了如何在Java中使用ONNX Runtime进行推理，并提供了性能优化的最佳实践

Composable Prompts官网 – 快速构建和测试LLM任务的平台

Composable Prompts是一个顶尖平台，旨在快速构建、测试和部署基于大型语言模型（LLMs）的任务和API。它为LLMs的世界带来了组合、模板、测试、缓存和可视化等功能，使开发者能够高效地创建强大的提示，重用它们，并在不同环境中进行测试。同时，它通过智能缓存优化性能和成本，并允许轻松切换模型和运行环境。

awesomeMLSys开源项目 – 机器学习入门资源整理

一份整理了机器学习入门学习资源的列表，涵盖注意力机制、性能优化、量化、长上下文和分布式计算等方面的论文、视频及代码库。

Awesome Mojo开源项目 – Mojo语言资源汇总

Mojo语言相关资源列表，Mojo是一门新的编程语言，将Python的易用性与C++和Rust的性能结合在一起，同时允许用户利用Python库的庞大生态系统。