深度学习优化

Tenstorrent是一家专注于AI硬件和软件解决方案的下一代计算公司，其旗舰产品Blackhole™芯片专为高效处理大规模AI工作负载设计。公司采用开源策略，提供包括TT-Forge™编译器在内的软件栈，优化硬件工作负载并与AI软件库集成。Tenstorrent在全球设有多个办事处，汇聚了计算机架构、ASIC设计等领域的顶尖人才。2025年D轮融资6.93亿美元，估值达27亿美元。

CUTLASS 是由 NVIDIA 开发的 CUDA C++ 模板库，专注于实现高性能的矩阵乘法 (GEMM) 和相关计算。它通过模块化的 C++ 模板类，为 CUDA 环境下的各种规模的计算提供了灵活且可重用的组件。CUTLASS 采用分层分解和数据移动策略，类似于 cuBLAS 和 cuDNN 的实现方式。最新版本 3.8 带来了对 NVIDIA Blackwell SM100 架构的全面支持，并引入了多项性能优化和新特性。CUTLASS 支持多种数据类型和精度，包括 FP64、FP32、TF32、FP16、BF16、8b 浮点类型、块缩放数据类型和窄整数类型等。它还通过隐式 GEMM 算法实现高性能卷积，并针对 NVIDIA 的 Tensor Core 进行了优化。

Q8 Kernels 是一个专门为高效实现8-bit核心运算而设计的库，支持FP8和INT8的快速计算。该库特别适合需要高性能计算的场景，如深度学习、高性能计算任务和嵌入式系统。通过优化8-bit核心运算的性能，Q8 Kernels 提供了快速的计算能力，帮助用户在各种应用中提升计算效率。

Euclidean Fast Attention (EFA)算法的实现。该算法是一种高效的注意力机制，显著降低了计算成本，同时保持高性能，适合需要快速处理大量数据的场景。

由vivo AI全球研究院自主研发的大规模预训练语言模型，具有更大量的优质数据、更优的效果及长文本支持。

PAIR是一款利用机器学习技术开发的AI驱动的编码辅助REPL工具。它将GPT-4与开发人员配对，通过交互式编程对话提高编程效率和准确性。PAIR是开源项目，为开发人员提供更高效、更智能的编程工具。

SymbiotAI致力于帮助人类和AI模型协作，共同创造一个更美好的世界。用户只需注册一个账户，即可开始与AI模型进行合作。

FlexGen: 针对面向吞吐量的场景在单个 GPU 上运行大型语言模型，旨在提高模型的运行效率和简化部署过程。

InstantLLM是一个移动应用和Python包，旨在通过简单的几行代码，实现语言模型的快速和轻松集成。

Auto-GPT-ZH是中文版AutoGPT，旨在提供一个中文环境下的自动化GPT应用，支持多种API扩展，用户可以自定义任务和目标，具有高效的文本生成和对话能力，界面友好，适合各种中文场景的应用。

一个完整的管道，用于在消费级硬件上使用LoRA和RLHF微调Vicuna LLM。该项目实现了基于Vicuna架构的RLHF（强化学习与人类反馈），基本上是ChatGPT的变种，但使用Vicuna。

Asian Bart是一个专为亚洲语言设计的BART模型，支持英语、汉语、韩语、日语等多种语言，适用于文本生成、翻译和摘要等多种自然语言处理任务，并提供预训练模型以便于研究和应用。

这个开源项目叫做“AI Code Translator”，它基于GPT-3.5/GPT-4技术开发，可以帮助用户将程序代码自动转换成其他编程语言，从而节省时间和提高效率。该项目的代码托管在GitHub上，支持数十种编程语言互相切换。