大语言模型知识

收录了63个大语言模型(LLM)相关的面试问题及答案，针对2024年机器学习和数据科学面试提供系统化的准备资料。此项目涵盖了LLMs的基本原理、Transformer架构、注意力机制的详细讲解，以及预训练与微调的核心知识点，附带详细解答和代码示例，旨在帮助求职者全面掌握相关知识。

本笔记包括模型推理、Transformer 模型结构和 lightllm 框架代码分析的详细内容，旨在帮助读者深入理解和应用相关技术。

LLM101n是由AI领域知名专家Andrej Karpathy开发的一个综合性AI课程，专注于大型语言模型（LLM）的教学。课程从基础知识到高级应用，涵盖深度学习和自然语言处理技术，旨在帮助学习者全面掌握AI技术，并构建类似于ChatGPT的可运行Web应用程序。课程内容包括Python、C、CUDA编程实现，反向传播技术，Transformer架构，注意力机制，分词技术，模型优化，分布式训练，监督微调，强化学习，以及模型部署和多模态技术应用。

这个开源项目是一个响应式聊天应用程序，使用了OpenAI的GPT-4进行动力支持。它具有响应流、代码高亮和各种预设功能，适用于开发人员。这个项目使用了Next.js、React和Joy等技术。

提供ChatGPT中文调教的详细指南，帮助用户更好地使用该模型。

赤兔量化注意力：专注于量化注意力机制的高效 GPU 实现库，旨在加速长序列数据的处理速度，并且与 Long-Context-Attention 库无缝集成

一种称为LoLCATs的新方法，用于将现有的大型语言模型（如 Llama 和 Mistral）转换为具有亚quadratic时间复杂度的线性化版本，同时保持模型性能。

Decoding Attention是针对大型语言模型（LLM）解码阶段的多头注意力（MHA）优化工具，利用CUDA核心进行推理，解决Flash Attention在LLM推理解码阶段张量核心利用率低的问题。该工具支持更多类型的注意力机制和KV缓存量化优化，有助于提升模型性能。

BertViz是一个用于可视化各种自然语言处理模型（如BERT、GPT2、BART等）中注意力机制的工具，提供交互式界面，用户可以探索和分析模型的注意力分布，支持自定义输入文本以查看对应的注意力模式。

FasterTransformer是一个高度优化的基于Transformer的编码器和解码器组件，提供高效的推理和训练性能，支持多种Transformer模型，并兼容多种深度学习框架，灵活配置以满足不同需求。