C++接口性能

Flash Attention推理助手是一个专为大型语言模型（LLM）推理场景设计的工具，主要研究Flash Attention及其v2版本的C++接口性能。该工具通过优化和简化推理过程中的注意力机制，支持多种注意力推理模式，从而显著提高推理效率。它适用于需要高效处理大型语言模型推理任务的场景，帮助用户更好地理解和优化注意力机制的性能。