Awesome LLM Inference开源项目 – 强大的LLM推理工具集

使用AI生成的表单，以转化更多潜在客户。

Llog是一个为大型语言模型(LLM)设计的协作分析与洞察工具，能够通过简单的请求记录最终用户的交互，并便于所有商业利益相关者从这些日志中提取、分享和推导洞察。

FastLLM是一个动态策略选择的深度学习模型训练代码库，集成了Deepspeed、Megatron、FlashAttention、CudaFusionKernel和编译器技术，旨在优化大规模语言模型的训练效率，提供更加灵活和高效的训练方案。

F5_TTS_Faster是一款专为F5-TTS推理加速设计的工具，通过使用ONNX和Tensorrt-LLM技术，将推理速度从3.2秒大幅降低至0.72秒，提升约4倍。该项目支持NVIDIA GeForce RTX 3090等硬件，兼容性好，并提供详细的安装和使用指南，使用户能够快速上手并部署。

支持ONNX模型量化的开源Python库，提供流行的模型压缩技术，如SmoothQuant和权重量化，适用于Intel硬件和流行的大型语言模型（LLM）。

Kvax是为JAX框架打造的高效FlashAttention实现，专为长序列和分布式训练优化。它通过支持高效文档掩码计算、实现上下文并行化以及优化长序列处理性能，显著提升了训练效率和内存利用率。

NVIDIA官方优化的大模型推理框架，在H100显卡上运行Llama3-70B模型达400 tokens/s，较原生PyTorch实现提速8倍，支持INT4量化与动态批处理。

flash-attention是一个基于FlashAttention优化的Transformer实现，其训练速度在GPT2和GPT3上比Huggingface的实现快3-5倍，显著提升了训练效率，同时优化了内存使用，并支持多种硬件加速。

这是一个开源项目，旨在Windows操作系统上本地运行基于TensorRT-LLM的推理，从而替代OpenAI的云服务。它提供了加速推理的解决方案，并与使用OpenAI API构建的项目兼容，使得用户可以在本地环境中高效地进行自然语言处理任务。

semchunk是一个快速且轻量的纯Python库，旨在将文本拆分成语义上有意义的区块，方便进行自然语言处理和文本分析。

aysa.ai是一个基于AI的SEO自动化平台，专门为电商企业设计。它帮助自动化各种SEO任务，并提供改进SEO表现的洞察。该平台提供自动报告、本地SEO工具和自动优化等功能。

AiBud是一个平台，通过根据用户的情绪推荐电影、电视、小说和歌曲，同时允许用户根据自己的风格和颜色偏好设计虚拟服装。用户可以探索、创造和享受个性化的艺术体验。

NeRF-Editing 是一个专注于神经辐射场（NeRF）几何编辑的项目。它提供了一套高效的编辑工具，使用户能够对3D场景中的几何结构进行精确的修改和优化。该项目在虚拟现实（VR）和增强现实（AR）领域具有广泛的应用前景，能够帮助开发者和研究人员快速构建和编辑高质量的3D场景。

Unified Video Action Model 是一个专注于视频与动作建模的项目，旨在帮助机器人理解视频内容并预测后续动作。通过两阶段的训练方法，先进行视频生成，再进行动作预测，从而实现更优的效果。该项目支持多种模拟与真实机器人任务，涵盖了PushT、Libero10等数据集，并提供了Colab笔记本，方便用户快速上手体验。

用蒙特卡洛树搜索与大型语言模型结合解决数学问题的演示项目，就像给AI装上了解题的“指南针”，让它能更高效地找到解题路径