模型输出评估

UHGEval是一个用于无约束生成对中文大型语言模型的幻觉产生进行基准测试的工具，旨在帮助研究人员和开发者评估和分析模型的输出效果。

LLM4AD是一个面向算法设计的大型语言模型平台，利用人工智能技术自动设计算法，支持优化和机器学习等多种任务，具有友好的用户界面，便于测试和部署。

专为大型语言模型（LLM）训练优化的类，集成了多种高效训练技术，旨在提升训练效率和内存使用效率。

sbc-bench是一个专为单板计算机设计的性能基准测试工具，支持多种单板计算机的性能测试，提供详细的基准测试结果，具有易于使用的命令行界面，并允许用户定制测试参数。

Haven是一个用于大型语言模型微调和评估的工具，拥有简单的用户界面，可以方便地进行模型微调并基于多种标准进行评估。

智能优化版Llama.cpp：基于原版Llama.cpp的克隆项目，它增加了最先进的量化技术，并针对CPU性能进行了改进，使得在处理大型语言模型时更加高效

由微软开发的工具，旨在简化创建、管理、调试和评估大型语言模型（LLM）提示（prompts）的过程，提高开发者的工作效率和生产力。

AMD GPU推理引擎：基于 Docker 的 AMD GPU 推理引擎项目，旨在在 AMD GPU 上运行大型语言模型（LLMs），特别是 Hugging Face 的 LLaMA 模型家族。该项目提供了高效的推理性能，并支持容器化部署，方便用户进行模型的集成和使用。

KernelBench 是一个专注于使用大模型生成高效GPU内核的项目，旨在通过编写自定义内核来替代PyTorch中的标准实现，并评估其正确性和性能提升。该项目包含250个神经网络任务，涵盖基础Kernel操作、简单的fusion pattern和完整的神经网络结构。同时，KernelBench 还提供四个级别的测试类别，包括单内核运算符、简单融合模式、完整模型架构和HuggingFace模型优化，以测试LLM将PyTorch算子转译为CUDA内核的能力，并评估生成代码的编译、正确性和性能。

UltraEval-Audio是一个评估音频大模型的工具，类似于给智能语音助手打分，能够快速、方便地测试其表现，旨在帮助开发者优化和提升语音相关应用的质量。

llama_index是一个高效的半结构化检索工具，专注于多模态数据处理，能够与Gemini Pro Vision无缝集成，提供易于使用的API，适合开发者和研究人员在各种应用场景下进行数据检索和分析。

一个关于使用大语言模型 (LLM) 在软件测试中的应用和研究的项目，旨在提供相关工具和资源。