安全探测工具

garak是一个用于检测不良提示响应的模块化工具，专注于LLM漏洞扫描，支持多种生成模型，旨在提升安全性和响应质量。

CodeRabbit是一个创新的AI驱动平台，旨在改进代码审查的方式。通过自动化审查，提升代码质量，同时显著减少繁琐的手动代码审查所需的时间和精力。该平台提供逐行反馈，建议改进和修正，增强代码的效率和稳健性。

K8sGPT是一款创新的AI工具，专门用于扫描Kubernetes集群、诊断和处理问题，利用简单的英语进行交流。它独特地结合了SRE（网站可靠性工程）专业知识，简化了识别集群中关键问题的过程，并将复杂信号转化为易于理解的建议，是负载健康分析、快速问题处理和深入AI分析的重要资产。

StructuredRAG是一个用于评估大型语言模型（LLM）遵循响应格式指令能力的六个任务基准，旨在研究不同提示策略对模型性能的影响，并提供复杂任务的性能评估。该项目还包括开源实验代码和结果，方便研究人员进行进一步探索。

HateHoundAPI是一个强大的工具，能够快速识别和过滤网页应用中的毒性内容。它采用先进的AI技术，帮助开发者轻松维护在线环境的健康与安全。

PromptxAI Generative AI Playbook是一个资源库，帮助企业和个人利用生成式AI实现增长与创新。该项目提供了示例、框架和技术，帮助用户入门生成式AI。它包括内容生成、内容获取以及影响未来工作的趋势等热门示例，并提供了包含提示管理、LLM模型、内容增强等工具的扩展手册。此外，用户可以学习提示工程技术，以优化生成式AI应用程序的性能，如ChatGPT、DALL-E和Midjourney。手册还提供加速器笔记本和代码库，帮助用户开始使用生成式AI。

NeMo Guardrails是由NVIDIA开发的开源工具包，旨在为基于大型语言模型（LLM）的对话系统添加可编程的防护栏。它能够防止生成不合规、不合理或有害的信息，并可以通过自定义规则控制对话内容和风格。NeMo Guardrails支持与现有对话系统集成，提供灵活的配置选项，实时监控输入，并增强对话系统的安全性和合规性。

ChatGPT提示评估器是一种用于评估与ChatGPT配合使用的提示的工具，包含第二个过滤语言模型，以增强安全性和有效性。