AI交流(进群备注:garak)

garak 是一款用于扫描大型语言模型(LLM)漏洞的开源工具,旨在发现 LLM 中的安全漏洞和弱点。它通过静态、动态和自适应探测技术,全面评估 LLM 的安全性,探测生成式 AI 模型的幻觉、数据泄露、提示注入、错误信息生成、毒性生成、越狱等弱点。garak 支持多种 LLM,包括 Hugging Face、Replicate、OpenAI、litellm 等,适用于安全研究人员、模型开发人员和用户识别和缓解 LLM 中的安全风险。
garak的特点:
- 1. 支持多种 LLM 漏洞探测,包括提示注入、对抗性生成、文本分类等
- 2. 提供用户友好的界面,带有进度条和详细结果
- 3. 结合静态、动态和自适应探测技术,全面评估 LLM 安全性
- 4. 支持多种 LLM 接口,如 Hugging Face、OpenAI、Replicate 等
- 5. 开源且免费,易于安装和使用
garak的功能:
- 1. 用于评估 LLM 的安全性和鲁棒性,检测潜在的漏洞和攻击媒介
- 2. 改进 LLM 模型的设计和开发,研究 LLM 行为
- 3. 通过命令行工具进行 LLM 漏洞扫描,支持自定义探测和检测器
- 4. 支持多种 LLM 接口,如 Hugging Face、OpenAI、Replicate 等
- 5. 提供详细的日志和报告,便于分析和调试
相关导航
暂无评论...