该项目旨在研究大模型是否具备自省能力,通过实验验证模型是否能够利用自身内部状态来预测自身行为,从而深入理解模型的认知过程。
思想克隆训练框架:人工智能代理通过模仿人类在行动时大声思考的思想和行动,学习像人类一样“思考”和行动,从而提高性能、效率、泛化性、人工智能安全性和可解释性。
DeepKeep是一个先进的AI工具,专门设计用于增强AI应用的安全性和可信度。它是唯一一个生成式AI构建的平台,不仅能够识别AI生命周期中已知和未知的漏洞,还提供自动化的安全和信任补救措施,成为依赖AI、GenAI和LLM技术的企业抵御网络威胁和合规风险的必要资产。
Mitigated.io是一个将渗透测试和风险评估报告转化为协作工作空间的平台,用户可以导入报告,邀请团队成员,并跟踪进度,以有效解决安全漏洞。
一个轻量级的LLM评估库,提供多种预设的AI评判模型。支持分类器(Classifier)和评分器(Grader)两大类评判方式,可用于评估AI回答的事实准确性、幻觉检测、有害内容识别、查询质量等多个维度。