用途:对语音或聊天智能体做安全与鲁棒性红队测试,覆盖提示注入、越狱、PII 提取、社会工程、合规陷阱等常见恶意模式,而非正常功能测试,需与常规功能测试集配合使用。
主要能力:提供 12 个核心攻击向量场景包(系统提示提取、指令覆盖、第三方 PII 提取、权威冒充、身份验证绕过、合规承诺陷阱、越界胁迫、多轮渐进升级、情绪操纵、有害内容诱导、验证预言机泄露、策略步骤跳过),每个场景含 input_str 与 expected_behaviors 清单;一个持久“Adversarial User”人设驱动全部场景;一个复合评估指标按用例自身 expected_behaviors 逐项判定 MET/NOT_MET/UNKNOWN 并给出 0-1 比例;多轮迭代运行;按测试用例分组的通过/失败记分卡与保存报告。
使用方式:需先安装并认证 Coval CLI(brew install coval-ai/tap/coval;coval whoami,失败则 coval login),从 app.coval.dev 获取 API 密钥并设置 COVAL_API_KEY、ORG_SLUG、WORKSPACE_ID。流程为确认智能体、创建或复用对抗测试集、通过 POST /v1/test-cases 创建多准则用例、创建或复用对抗人设、通过 POST /v1/metrics 创建复合指标、启动至少 3 次迭代运行,最后交给 analyze-adversarial-report 做加固分析。
限制:多准则 expected_behaviors 必须走 API,CLI 的 --expected 与 --stdin 不适用;复合指标也须用 API 创建,CLI 会丢弃 criteria 配置。语音场景需注意人设收尾条款以避免通话超时,聊天场景无需语音参数。所有准则须可仅凭对话记录判定,否则返回 UNKNOWN 并计 0.0。具体价格、平台支持范围等资料未提供。