Vals AI 提供独立的 AI 评估与基准测试服务,强调无偏见的基准结果。其核心测试对象是经济价值较高的真实任务,覆盖金融、软件、网络安全、医疗保健等领域,也涉及前沿风险,如递归自我改进和心理健康。
主要能力包括:运行自有评估并自建多个基准;发布模型在各项基准上的排名、得分、单次测试成本等数据;对主要 AI 模型发布进行评估,例如 Meta 的 Wonder Full 与 Wonder、zAI 的 GLM Legal、Anthropic 的 Claude Haiku 5.5 与 Claude Sonnet 5.5、Google 的 Gemini 4 Argon、OpenAI 的 GPT-6 Sol 与 GPT-6 Luna 等。
平台涉及的基准举例:Vals Index、CyberBench、Public Benefits Bench、Harvey’s Legal Agent Benchmark、LegalBench、Legal Research Bench、Vibe Code Bench、SAFE-Teen、MedScribe、Code Migration、EMB、SRE Bench、Terminal-Bench Science、SAGE、BioMysteryBench、MysteryMechanism、Finance Agent v2、IOI、Tax Agent Bench、ProgramBench、ProofBench v1.1、CUA-bench、SNAP、MedCode 等。部分基准为平台自建,例如 SAFE-Teen 用于测试 AI 聊天机器人在青少年寻求心理健康支持时的回应安全性。
Vals AI 还计划或推出了 Vals Web Search Index,由 Exa、Keenable、Parallel、Tavily 等作为合作伙伴,使用统一设置独立运行,在私有的法律与金融专家任务上评分智能体的最终答案,只更换搜索工具,保持模型与执行框架固定。
使用方式方面,资料未提供具体的注册、调用或访问接口说明,仅提供网站链接 https://www.vals.ai/home。评估通常由平台自行运行,并记录推理努力、温度等设置;部分模型测试使用回退模型处理拒答,并将拒答或提供方策略阻断计为失败任务。
适用场景包括:开发者或企业选型时比较模型在不同真实任务上的表现与成本;研究者了解模型在金融、法律、编程、安全、医疗等专业领域的基准排名;关注 AI 安全与心理健康风险的人群查看相关评估结果。
限制:资料未提供平台是否收费、是否开放 API、具体使用步骤和平台支持范围。部分模型数据为示例性发布内容,实际最新结果需以平台发布为准。