SuperAPI AI 工具集

aqua-evaluation

智能体与模型

查看项目

更新于 10-16 03:11

技能介绍

用途:在 OCI Data Science 上使用 AI Quick Actions 对 LLM 模型进行质量评估,适用于希望量化模型生成效果的场景。

主要能力:支持四类指标。BERTScore 基于嵌入的语义相似度,输出 precision、recall、F1,适合通用文本质量评估;ROUGE 衡量生成文本与参考文本的 n-gram 重叠,适合摘要任务,含 ROUGE-1、ROUGE-2、ROUGE-L;Perplexity 衡量模型对文本的预测能力,反映语言建模质量;Text Readability 反映生成文本的阅读难度与可访问性。评估结果会生成 Model Catalog 条目。

数据集格式:JSONL,必填 prompt 与 completion,可选 category。category 用于在报告中按类别拆分指标,省略时默认 "_"(未知)。官方提供两个样例数据集(各 10 条 prompt,math 与 logic 类别):examples/evaluation-sample-no-sys-message.jsonl 和 examples/evaluation-sample-with-sys-message.jsonl。

使用方式:Python SDK 先导入 AquaEvaluationApp,再用 CreateAquaEvaluationDetails 构造参数并调用 create。evaluation_source_id 可传部署 OCID,也可传模型 OCID 直接评估模型;对堆叠/多模型部署,可在 model_parameters 中通过 model 指定目标模型。支持实验跟踪(experiment_name、experiment_description)。可调用 list(compartment_id=...) 列出评估、get(eval_id=...) 查看详情。CLI 命令包括 ads aqua evaluation create / list / get,create 需提供 evaluation_source_id、evaluation_name、dataset_path、report_path、model_parameters、shape_name、block_storage_size、compartment_id、project_id、metrics 等参数。

结果解读:BERTScore 分数越高越好,围绕均值聚集表示表现稳定;ROUGE 通过不同 n-gram 重叠衡量摘要质量。

限制:BERTScore 可能偏好与其自身架构相似的模型,不考量句子级语法,对习语、文化语境等词级以外的效果有限,且不适合评估编程任务上的编码模型。

关键源文件:ads/aqua/evaluation/evaluation.py、ads/aqua/evaluation/entities.py、ads/aqua/config/evaluation/evaluation_service_config.py。其余细节资料未提供。