用途
本技能用于低资源美洲原住民语言的图像描述任务。任务给定带有语言元数据(语言、ISO 639-3 代码、文化)的小尺寸、文化特定图像,以及少量带描述的可见训练样本,要求为每个评估项生成一条对应语言的描述字符串。
输入与交付物
输入包括:评估项(语言、ISO 639-3 代码、文化)与 uint8 RGB 图像(例如 64x64x3);可见训练行包含 caption、iso_lang、has_image、images 字段,其中部分行仅有 caption 而无图像。交付物为字符串列表,每个评估项一条非空字符串,使用该项对应语言。captions.fit_predict 会将字符串截断至 1000 字符,具体以任务声明为准。
质量指标
采用平均句子 chrF++,越高越好。计算方式为 sacrebleu CHRF(word_order=2),即字符 1-6-gram、词 1-2-gram、beta 2、区分大小写,取值 0-100,与参考描述对比。基线为各语言可见训练描述的 medoid。
可用工具
来自 scilib 的 captions 模块:chrf、mean_chrf(操作符 caption_chrf_score)、medoid(caption_medoid)、consensus_caption(caption_consensus_string)、mbr_caption(caption_mbr_clauses)、by_language、fit_predict(train_rows, items, method="consensus"|"mbr"|"medoid"),后者为每种语言生成一条字符串,仅使用该语言的描述。可用 loo_score / loo_compare / loo_lengths(操作符 caption_holdout_chrf_estimate)在未见描述上估计策略,并将 n_train 设为真实训练规模。
来自 scilib 的 clip_retrieval 模块:available()、provenance()、encode_images(image_embedding_clip)、retrieve_captions(train_rows, train_images, eval_items, eval_images, k=1, selection="nearest"|"caption_medoid", fallback=...)(image_caption_retrieval_clip),实现同语言余弦最近邻描述查找,仅有 caption 的行会被跳过。
权重为 open_clip_vit_b32(通过 open_clip 使用 OpenAI CLIP ViT-B/32,需要 torch)。可用 scienceclaw_tools(operation=weights) 与 clip_retrieval.available() 检查;不会隐式下载任何内容,需自行核实许可证。使用时须披露:这是一个外部预训练编码器,不接触任何描述或标签。
使用方式与路线
路线一:语言级描述,使用 medoid,或使用针对该语言描述池最大化平均 chrF++ 的 consensus/MBR 字符串。路线二:图像条件检索,可选 k>1 且 selection="caption_medoid"。当每种语言的描述很少时,检索得分可能低于 medoid;应通过训练行上的留一法 chrF++ 来选择。
规则与限制
不得跨语言合并描述。retrieve_captions 对没有带图描述的语言返回空字符串,因此需传入 fallback=(例如该语言的 medoid)。不得使用目标描述。Consensus 与 MBR 字符串优化的是 n-gram 重叠,并不符合语法,报告中需说明这一点。每个评估项一条字符串,保持输入顺序。不得仅凭像素统计声称具备图像理解能力。