scienceclaw-benchmark-for45
这是一个面向低资源美洲原住民语言的图像描述(image captioning)基准任务。输入为带语言元数据(语言、ISO 639-3 代码、文化)的评估项,图像为 uint8 RGB(如 64x64x3),并提供可见的训练行(含 caption、iso_lang、has_image、images,部分行仅有 caption)。交付物为每个评估项一条非空字符串,使用该项对应语言。质量指标为平均句子 chrF++(sacrebleu CHRF,字符 1-6-gram、词 1-2-gram、beta 2、区分大小写、0-100),越高越好,基线为各语言可见训练描述的 medoid。工具来自 scilib 的 captions 与 clip_retrieval 模块,提供 chrf、mean_chrf、medoid、consensus_caption、mbr_caption、by_language、fit_predict,以及 CLIP 图像检索相关函数。规则要求不得跨语言合并描述、不得使用目标描述、每项一条字符串且保持输入顺序。