用途:帮助研究者在分散的希伯来语/意第绪语 ML 生态中,按任务快速定位数据集与模型,并判断许可证与可用性。
主要能力:按任务给出数据集家族,如 ASR 看 ivrit.ai(crowd-transcribe、audio-v2、whisper-large-v3 系列),LLM 预训练看 Dicta 语料、CulturaX、fineweb-2 heb_Hebr、MADLAD-400、OSCAR-2301、mC4;情感用 HebrewSentiment,NLI 用 HebNLI,问答用 HeQ、ParaShoot,摘要用 HeSum、HebSummaries,基准用 HEBREW-MMLU。整理 ivrit.ai、Dicta、HebArabNlpProject、NNLP-IL 等机构的关键产物与许可证姿态,并区分 Knesset 音频(ivrit.ai 定制许可、门控)与 HaifaCLGroup/KnessetCorpus 文本(cc-by-sa-4.0、非门控)。
使用方式:先按任务匹配数据集家族,再核对数据集卡上的许可证与门控状态;ivrit.ai 多数数据集为自动批准门控,需用训练所用 HF_TOKEN 对应账号在页面点击 Agree,模型通常不门控。给出模型-数据配对建议,如 dictabert + HebrewSentiment、dictabert + HeQ、whisper-large-v3 + 领域音频。
适用场景:商业产品、研究发表、内部原型、政府/国防等不同用途的许可证选择;按语域(现代书面、口语、学术、宗教、议会、希英混合)匹配数据。
限制:许可证会变化,须以 HuggingFace 数据集卡为准;未声明或未命名许可证视为保留所有权利;CulturaX、OSCAR 等网页语料不授予抓取页面权利;希伯来语需注意 niqqud、sofit 形式、geresh/gershayim、maqaf 及子词切分等清洗问题。部分资源(如 TTS、Yiddish)数据仍稀缺。