用途：为以色列产品团队提供可运行的希伯来语 LLM 评测流程，避免凭感觉或营销说法选型。第一步按实际用例挑最小基准集，如 HeQ（阅读理解/抽取式问答）、HebrewSentiment、HebNLI、Hebrew Winograd、翻译（NeuLab-TedTalks en-he）、Hebrew MMLU（经 global_mmlu 任务原生支持）、DictaLM 3.0 摘要/Nikud/以色列冷知识、AlephBench、幻觉与弃答（asmachta）、长上下文 NLI（LCHAIM）、HebSummaries 等。经验做法：HeQ 加一个匹配产品任务即可，超过三个很少改变决策。
框架：推荐 lm-evaluation-harness（基座模型、榜单对齐）或 inspect_ai（聊天模型与智能体、分级评分）。HeQ、HebrewSentiment、HebNLI 非原生任务，需自定义 YAML 指向对应 HF 数据集。
使用：安装 datasets、transformers、anthropic、openai、google-genai、ai21，配置 ANTHROPIC_API_KEY 等环境变量，运行 python scripts/run_eval.py --benchmark heq --model claude-sonnet-5 --limit 100 或 python scripts/run_eval.py --suite hebrew-core --models claude-sonnet-5,gpt-5.6,jamba-large；再以 scripts/score_results.py 计分、scripts/make_scorecard.py 生成含 JSON、markdown 表格与加权建议的报告。run_eval.py 仅为可运行骨架：--benchmark 只分发 heq、sentiment、hebnli，本地 HF 模型抛 NotImplementedError，且无重试、退避与并行，遇限流会直接抛 SDK 异常。
评估纪律：每项报告置信区间而非均值，每模型至少跑 3 次以捕捉解码噪声，样本至少 500、建议 1000+ 并标注 n；用同一批样本与配对检验（准确率用 McNemar，F1 用配对 bootstrap）；固定温度与提示模板并记录种子。Hebrew Winograd 仅 278 题，二项置信区间约 ±6 个准确点。
闭源模型：记录响应中实际服务的模型版本字段；Claude 当前 ID 无日期后缀，加日期会无效；OpenAI 记录 model 与 system_fingerprint；Gemini 记录 modelVersion；并给数据集传 revision。
分词公平性：BPE 对希伯来语词元膨胀约 3-5 倍，DictaLM 报告 2.76 token/希伯来词，Mistral-7B 为 5.78。需记录 token 用量、公平截断、按最贵模型设置输出预算，并随记分词表。
限制：仓库内评分卡数字为占位示例，非实测结果；情感榜与 HebrewSentiment 数据不可比；AI21 1.6 之后语言支持需自行核对卡片；文本在长度上限处被截断，部分细节暂未提供。