本页面是普林斯顿大学教授 Arvind Narayanan 与 Sayash Kapoor 关于评估大语言模型（LLM）困难的讲座资料，也是《AI Snake Oil》一书和通讯的作者。讲座标题为“评估 LLM 是一个雷区”。
用途：该讲座旨在揭示在评估大语言模型时遇到的种种陷阱与挑战，帮助研究人员和从业者理解当前评估方法的局限性。
主要能力或议题：
- 提示敏感性：衡量的是模型内在能力还是提示造成的假象？
- 构念效度：评估是否真正测量了想要测量的概念？
- 数据污染：模型是否仅仅记住了答案？
讲座通过具体案例展开：
- ChatGPT 是否随时间变差？引用了 Chen, Zaharia, Zou 的 arXiv 2023 论文以及 Narayanan & Kapoor 在 AI Snake Oil 上的文章。结论是没有能力退化的证据，但行为会随提示变化，需要略微不同的提示才能激发能力。
- ChatGPT 是否有自由派偏见？引用了 Motoki 等人的 Public Choice 2023 论文以及 Narayanan & Kapoor 的回应。指出原论文使用多项选择题和强迫模型表态的技巧，认为聊天机器人的政治偏见可能并非独立于用户群体而存在的构念。提出自然观察的必要性，例如公司发布透明度报告，研究人员创建真实使用语料库。
- GPT-4 是否通过了律师资格考试和美国医师资格考试？引用了 Narayanan & Kapoor 的文章。质疑是否只是记住了答案，并给出污染证据：在 2021 年 9 月 5 日前的编码基准上完美，之后为零；但法律和医学基准无法确定。构念效度问题：为人类设计的考试测量的是可推广到现实世界的能力，用于 LLM 时几乎不能说明什么。
使用方式：页面为讲座幻灯片/内容展示，无具体安装命令或代码。
适用场景：适合 AI 研究者、评估者、政策制定者以及对 LLM 评估方法学感兴趣的读者。
限制：讲座指出评估 LLM 本身困难重重，存在提示敏感性、构念效度和污染等问题；闭源 LLM 还带来可重复性障碍；政策上存在要求 AI 许可的争议提案。讲座还提及 ML 科学中的可重复性危机，系统综述发现大量基于 ML 的研究有缺陷。此外，讨论了不应使用 LLM 评估基金申请，因为模型关注文本风格而非科学内容。
页面还介绍了开放 AI 路径：普林斯顿语言与智能（PLI）倡议，致力于将 AI 专业知识保留在公共领域，并继续在 AI Snake Oil 通讯中讨论该话题。
注：具体讲座视频、幻灯片文件或更多细节暂未提供。
