用途
STRATA-Bench 是一个用于评估 AI 智能体的基准（benchmark），聚焦于“碎片化的地理与纵向市场情报”。它要回答的问题是：当公开文件几乎从不等于用户所命名的地理范围时，智能体是否“知道一个数字究竟是什么”。
作者指出，SWE-bench 考察智能体能否修补代码仓库，GAIA 考察能否串联工具回答问题，而两者都没有考察上述问题。在住房、劳动力、犯罪、等候时间等真实机构研究中，公开数据往往与用户指定的地理范围不一致：例如多伦多区域房地产委员会发布连续的 GTA 序列，而市中心区 C01/C08 是付费墙后的数据；咨询笔记以不同节奏到达且单位是 $/sq ft；挂牌网站图表会丢掉季度，再把剩下数据等距排布。
主要能力
基准通过一个评分协议，评估智能体在面对嵌套地理与不完整时间数据时的行为：是披露（disclose）、标记（tag）、拒绝（refuse）还是建模（model）。沙盒周期在结构上模拟 2021–2026 年北美租赁市场的繁荣—衰退（冲击后低谷 → 2023 峰值 → 竣工潮 → 2026-Q1 低谷 → 2026-Q2 首次反弹），并带有留出的 gold 数据。数字并非多伦多真实数据，地理代码为 metro 与 core（C-1 Harbour + C-8 Civic Core），core 的 gold 值为 metro × 1.115，且从不作为公开委员会表格发布。
项目在一页协议（Protocol in one page）中列出核心规则：每个数字都要标明地理范围（metro 和 core 是不同序列，“Downtown”不是委员会代码）；标明来源（MREB 公开 ≠ UrbanPulse ≠ LeaseWatch）；不得虚构付费墙后的区域表格，应披露、以带标记的溢价建模，或拒绝；缺失不等于零，未发布季度应省略或插补，绝不标记为 status=reported；时间轴用时间而非等距刻度（axis_type=datetime），缺口占成比例的宽度；不得混用单位，CAD 租金与 $/psf 若无换算脚注不可共用 y 轴；估算需标记（空心标记、带图例的星号、interpolated_periods）。项目还提示，“给我市中心过去五年的租金”这种无约束提示是一个陷阱，符合协议的简报应指明 provider、地理代码、卧室切分与缺失季度政策。
使用方式
- 需要 Python 3.10+。
- 评估提交：提交是与 submissions/SCHEMA.md 匹配的 JSON 文档。
- 种子排行榜（沙盒，v1.0 评测框架）：这些是仓库附带的参考智能体，用作为评分器提供回归夹具，不代表对任何厂商的声明。
- 社区排行榜：运行自己的智能体后，可按 submissions/SCHEMA.md 添加运行结果为 submissions/community/<agent>-<model>.json 并提交 Pull Request；社区排行榜工作流会针对冻结的 v1.0 gold 评分，并将记分卡作为 PR 评论发布。规则见 submissions/community/README.md。
- 智能体在 Track Sandbox 中可读取 data/sandbox/corpus/** 与 data/public/tasks.json，但不得读取 data/hidden/。
- 完整提示见 data/public/tasks.json，协议见 docs/protocol.md，文档站点为 https://movahedi-ca.github.io/strata-bench/。
适用场景
适用于评估和研究 AI 智能体在碎片化、地理嵌套、时间不完整的市场情报数据上的表现，尤其是需要区分披露、标记、拒绝与建模等不同行为模式的机构研究类任务。
限制
- 基准本身（沙盒语料、评分器、36 个官方任务）冻结在 v1.0；v1.1.0 是工具与文档发布版本。
- Live track 是探针（probe），不是排行榜。
- Gold 随仓库提供以便本地评估；面向未来托管排行榜的哈希隐藏切分仅在 data/hidden/README.md 中勾勒，并在 #1 中跟踪。
- 沙盒数据为合成评估数据（Meridian Metro），不是真实委员会、城市或咨询机构。
- Live-track 中引用的第三方研究仍属其发布者所有，STRATA-Bench 不分发付费墙后的表格。
- 采用 Apache-2.0 许可。
