HARNESS-DB 是一个 LLM 智能体执行框架（agent harness）数据集。这里的“执行框架”指语言模型与任务环境之间的软件，负责组装模型输入、执行模型选择的动作，并决定是否继续。该数据集对 2022 年至 2026 年间的 1,256 个系统，按九层共 38 个设计维度进行编码，单元格总数达 47,728 个。
每个单元格要么包含一个值，该值背后有逐字引用和可重新打开的定位符（通常是指定提交中的某个文件及行号，或论文的某一节）；要么明确标记为 not_reported。数据显示，48.9% 的单元格属于有记录的沉默——来源已被阅读，但未说明相关信息。在按领域加权后，沙箱与环境层的单元格有 81.6% 未报告，而控制循环层为 24.9%，说明安全部署相关层描述最少。若把沉默当作一个值来处理，会制造出实际不存在的关联：在 666 个维度对中，有 265 个仅在将 not_reported 视为一个类别时才表现出关联。
主要能力与使用方式方面，DB 提供 db.cells 长表（每个系统与维度一行）、db.wide()（每个系统一行）、db.systems（包含分层与采样权重）以及 db.to_hf()（返回 Hugging Face DatasetDict）。若不在克隆目录中，可将 hdb.load() 指向解压后的发布版本，或设置环境变量 HARNESSDB_DATA。九个层的所有维度及其允许值定义在 schema/dimensions.json（模式版本 1.0.0，已冻结），每个值的定义与编码规则见 docs/coding_manual.md，与早期分类法的对照表也在模式中。
数据格式与获取渠道：可从 GitHub Releases、Zenodo（doi:10.5281/zenodo.23031354；v1.0.0 为 10.5281/zenodo.23031355）以及 Hugging Face（https://huggingface.co/datasets/bhaskar-ai/harness-db）获取，见 DATASET_CARD.md。也可从克隆仓库通过 python scripts/release_dataset.py --version 1.0.0 --out release/ 构建；构建过程从 data/systems.json 派生所有文件，若数据验证失败则停止。
可靠性方面，编码者为在固定协议下工作的模型实例（编码手册 v1.0 和带版本的提示词）。其中 247 个系统被独立地、通过同一流程编码了两次，因此相关指标测量的是该流程的可复现性（模型间一致性），而非与人工阅读相比的准确度。区间为以系统为单位的 95% 聚类自助法区间（2,000 次抽样）。有四个维度的区间包含 0.6 下限：loop_primitives 0.590 [0.523, 0.657]、edit_primitive 0.628 [0.537, 0.711]、network_policy 0.668 [0.527, 0.793] 和 retry_policy 0.676 [0.587, 0.765]。其中 loop_primitives 是唯一低于下限的维度，被保留并标记：它是多值的，精确集合匹配会将任何额外列出的原语计为完全不匹配，其按值 κ 为 0.731。未给出所有单元格堆叠在一起时的单一 κ，因为堆叠会使其膨胀。相关推理见 docs/coding_reliability.md。编码流程之外的检查测试的是覆盖范围而非单元格值：参考集召回率为 27/27；独立构建的筛选流程与纳入决定的一致率为 0.84（κ 0.66）。要核对某个单元格的值，可打开其定位符；若值有误，可报告。
贡献与协作方面，可以添加系统、更正单元格，或请求对某个系统进行编码。模板、证据规则和验证器门禁见 CONTRIBUTING.md。docs/COVERAGE_WANTED.md 由数据生成，列出星标最多但尚未编码的系统，以及证据最稀疏的维度。开放工作按规模从小到大包括：确定你所熟悉系统的一个沉默单元格（#2，5–15 分钟）；编码一个未编码系统（#1）；工具类（#6 MCP 服务器的 Dockerfile、#7 PyPI 上的加载器、#9 过时固定检查器）；研究类（#3 更大的证据包、#4 第二个人类读者、#5 改变一个智能体绑定的对照研究、#8 对照表），实质性工作可获共同作者身份。若你维护数据集中的某个框架，可共同维护其条目。可在 Discussions 中交流。
该项目采用预注册协议（osf.io/ab2wn；修订记录在 docs/protocol_prisma_p.md）和每单元格证据设计构建：没有引用和读者可重新打开的定位符，任何值都不会进入数据集。数据、模式和文档采用 CC BY 4.0 许可；代码（加载器、脚本、验证器、浏览器、CI）采用 MIT 许可。CI 在每次推送和拉取请求时运行模式新鲜度检查、验证器和测试。论文中的每个计数都在 docs/count_reconciliation.md 中与数据核对。
限制与注意事项：编码由模型实例完成，可靠性指标反映流程可复现性而非人工准确度；部分维度区间包含或低于 0.6 下限；沉默单元格不应被重新编码为某个值；关于领域的断言应使用采样权重（编码系统从 6,504 个系统的框架中按层抽取，其中层 H 完整、P 和 O 为抽样，抽选之外编码的 23 个系统权重为 0），加载器会自动应用这两条规则。
