SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场crucible-investigation-methodology

crucible-investigation-methodology

数据与分析

查看项目

更新于 10-16 02:04

技能介绍

Crucible Investigation Methodology 是一套面向假设验证的调查方法论技能，定义了 6 种执行模式，用于在主动调查假设时指导“如何做”。这些模式服务于 a-research-foundations，是其“为什么”对应的“怎么做”。技能具有自我演化特性：若某模式在实践中失败（结果错误、浪费算力），应更新对应章节并追加到 references/evolution-log.md。

一、用途 该技能用于系统性地调查和验证假设，尤其是在数值市场数据等场景中。它提供从数据表示、假设检验、多智能体分析到计算编排的完整流程，帮助避免样本内过拟合、确认偏差和计算资源浪费。

二、主要能力

  1. LLM 原生数据表示——五分位 token：在让智能体“查看”数值市场数据前，使用因果窗口内的滚动五分位排名，将数据编码为逐 bar 的 token 序列。规范模式为 idx dir body_q range_q dur_q uwick_q lwick_q loc sess fwd+H...，每个五分位在因果 200-bar 滚动窗口中取 1..5。智能体可识别如 +1:5:1|+1:5:1|+1:5:1（连续三根快速大涨 bar）等在浮点空间中不可见的模式。上下文预算规则：60 KB 的 token 化统计表适合智能体上下文，67 MB 的原始 bar 则不适合。

  2. 串行对抗门（A/B/C/D/E 协议）：在信任任何样本内正向结果前，需依次通过 4-5 个独立门。门 A 方向性分解：判断优势来自多头、空头还是两者，捕捉看似扩散实则方向性的优势。门 B 镜像对称：检查反向触发是否显示镜像优势，捕捉样本窗口漂移导致的一侧膨胀。门 C 样本外时间分割（80/20 按时间顺序）：检查发现是否在保留的后期数据上存活，捕捉样本内过拟合。门 C 不可协商，没有时间分割样本外就绝不报告正向结果。门 D 跨资产重放：检查是否在其他标的上复现，捕捉资产特定过拟合。门 E 全历史逐年：检查是否在 ≥60% 的年份中为正，捕捉单年运气。判定分类：全部通过 → validated-cross-asset（推广）；A+B+C 通过、D 失败 → validated-asset-specific（缩小范围，不杀死）；C 失败 → 杀死并归档，附 resurrect_if 条件。

  3. 多视角智能体综合（4-5 个并行专家）：当暴力搜索不可行时，启动 4-5 个具有不同分析视角的专家智能体并行工作。收敛即验证，分歧即诊断。规范视角集包括：模式-母题/n-gram、制度/趋势分类器、形态/影线猎手、信息理论家/惊奇度、隐藏信号猎手/怀疑批评者——后者必须始终包含，以防止确认偏差。规则：相同原始数据，不同视角提示；每个智能体需针对打乱零假设测试、估计多重检验负担、要求零检验 z > 2 且逐年稳定；第 5 个智能体明确询问“前 4 个已同意，你同意还是反对？”；≥3/5 收敛 = 可能真实；仅 1 个智能体 = 可能视角特定伪影。分歧是信息，若两个智能体发现不同信号，独立测试两者。

  4. 逐笔交易富集用于亏损复盘：当信号有时有效有时失败时，将聚合问题转化为行级问题。流程：步骤 1 在全历史运行信号，收集 N 笔交易结果；步骤 2 在每个触发 bar 计算 20-30 个因果特征；步骤 3 输出 parquet（逐笔交易 × 特征矩阵）；步骤 4 发送给多视角智能体；步骤 5 每个智能体寻找过滤器；步骤 6 通过打乱零假设 + 样本外评估过滤器。必备特征类别（每类至少一个）：趋势/制度（SMA、斜率、自相关）、波动率制度（rv、范围压缩、Kaufman ER）、模式上下文（触发时及滞后的五分位）、耗尽/聚集（距上次信号的 bar 数、窗口内信号计数）、位置（距摆动高点的 ATR 归一化距离）、日历（小时、星期、月、会话）。会话示例：将 +0.178 bps 基线转为 +0.514 bps 过滤后（2.9 倍提升）。

  5. 正交零假设级联（正交零重测）：当信号通过一种零假设类型后，在信任前用正交零假设重测。会话示例：阶段 F-B 打乱波动率预测列 → +0.370 信号在该零假设下“丢失”，z=−5.15；阶段 C 打乱触发掩码（正确的零假设）→ +0.439 信号通过，z=+5.74。若仅做阶段 C，可能信任了错误的零假设；若仅做阶段 F-B，可能错过真实信号。规则：每当出现正向结果，至少识别一个正交零假设并重测。常见正交对：特征打乱与掩码打乱、排列与块自助法、打乱选择与参数化（如二项尾部）。若信号通过两者，更可信；若通过一个但失败另一个，调查原因——分歧揭示了信号机制的信息。

  6. 计算编排（pueue + 包装脚本）：长并行扫描通过 pueue 在 GPU 主机上执行，需遵循特定纪律。反模式（静默失败，0 秒“成功”）：ssh <gpu-host> '~/.local/bin/pueue add -- bash -c "VAR=1 python script.py"'。正确模式：创建包装脚本 /tmp/run.sh，使用 set -euo pipefail、export VAR、cd /tmp、exec uv run --python 3.14 --with numpy --with pandas python -u /tmp/script.py；scp 到 GPU 主机；ssh 执行 chmod +x 并通过 pueue add --group mygroup --label "job" -w /tmp -- /tmp/run.sh；ssh 执行 pueue wait <id> --quiet; tail -50 ~/.local/share/pueue/task_logs/<id>.log。关键点：使用包装脚本（绝不内联 bash -c），因为 pueue 的 sh -c 包装会剥离内联引号；python -u 用于无缓冲 stdout（否则日志 40 分钟为空）；pueue restart --in-place <id>（而非裸 restart，后者创建新任务 ID）；使用 fork 多进程上下文通过 COW 共享预计算数组。另见 Skill(devops-tools:pueue-job-orchestration) 获取扩展模式。

三、使用方式 按大致顺序应用于新假设：先进行 LLM 原生数据表示，再通过串行对抗门，必要时启动多视角智能体综合，对亏损进行逐笔交易富集，使用正交零假设级联重测，最后通过 pueue 编排计算。执行后需反思：模式是否捕获 bug、节省时间或产生验证发现？增加确认计数并记录会话/审计文件夹到 evolution-log.md。模式是否失败（误导、浪费算力）？在表中降级并附简要说明，添加到演化日志并链接失败会话。是否出现新执行模式？起草新章节并追加到演化日志。计算反模式是否再次出现？重新检查 §6 措辞，澄清陷阱。

四、适用场景 适用于需要主动调查假设的场景，特别是数值市场数据分析、信号验证、多智能体分析、亏损复盘和长并行计算任务。

五、限制 该技能为方法论指导，具体效果取决于应用场景和数据。确认计数为临时性：模式 1 五分位 token 确认 3 次；模式 2 串行门确认 1 次重大（NGRAM3FU 4 门通过），为已验证模板；模式 3 多视角智能体确认 3 次；模式 4 逐笔交易富集确认 1 次，需重新确认；模式 5 正交零假设级联确认 1 次，即原则本身的发现；模式 6 pueue 编排确认 30+ 任务，置信度非常高，为标准基础设施。技能要求自我演化，失败模式需降级并记录。