用途:该技能面向开盘偏离条形(Open Deviation Bar,ODB,基于 brim-to-brim 价格采样)数据的评估,适合评估 ML 模型在 ODB 数据上的表现、以 non-IID 条形序列计算夏普率、运行 Walk-Forward Optimization 指标分析、计算 PSR/DSR/MinTRL 统计检验,以及从折叠结果生成评估报告。
主要能力:提供分层指标集,包括 Primary 研究决策指标(weekly_sharpe、hit_rate、cumulative_pnl、n_bars、positive_sharpe_rate),Secondary/Risk 风险指标(max_drawdown、bar_sharpe、return_per_bar、profit_factor、cv_fold_returns),ML Quality 预测健康指标(ic、prediction_autocorr、is_collapsed),Diagnostic 验证指标(psr、dsr、autocorr_lag1、effective_n、binomial_pvalue),以及 Extended Risk 扩展指标(var_95、cvar_95、omega_ratio、sortino_ratio、ulcer_index)。另含模型崩溃检测、Go/Publication 判定框架和 BHR(Beyond Hit Rate)框架。
使用方式:安装依赖 pip install -r requirements.txt(或 pip install numpy>=1.24 pandas>=2.0 scipy>=1.10)。计算指标:python scripts/compute_metrics.py --predictions preds.npy --actuals actuals.npy --timestamps ts.npy。生成报告:python scripts/generate_report.py --results folds.jsonl --output report.md。另有 scripts/validate_schema.py 校验指标 JSON。参考文档涵盖夏普公式、风险指标、ML 预测质量、加密市场、时间聚合规则、指标 JSON Schema、反模式、SOTA 2025-2026、BHR 框架、实例与结构化日志。
关键要点:ODB 违反 IID 假设(时长可变、自相关、信息量不恒定),需先经 _group_by_day() 按自然日聚合再算夏普。年化因子:加密 24/7 用 sqrt(7)/sqrt(365),股票用 sqrt(5)/sqrt(252);对伦敦-纽约时段过滤数据若误用 sqrt(7) 会高估约 18%。建议对时段过滤与全条形两种视图分别计算。
适用场景:ODB 数据上的模型评估、信号稳健性检验、前向优化指标分析、统计显著性验证与评估报告生成。
限制与说明:需 scipy 等依赖,时间戳需 Unix 格式;Omega/Profit Factor 在样本过少时不可靠(有 min_days 参数,默认 5);未提供具体性能基准或付费信息。