SuperAPI AI 工具集

learn-eval-deep

智能体与模型

查看项目

更新于 10-15 19:58

技能介绍

用途:在 /learn-eval 給出自評分後,用 learn-eval-deep 對單一 learned skill 做客觀交叉驗證。

主要能力:提供三種深度模式——structural(結構分析,即時、0 tokens)、trigger(描述品質與觸發查詢生成,約 6K tokens)、full(加入消融實驗,約 18K tokens,1 case × 1 run,僅供 sanity check)。Bridge 輸出三系統分數:System 3 結構、System 1 觸發、System 2 消融 delta(僅 full 模式),並映射回 learn-eval 的 5 維度:Specificity、Actionability、Scope Fit、Non-redundancy、Coverage,與自評並排顯示並標註資料覆蓋率。

使用方式:Step 1 定位 skill,無引數時以 ls -t ~/.claude/skills/learned/.md | head -1 找最近修改者;有引數時用 ls ~/.claude/skills/learned/{引數}*.md 搜尋。Step 2 選深度,預設 1(structural)。Step 3 執行 bridge:python3 ~/Documents/skills-ecosystem-eval/src/learn_eval_bridge.py "{skill_path}" --mode {mode},bridge 不存在時提示先 clone。輸出前需做完整性檢查,缺欄位則停止計算、標記 N/A 並警告。Step 4 呈現分數與映射結果,總分 /25 給出 PASS/FAIL。Step 5 依結果建議動作,使用者同意時直接讀取並修改 skill 檔案後重跑驗證。

限制:structural 模式只看檔案結構、不呼叫 LLM;trigger 模式生成查詢但不實際跑觸發測試;full 模式消融僅 1 case × 1 run,統計力有限;Active agents(~/.claude/agents/)結構與 learned skills 不同,部分維度不適用。