SuperAPI AI 工具集

inno-idea-eval

测试与质量

查看项目

更新于 10-16 00:00

技能介绍

用途:inno-idea-eval 是研究流程中的创意评估环节,位于 inno-idea-generation 与后续代码调研之间,对选定的研究创意做多角色评审并给出质量门决策。

主要能力:按 InnoEval 的 5 个维度(Clarity、Novelty、Validity、Feasibility、Significance)打分;使用 3 个评审角色(Senior ML Researcher、Domain Expert、Methods Specialist)分别评审,再由元评审(Area Chair)汇总;包含主动新颖性核查步骤,检索 arXiv、Semantic Scholar、OpenAlex 判断创意是否已存在;输出评估报告、结构化分数、决策与反馈。

使用方式:输入 selected_idea(必填,读取自 Ideation/ideas/selected_idea.txt)与 context_variables(须含 final_selected_idea_data);references、prepare_res、download_res、data_module 为可选。独立模式下仅需 selected_idea,但评估为无依据评估并需注明限制。新颖性检索命令为:python3 ~/.claude/skills/searching-ai-papers/scripts/search_ai_papers.py --query "<query>" --sources arxiv,semantic_scholar,openalex --max-results 10 --year-from <current_year-3> --format json。每个角色评审需开启新对话。输出先写 .txt 再写 .json,.json 中的 review_text/report_text 必须逐字复制 .txt 全文,不得摘要。

决策阈值:平均分 >=7.0 为 strong_accept,>=6.0 为 accept,>=5.0 为 borderline_accept,>=4.0 为 borderline_reject,<4.0 为 reject。接受路径进入 inno-code-survey;边界路径询问用户;拒绝路径触发精炼循环。

限制:若所需运行时、CLI、凭据或 API 不可用,需说明阻塞并采用手动回退;生成产物不得写回技能目录,应保存在项目工作区;若全部检索失败,新颖性标记为 unverified。具体收费、平台与效果资料暂未提供。