SuperAPI AI 工具集

idea-quality

测试与质量

查看项目

更新于 10-16 00:31

技能介绍

用途:在实验尚未开展的想法阶段,评估研究想法的强弱,给出评审者可识别的质量分数与理由。该技能自足运行,不查询外部语料库或数据集,仅凭想法文本判断,结果可复现。

输入:一个 Markdown 想法文件,含三节。Title 约不超过 15 词,是想法标签;Motivation 描述所攻瓶颈/空白、重要性及为何仍未解决;Method 以具体编号步骤给出拟议贡献。Title 对应标签,Motivation 喂给维度 A 和 C 的“问题”一侧,Method 喂给维度 B 和 C 的“方法”一侧。若某节缺失或单薄,可根据其余内容推断最合理读法并注明假设,不必因追问澄清而停滞。若传入两个文件或一个文件含两个想法并希望比较,则运行成对比较轨道。

范围与限制:因无实验存在,每个维度均为推理层判断,类似评审在见结果前看摘要所做的判断;不得虚构或假设实验结果来打分,若某主张需实验验证,则判断其论证的可信度而非想象结果。该技能不是先行文献查重,“是否已有人做过”属于另行的文献碰撞任务;它判断想法本身是否好(真实空白、方法有深度、合理且切题),而非是否存在近似重复。高分表示想法强,但不预测录用,因为录用还取决于它看不到的执行。

三个维度:A 问题定位质量——Motivation 指出的空白是否真实、重要、非显然且确实开放,还是浅薄、已解决或取巧的软目标。B 方法质量——以单一分数评分,但理由中必须分解为三个子判断:depth(真正的新机制/构造/重构,还是增量微调)、soundness(“为何可行”的内部论证是否成立,假设是否合理,有无空泛或逻辑缺口,只评方法自身逻辑)、feasibility(原理上可构建,非“能否取得好数字”;最软,仅作平局打破项,让 depth 主导)。C 问题契合度——方法是否真正针对并可能解决 Motivation 中的具体空白,而非相邻、更易或不同的问题。B-soundness 问方法的自身逻辑是否自洽,C 问该逻辑是否连到本问题,需分开。

评分采用双轨。始终运行绝对轨道;比较两个想法时另运行成对轨道,并以成对为准,因为相对判断噪声远低于绝对值。每维度取 1–5 整数;不设固定等级描述,每个分数必须引用想法中的具体短语或元素作为证据,无引用证据不允许给分。判断实质,不看长度或流畅度。绝对轨道总分:overall = round(100 * (A + B + C - 3) / 12);判定带:strong ≥ 67,borderline 34–66,weak < 34。A/C 门限覆盖判定带:若 A ≤ 2 或 C ≤ 2,判定不能为 strong(至多 borderline),并需一句话说明;低 B 不触发上限,简单方法若能真正解决重要问题仍可为强。成对轨道逐维度指出哪个想法更强(想法1/想法2/平局)及一句话理由,B 需按子判断分别说明,然后整体给胜者;C 近乎必要,决定性的 C 失利通常决定整体胜负。比较时对来源盲判,不得因哪个系统或模型产生而影响判断。

输出:单个想法输出包括标题、分解(问题/空白、方法、为何可行、推断假设)、三轴分数表(含引用证据与理由)、总分与判定带、A/C 门限触发说明、最强点与最可修复弱点。比较则先给每个想法的绝对块,再给成对比较表与整体胜者及理由。适用场景为研究想法评审、提案初筛与想法对比;限制为仅凭文本、无实验、不做查重、不预测录用。更多信息与用法详见 https://www.skills.sh/microsoft/researchstudio/idea-quality。