SuperAPI AI 工具集

prompt-engineering-research

智能体与模型

查看项目

更新于 10-16 07:17

技能介绍

用途:把系统化提示工程技术应用于学术研究场景,提升以 LLM 为研究工具时的可靠性与可复现性。

主要能力:

  1. 提示设计模式:零样本、少样本(2-5 例)、思维链、角色提示、结构化输出(JSON/YAML/表格)、自洽性(多次采样取多数)。资料以表格给出各模式的适用任务与可靠性高低。
  2. 研究专用提示模板:create_research_prompt(task_type, context) 支持 literature_summary、methodology_critique、code_review、data_interpretation、writing_feedback 等类型,按模板生成结构化提示,如文献总结要求区分作者主张与证据支持;方法学评审按内部效度、外部效度、统计方法、样本、可复现性逐项评级并提改进建议。
  3. 复杂任务思维链:research_cot_prompt(question, data) 按六步推理:识别变量关系、选择分析方法、检查假设、执行或描述分析、结合语境解读、说明局限与替代解释,并允许显式标注不确定性。
  4. 提示评估:evaluate_prompt(prompt_template, test_cases, expected_outputs, model_fn) 对每个用例运行多次,用 difflib.SequenceMatcher 计算输出一致性,输出平均一致性并判定 high/moderate/low。
  5. 工作流集成:screen_paper_relevance(title, abstract, inclusion_criteria, exclusion_criteria) 生成系统综述筛选提示,输出 INCLUDE/EXCLUDE/UNCERTAIN、命中的标准与置信度,并规定不确定时倾向 INCLUDE。

使用方式:按任务类型选择模板或模式,填入上下文生成提示;对可靠性要求高的任务用少样本、思维链、结构化输出或自洽性;用评估函数检验提示稳定性;记录模型、版本、温度与精确提示以保证可复现。

伦理与限制:需披露 AI 使用;LLM 输出必须独立核查事实、引文与计算;注意偏见;引文可能为幻觉,需逐条验证;AI 不符合 ICMJE 作者标准,不能作为共同作者。资料未提供具体模型、版本、温度、收费与平台信息。