SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场jupyter-notebooks

jupyter-notebooks

数据与分析

查看项目

更新于 11-02 02:09

技能介绍

一、用途 该技能用于创建、编辑或校验可复现的 SQL 或 Python Jupyter Notebook，覆盖笔记本、SQL/Python 草稿区、可复现探索、审计线索和可运行产物等需求。核心目标是把笔记本做成易于浏览、可重跑、可交接的读者面向分析制品，而不是零散输出的草稿集合。技能要求：除非明确说明执行缺口并给出复现所需的验证步骤，否则笔记本必须能自上而下成功执行才算完成。

二、主要能力

  1. 确定笔记本模式与范围：判断属于分析报告、实验日志、诊断笔记本、数据质量检查、市场规模测算、模型探索、教程还是报告配套材料；明确读者、决策、预期交接、所需输入，以及是新建还是定向修改现有笔记本。
  2. 使用笔记本安全工具进行查看或搭建：优先使用 JupyterLab、nbformat、nbclient 或现有脚手架工具，而不是手改原始 JSON；编辑现有笔记本时保留原意图、减少 JSON 变动、避免无谓调整单元格顺序；若必须改原始 JSON，完成前需校验结构。
  3. 按模式组织结构：分析类默认采用 ## tl;dr、## Context & Methods、## Data、## Results、## Takeaways，并在假设影响正确性时加入 ### Key Assumptions；教程或演练采用 ## Goal、## Setup、## Steps、## Checks、## Next Steps。tl;dr 和 Takeaways 应在查看执行输出后撰写，引用具体观测值、可见模式、行或图表。
  4. 建立清晰的数据与计算路径：分离环境设置、导入、参数、数据加载、数据准备、计算、可视化和解读。SQL 与 Python 混用时，复杂 SQL 应放在 SQL 单元格或独立查询文件中，避免大段嵌入 Python 字符串。使用描述性变量名，每个代码单元格聚焦一步。
  5. 有意识地使用数据源：需要表数据时，先用 ~~structured_data 确认表选择、模式、分区过滤、样本行和查询提交策略；有源连接器时优先使用，再回退到导出或粘贴 SQL；需要新鲜度或血缘检查时用 ~~operations_logs。为支撑分析的结果记录查询永久链接、请求 ID、源路径、仪表板链接、提取物名称等来源上下文；重查询应过滤并限定范围，避免变成大范围实时源扫描。
  6. 让单元格可读且有边界：多数代码单元格前加简短、面向动作的 markdown 标题，如 ### 1. Load Data、### 2. Validate Inputs、### 3. Plot Results；偏好多个短单元格而非一个混杂大单元格；说明目的、假设和预期结果，不逐行解释代码；多表或多图分到不同单元格。
  7. 写结论前验证结果：核对关键数字、图表和结论与已执行输出一致；限制原始调试输出、超大表和噪声日志；结果异常时先做局部合理性检查、小样本查看或与可信来源对账，再放入摘要。
  8. 执行并记录验证状态：环境允许时自上而下运行，命令为 python -m jupyter nbconvert --execute --to notebook --inplace path/to/notebook.ipynb；可选本地安装命令为 uv pip install jupyterlab nbformat nbclient ipykernel。无法执行时须明确说明，并给出本地验证所需的确切命令、缺失依赖、凭证、数据访问、内核或环境步骤。

三、标准与检查项 结构方面：默认自上而下阅读清晰；执行摘要放顶部但最后撰写；章节与笔记本模式一致；章节标题、图表标题、标签和文件名足以支持交接；重构时保留原意图。 可复现方面：参数、日期范围、过滤器、人群、假设和来源引用靠近顶部；记录足够来源上下文；尽可能确定性计算，避免隐藏状态、手工修改中间值、乱序依赖和无法解释的缓存输出；非常规包、内核、凭证或本地文件需显式环境设置单元格或说明。 代码与数据卫生：数据准备与展示分离；复杂 SQL 保持可读并带一行目标注释；数据准备完成后在 Python 中进行绘图和轻量整形；输出有边界，使用小预览表、抽样行、显式限制和聚焦图表；避免宽泛实时源扫描，按分区、人群或时间窗过滤。 分析质量：假设影响解读时明确写出；结论与执行输出以具体数字、行、图表或可见模式关联；未执行或未验证的计算不得放入 tl;dr；标注警示、未完成检查、缺失源访问和已知验证缺口；对异常结果、高影响声明或面向利益相关者的结论增加合理性检查。 验证清单：模式所需章节顺序齐全；笔记本无运行时错误执行，或明确说明执行失败；预期位置有输出且不被原始调试转储主导；tl;dr、Results 和 Takeaways 与已执行单元格一致；保留来源引用及查询或制品链接；表和图表有标签、有边界、可解读；最终回复包含笔记本路径和验证状态。

四、适用场景 适合需要可复现、可审计、可交接的分析制品，例如分析报告、实验记录、诊断排查、数据质量检查、市场规模测算、模型探索、教学教程和报告配套材料。也适合对现有笔记本做定向改进和结构整理。

五、限制 资料未提供具体支持的数据库或平台清单、性能上限、权限要求、收费标准与价格信息；实际执行依赖本地内核、依赖包、凭证和数据访问权限；无法执行时必须显式说明执行缺口及复现步骤。