SuperAPI AI 工具集

palantir-core-workflow-a

办公与效率

查看项目

更新于 10-15 23:28

技能介绍

用途:在首次生产构建前,明确流水线的输入、输出、引擎、写入行为与质量检查,并优先选择满足数据规模与功能需求的最简计算引擎。

主要能力:支持批处理与增量流水线、可复用库、expectations,以及单节点(Polars、pandas、DuckDB)或分布式(Spark)引擎。输入与输出数据集必须不同,否则会形成循环依赖;增量输入模式与输出写入模式有精确的事务语义,modify 与 replace 不可互换;当增量事务历史变慢或失效时可能需要快照构建。

使用方式:先确认所属项目、代码仓库、输入输出数据集、schema 契约、数据分类与构建计划,判断是否需要 Spark 或可用单节点引擎,阅读 references/official-docs.md 并检查输入事务历史后再选择增量语义,在沙箱分支上开发。编写流水线契约(负责人、输入、输出、主键或去重规则、schema、质量期望、恢复目标),选择引擎并记录理由,实现显式输入输出声明,将纯业务逻辑单独测试。若采用增量,需定义读取模式、写入模式、迟到数据处理与快照恢复。预览代表性案例、运行仓库检查、在分支构建、检查指标与输出事务后请求评审。

适用场景:构建或改造 Foundry Python transform 流水线,包括将仅追加事件转换改为增量处理、在验证功能兼容性与输出一致性后将中等规模生产转换从 Spark 迁移到 Polars。

限制:数据负责人必须批准新输出、schema 变更、标记变更、保留行为与生产计划;增量转换还需已批准的快照与回滚计划。文件工具不能替代已认证的 Foundry 操作或负责人批准。检测到循环依赖需分离输入输出并重新设计反馈回路;增量输出重复行需停止推进并修正键、读取模式、写入模式或迟到处理,并从受控快照重建;构建受内存限制需依据 Foundry 指标调整引擎或资源;schema 意外漂移需使期望失败、隔离输出事务并解决生产者契约。未提供具体收费、价格或平台支持信息。