用途:该技能为 Data Pipelines 领域中的 spark sql optimizer 任务提供自动化协助,覆盖 ETL、数据转换、工作流编排与流式数据处理等数据管道场景。
主要能力:提供 spark sql optimizer 的分步指导,遵循行业最佳实践与模式,生成可用于生产的代码与配置,并按常见标准验证输出。输出包括生成的配置与代码、最佳实践建议以及验证结果。
使用方式:当请求中提及“spark sql optimizer”,或询问其模式与最佳实践,或需要数据管道相关帮助时,该技能会自动激活。例如请求“Help me with spark sql optimizer”,会返回分步指导并生成相应配置。
适用场景:数据管道中的 Spark SQL 优化、ETL、数据转换、工作流编排和流式数据处理。
限制与前提:需要配置相关开发环境、可访问必要工具与服务,并具备数据管道概念的基础理解。错误处理方面,配置无效通常因缺少必填字段,需查阅文档确认必需参数;工具未找到通常因依赖未安装,需按前提安装所需工具;权限被拒绝通常因访问权限不足,需核实凭据与权限。官方文档、最佳实践指南、社区示例与教程等资源在资料中未提供具体链接。该技能属于 Data Pipelines 技能类别,标签包括 etl、airflow、spark、streaming、data-engineering。