SuperAPI AI 工具集

Skill 广场

找到适合任务的 Agent Skill,阅读介绍并复制安装命令。

更新于 11-01 00:15

数据与分析

17,209 个结果

spark-engineer

Spark Engineer 是一个面向 Apache Spark 应用开发的技能,定位为资深 Spark 工程师,专注于高性能分布式数据处理、大规模 ETL 管道优化以及生产级 Spark 应用的构建。它适用于编写 Spark 作业、排查性能问题或配置集群设置的场景。该技能提供了一套核心工作流:分析需求(数据量、转换、延迟要求、集群资源)、设计管道(选择 DataFrame 还是 RDD、规划分区策略、识别广播机会)、实现(编写带优化转换、适当缓存和错误处理的 Spark 代码)、优化(分析 Spark UI、调整 shuffle 分区、消除数据倾斜、优化 join 与聚合)、验证(检查 shuffle spill、验证分区数、用生产规模数据测试)。同时附带按主题加载的参考指南,涵盖 Spark SQL 与 DataFrame、RDD 操作、分区与缓存、性能调优、流处理模式,并给出 PySpark 快速入门管道、广播 join、加盐处理数据倾斜、正确缓存模式等代码示例,以及必须遵守和禁止的操作约束。

数据与分析15 次安装

validating-json-data

这是一个基于 z-schema 库校验 JSON 数据的技能,使用 JSON Schema 对 JSON 数据进行检查。z-schema 支持的 Schema 草案包括 draft-04、draft-06、draft-07、draft-2019-09 和 draft-2020-12,默认使用 draft-2020-12。它提供四种校验模式:同步抛错(默认,校验失败抛出 ValidateError)、同步安全(返回 { valid, err? })、异步抛错和异步安全(返回 Promise),并支持在异步格式校验器等场景下使用。使用时需通过 ZSchema.create(options?) 创建校验器,再调用 validate 方法。错误信息位于 ValidateError 的 .details 字段,包含 message、code、params、path、keyword、inner、schemaPath、schemaId 等结构,组合器(anyOf、oneOf、not)会产生嵌套的 inner 错误。可通过 includeErrors 和 excludeErrors 过滤错误码,支持 schema 预编译以提升运行时性能并解析交叉引用,支持远程引用(手动注册或通过 schema reader 自动加载)及缺失引用诊断。还可注册全局、实例级或创建时传入的自定义格式校验器(支持异步)。

数据与分析15 次安装