databricks-jobs
用于在 Databricks 上通过 DABs、Python SDK 或 CLI 开发和部署 Lakeflow Jobs 的技能,涵盖多任务 DAG、触发器、计算配置、参数、权限与单元测试等内容。
找到适合任务的 Agent Skill,阅读介绍并复制安装命令。
更新于 11-01 00:15
17,209 个结果
用于在 Databricks 上通过 DABs、Python SDK 或 CLI 开发和部署 Lakeflow Jobs 的技能,涵盖多任务 DAG、触发器、计算配置、参数、权限与单元测试等内容。
Databricks Model Serving 技能,用于管理服务端点(Endpoint)生命周期:通过 CLI 或 MLflow Deployments 客户端创建、更新、查询、删除端点,配置流量路由、AI 网关、构建与运行日志等运维操作。
用于在 Databricks 上开发 Lakeflow Spark 声明式管道(原 Delta Live Tables)的技能,支持用 Python 或 SQL 构建批处理与流式数据管道,涵盖数据集类型选择、质量约束与迁移旧版 DLT 语法。
面向生产负载的 Spark Structured Streaming 指南类技能,提供 Kafka 摄取、流式连接、多目标写入、MERGE 操作、检查点、有状态操作与触发/成本优化等主题的参考文档与快速入门代码。
面向 Databricks Unity Catalog 的实用指南,涵盖系统表(审计、血缘、计费、计算、作业、查询历史)与卷文件操作,并说明访问授权与常用查询方式。
面向智能体的 GCP 数据治理技能,指导使用 Dataplex 与 BigQuery 设计湖、区、策略标签、元数据质量、血缘与可信发布边界,适用于仓储与湖平台的治理工作流。
用于在 DataRobot 中上传数据集、验证数据质量、管理数据集版本并为建模做准备的工具与指引。
DataRobot 特征工程技能,指导理解自动特征工程、分析特征重要性与优化特征集。基于 DataRobot Python SDK,可获取特征重要性、筛选高价值特征并导出特征列表。
用于校验 SageMaker 模型微调数据集格式与质量的技能,支持 SFT、DPO、RLVR 等策略。可检查本地或 S3 数据集路径、文件类型与格式,判断数据是否可用于训练或评估,并给出是否需转换的建议。
用于生成数据集转换代码的技能,可将用户数据集转换为 SageMaker 模型训练或评估所需的格式。适用于需要转换、清洗或重排数据集以便训练或评估的场景,默认输出 JSONL。
用于在 RHEL 9(及 AlmaLinux/Rocky 9)上安装、配置和管理 IBM DB2 LUW 的技能,涵盖实例创建、数据库管理、缓冲池与性能调优、安全、备份与 HADR 恢复。
用于 dbt 分析工程的技能:构建和修改 dbt 模型,使用 ref() 与 source() 编写 SQL 转换,创建测试,并用 dbt show 验证结果。适用于新建模型、修改逻辑、重构项目结构等场景。
Delta Sharing 技能:面向跨组织安全数据共享的配置、监控与接收方管理,涵盖共享创建、接收方管理、访问控制和使用审计,基于开放协议,无需复制数据即可实时共享。
用于对 Elasticsearch 执行 ES|QL 管道查询的技能,支持日志分析、指标聚合与数据探索。需先测试连接并发现索引与字段结构,再生成查询;ES|QL 要求索引启用 _source,功能可用性随版本变化。
将 CSV、JSON、NDJSON、Parquet、Arrow IPC 等数据文件流式导入 Elasticsearch 的技能,支持自定义 JavaScript 转换、批量匹配、映射推断与文档拆分,适用于大批量文件入库场景。
用于对 AWS 数据资产做只读盘点与编目,覆盖 Glue Data Catalog、S3 Tables、Redshift 联邦目录和远程 Iceberg 目录。先梳理目录全景,再下钻数据库与表,不执行查询。
面向 AI 智能体的 gcloud CLI 使用技能,指导安全、高效地与 Google Cloud 服务交互。涵盖命令校验、数据精简、含拒绝清单的安全护栏、项目与区域限定、非交互执行等规则,避免幻觉命令与破坏性操作。
介绍如何在命令行使用 jq 查询、过滤和转换 JSON:包括字段提取、数组与对象操作、条件筛选、字符串处理、输出为 CSV/TSV、与 curl、gh、yq 等工具配合,以及安装与常用排错方式。
一套通过 newrelic CLI 监控、查询和管理 New Relic 可观测性数据的技能集,涵盖 NRQL 查询、APM 性能排查、部署标记、告警策略与基础设施监控,并包含诊断 Agent 健康状态等子技能。
用于通过 AWS Data API 对 Amazon Redshift 进行只读探索与业务分析的技能,支持预置集群和 Redshift Serverless,依赖 Python 3 与 AWS CLI。
面向数据工程的生产级技能,用于设计可扩展的数据管道、ETL/ELT 系统与数据基础设施,覆盖 Python、SQL、Spark、Airflow、dbt、Kafka 等技术栈,并提供架构选型、数据建模、数据质量与性能优化等参考文档与脚本。
Spark Engineer 是一个面向 Apache Spark 应用开发的技能,定位为资深 Spark 工程师,专注于高性能分布式数据处理、大规模 ETL 管道优化以及生产级 Spark 应用的构建。它适用于编写 Spark 作业、排查性能问题或配置集群设置的场景。该技能提供了一套核心工作流:分析需求(数据量、转换、延迟要求、集群资源)、设计管道(选择 DataFrame 还是 RDD、规划分区策略、识别广播机会)、实现(编写带优化转换、适当缓存和错误处理的 Spark 代码)、优化(分析 Spark UI、调整 shuffle 分区、消除数据倾斜、优化 join 与聚合)、验证(检查 shuffle spill、验证分区数、用生产规模数据测试)。同时附带按主题加载的参考指南,涵盖 Spark SQL 与 DataFrame、RDD 操作、分区与缓存、性能调优、流处理模式,并给出 PySpark 快速入门管道、广播 join、加盐处理数据倾斜、正确缓存模式等代码示例,以及必须遵守和禁止的操作约束。
这是一个基于 z-schema 库校验 JSON 数据的技能,使用 JSON Schema 对 JSON 数据进行检查。z-schema 支持的 Schema 草案包括 draft-04、draft-06、draft-07、draft-2019-09 和 draft-2020-12,默认使用 draft-2020-12。它提供四种校验模式:同步抛错(默认,校验失败抛出 ValidateError)、同步安全(返回 { valid, err? })、异步抛错和异步安全(返回 Promise),并支持在异步格式校验器等场景下使用。使用时需通过 ZSchema.create(options?) 创建校验器,再调用 validate 方法。错误信息位于 ValidateError 的 .details 字段,包含 message、code、params、path、keyword、inner、schemaPath、schemaId 等结构,组合器(anyOf、oneOf、not)会产生嵌套的 inner 错误。可通过 includeErrors 和 excludeErrors 过滤错误码,支持 schema 预编译以提升运行时性能并解析交叉引用,支持远程引用(手动注册或通过 schema reader 自动加载)及缺失引用诊断。还可注册全局、实例级或创建时传入的自定义格式校验器(支持异步)。
项目技能安装器:分析项目的技术栈、工作流与能力缺口,搜索技能市场,推荐最匹配的技能,并在用户确认后安装到项目相对路径。适用于安装、添加或配置技能;不负责创建技能、智能体或规则,也不做全局安装。