SuperAPI AI 工具集

databricks-ai-functions

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:在数据管道中直接对表列调用大模型推理,像使用 UPPER() 一样自然,适合批量富化、PII 脱敏、文档解析与 RAG 预处理。

主要能力:ai_analyze_sentiment 情感打分;ai_classify 固定标签路由;ai_extract 实体/字段抽取(≤128 字段、≤7 层嵌套);ai_fix_grammar 语法修正;ai_gen 自由生成;ai_mask 脱敏(实体替换为 [MASKED]);ai_similarity 语义相似度(0.0–1.0);ai_summarize 摘要;ai_translate 翻译(支持 en、fr、de、hi、it、pt、es、th);ai_parse_document 解析 PDF/Office/图片(DBR 17.3+,≤500 页/100MB);ai_prep_search 文档分块(DBR 18.2+);ai_query 调用任意服务端点作为兜底;ai_forecast 时间序列预测(表值函数)。

使用方式:有任务专用函数时优先使用,ai_query 仅在无合适函数时使用。ai_classify/ai_extract 返回 VARIANT,用冒号读取,如 ai_classify(...):response[0]::STRING。PySpark 中可在 expr(...) 内调用,用 selectExpr("col:response:field::STRING") 读取 VARIANT 字段。文档处理可串成阶段管道:ai_parse_document → ai_classify → ai_extract;RAG 管道为 ai_parse_document → ai_prep_search → Vector Search Delta Sync 索引,嵌入 chunk_to_embed,返回 chunk_to_retrieve。

限制:基线要求 DBR 15.1+(notebook)/15.4 ML LTS(批处理),不支持 SQL Warehouse Classic,区域需支持 AI Functions;每次调用都是一次计费推理,应每行调用一次并持久化到 Delta 表,避免下游重复调用;输入为 NULL 时返回 NULL,需先过滤;ai_translate 仅支持上述 8 种语言;ai_forecast 需 Pro 或 Serverless SQL Warehouse;ai_query 批量报错可用 failOnError => false 返回含 .response 与 .errorMessage 的 STRUCT;模型按 Apache 2.0 或 LLAMA 3.3 Community License 运行,合规由使用者负责。生产增量摄取可参考 databricks/bundle-examples 的 job_with_ai_parse_document。