用途：该技能提供 AI/ML 工作负载的数据工程模式，用于构建 RAG 应用、语义搜索、问答系统，生成与存储向量嵌入，监控 LLM 调用，以及大规模批量推理和特征存储。
主要能力：嵌入生成（OpenAI embeddings API、Sentence Transformers 本地模型、Polars 批处理、文本分块、tiktoken 计数）；向量数据库（LanceDB、pgvector、DuckDB 列表类型做余弦相似度，以及 IVF_PQ、HNSW 索引策略）；RAG 流水线（按 token/段落/语义分块、token 预算上下文组装、向量检索加元数据过滤、提示构造与调用、来源标注）；LLM 监控（调用、成本、延迟记录，提示缓存与去重，错误与重试，人工与自动质量评估）。
使用方式：技能依赖 @data-engineering-core、@data-engineering-storage-remote-access、@data-engineering-orchestration、@data-engineering-quality。提供单独指南文档：embeddings.md、vector-databases.md、rag-pipelines.md、monitoring.md。示例包含用 Sentence Transformers 生成嵌入、写入 LanceDB 并建索引、带过滤的向量检索，以及用 DuckDB 记录 LLM 调用成本的监控类。
适用场景：RAG 聊天机器人、语义检索、嵌入流水线、批量推理、特征存储。
限制与注意：文中给出最佳实践，如批量生成嵌入、批量导入后再建索引、按需选择嵌入维度、监控 token 与成本、缓存提示、保留人工评估；不建议不存元数据、对多模态向量用余弦相似度、跳过分块。具体价格、性能数据与平台支持未提供，成本示例代码中标注为近似值，需按真实定价更新。