用途:在 OCI Data Science AI Quick Actions(AQUA)中管理大语言模型生命周期,包括注册、列出、浏览与获取模型详情。
前提条件:需配置 OCI 策略(详见 aqua-troubleshooting 技能);对象存储桶须启用版本控制;需完成身份认证,在 OCI 笔记本会话中使用 Resource Principal,本地开发使用 API Key: import ads ads.set_auth("resource_principal") # OCI 笔记本会话中
或
ads.set_auth("api_key") # 本地开发
Python SDK 用法:从 ads.aqua.model 导入 AquaModelApp,实例化后调用 list() 按 compartment_id 列出模型,调用 get() 按 model_id 获取详情。注册模型使用 ImportModelDetails,指定 model、os_path、compartment_id、project_id、inference_container;从 HuggingFace 导入时设 download_from_hf=True,从对象存储导入则 artifacts 需已上传。支持 freeform_tags 添加自由标签。
CLI 用法:ads aqua model list、get、register 等子命令,参数与 SDK 对应,如 --model、--os_path、--compartment_id、--project_id、--inference_container、--download_from_hf。注册 GGUF 模型(CPU 部署)使用 --inference_container "odsc-llama-cpp-serving"。可用 --ignore_patterns 按通配符过滤 HuggingFace 下载文件。受门控的 HuggingFace 仓库需先设置 HF_TOKEN 或执行 huggingface-cli login 认证。
支持的推理容器:odsc-vllm-serving(主 vLLM 推理,文本生成/对话/多模态)、odsc-vllm-serving-v1(vLLM v1)、odsc-tgi-serving(已弃用,建议迁移 vLLM)、odsc-llama-cpp-serving(CPU/ARM 上的 llama.cpp,GGUF 模型)、odsc-tei-serving(文本嵌入推理)。
限制:资料未提供收费、价格、平台或效果说明;需具备 OCI 环境、相应策略与存储桶版本控制;TGI 已弃用,受影响模型包括 gemma、codegemma、falcon-40b,应迁移至 vLLM。