SuperAPI AI 工具集

oci generative ai services

智能体与模型

查看项目

更新于 10-15 08:17

技能介绍

OCI Generative AI Services 技能是一项面向 Oracle Cloud Infrastructure(OCI)生成式 AI 服务的专家能力,旨在提供全面的 CLI 命令、SDK 示例与最佳实践,弥补 Claude 对 OCI 训练数据有限的问题。

一、用途 该技能用于指导用户在 OCI 上使用生成式 AI 能力,覆盖基础模型调用、推理端点、文本生成、聊天补全、嵌入生成以及模型微调等任务,并给出可执行的命令行与 Python 代码示例。

二、核心 GenAI 服务

  1. 基础模型(Foundation Models):预训练大语言模型(LLM),包括用于聊天与生成的 Cohere Command 模型、Meta Llama 模型,并支持模型微调与定制。
  2. 推理端点(Inference Endpoints):专用与按需推理端点,支持文本生成与补全、带对话历史的聊天补全、用于语义搜索的嵌入。
  3. 微调(Fine-Tuning):基于自有数据进行自定义模型训练,支持 T-Few 与 vanilla 微调方法,涵盖训练数据管理与模型版本管理。

三、使用方式(OCI CLI) 资料给出大量 CLI 命令,主要包括:

  • 列出与查询模型:oci generative-ai model list(可按能力筛选 TEXT_GENERATION、CHAT、EMBEDDINGS)、model get。
  • 专用 AI 集群:dedicated-ai-cluster list/get/create/update/delete,创建时指定类型(如 FINE_TUNING)、单元数与单元规格(如 LARGE_COHERE)。
  • 端点:endpoint list/get/create/update/delete,创建时关联 model-id 与 dedicated-ai-cluster-id。
  • 文本生成:oci generative-ai-inference generate-text,通过 serving-mode 指定 ON_DEMAND 或 DEDICATED,请求体包含 prompt、maxTokens、temperature、topP、frequencyPenalty、presencePenalty 等。
  • 聊天补全:oci generative-ai-inference chat,支持 system/user/assistant 多轮消息历史。
  • 嵌入生成:oci generative-ai-inference embed-text,支持多输入与 truncate 参数。
  • 微调:oci generative-ai model create,指定 base-model-id、训练数据集(OBJECT_STORAGE 桶与对象)与 fine-tune-details(如 TFEW_TRAINING_CONFIG、totalTrainingEpochs、learningRate),并可列出、查询、删除模型。

四、Python SDK 示例 资料提供 Python SDK 的鉴权与调用示例:通过 oci.config.from_file 加载配置,创建 GenerativeAiInferenceClient 并指定服务端点,随后分别演示文本生成(CohereLlmInferenceRequest、GenerateTextDetails)、聊天(CohereChatRequest、ChatDetails、CohereMessage)、嵌入(CohereEmbedTextRequest、EmbedTextDetails)与流式响应(is_stream=True 并逐块处理)的实现方式。还包含 OCIChatbot 与 DocumentQA 两个使用场景类:前者维护对话历史实现多轮聊天并可重置;后者添加文档、生成嵌入,并通过余弦相似度检索与查询最相关的文档。

五、训练数据格式 微调支持 JSONL 格式,每行包含 prompt 与 completion 字段,资料给出三条示例(OCI Compute、block storage、autonomous database 的问答)。

六、最佳实践

  • 模型选择:按任务选择聊天或生成模型,嵌入模型用于语义搜索、文档相似度与聚类;模型越大能力越强但成本越高;建议先用按需模式做原型再部署专用端点。
  • 提示工程:指令清晰、使用 system 角色保持一致行为、加入 few-shot 示例、调整 temperature(事实性 0.1-0.5,创造性 0.7-1.0)、设置合理的 max tokens。
  • 性能优化:生产流量使用专用端点、缓存相同提示的响应、并行批处理、流式提升体验、监控 token 用量。
  • 安全与合规:敏感数据需有控制措施、使用 IAM 策略限制访问、启用审计日志、在自有租户内微调数据、敏感负载使用私有端点。
  • 成本管理:开发用按需、生产用专用、优化 token、选择满足需求的最小模型并跟踪用量。

七、适用场景 资料明确列出的场景包括聊天机器人实现(维护对话历史)与基于嵌入的文档问答(相似度检索)。

八、限制 资料未提供收费、价格、平台支持范围、性能指标或效果承诺等信息,相关内容暂未提供。使用前需遵守上述安全与合规注意事项,避免在无适当控制的情况下向模型发送敏感数据。