bedrock-inference

Amazon Bedrock Inference 是围绕 Amazon Bedrock Runtime 推理 API 的实践技能，用于在生产环境中调用各类基础模型。

一、用途 该技能面向需要在 AWS 上调用基础模型完成推理任务的开发者，覆盖 Amazon Bedrock Runtime 提供的模型调用接口。可调用的模型包括 Anthropic 的 Claude（Opus、Sonnet、Haiku）、Amazon 自家的 Nova 与 Titan，以及 Cohere、AI21、Meta 等第三方模型。其目标是在所有 Bedrock 模型之上提供统一的推理能力，同时支持同步与异步调用以及流式输出。

二、主要能力

1. 模型调用：可通过原生 API（invoke-model，使用模型专属请求格式）或 Converse 统一 API（模型无关的一致接口）进行调用。
2. 流式响应：支持实时 token 流式返回（invoke_model_with_response_stream 与 converse_stream），用于降低感知延迟。
3. 异步调用：支持最长 24 小时的长时任务。
4. Token 计数：在推理前估算 token 用量与成本（converse_count）。
5. Guardrails：提供运行时内容过滤与安全能力。
6. 推理配置文件（Inference Profiles）：支持跨区域路由与成本优化，前缀含义为 us.（仅美国路由，美国流量延迟更低）、global.（全球跨区域路由，可用性最高）、apac.（亚太路由，亚太流量延迟更低）。
7. 对话能力：支持系统提示（system prompts）、多轮对话上下文保持，以及工具调用（Tool Use）。

三、使用方式

1. 环境与权限：需要具备 Bedrock 访问权限的 AWS 账户，在 AWS 控制台启用模型访问权限，并配置 Bedrock Runtime 的 IAM 权限。可通过命令 aws bedrock list-foundation-models --region us-east-1 查看可用模型；在控制台路径 AWS Console → Bedrock → Model access → Manage model access 申请模型访问。
2. 安装：pip install boto3 botocore。
3. 客户端初始化：通过 boto3.Session 指定 region_name 与可选的 profile_name，然后创建 bedrock-runtime 客户端。
4. 调用模式：使用原生 API 时需按模型专属格式构造请求体（如 Claude 使用 anthropic_version、max_tokens、messages、temperature、top_p 等字段）；使用 Converse API 时通过 modelId、messages、inferenceConfig、system、toolConfig 等参数构建请求，并读取 output.message 中的返回内容。流式调用通过事件流逐块解析 content_block_delta / text_delta 或 contentBlockDelta 等事件。
5. 工具调用：在原生 API 中通过 tools 字段声明工具（包含 name、description、input_schema），在 Converse API 中通过 toolConfig 声明（toolSpec 含 name、description、inputSchema）；当 stopReason 为 tool_use 时，模型返回 toolUse（含 name 与 input），需执行工具后将结果加入消息再次调用。

四、适用场景 适合调用 Claude、Nova、Titan 等 Bedrock 模型；构建对话式 AI 应用；实现流式响应以改善用户体验；运行长时间异步推理任务；应用运行时 Guardrails 保障内容安全；借助推理配置文件优化成本；在调用前进行 token 计数；实现多轮对话。

五、限制与前提 不适用于构建复杂智能体（应使用 bedrock-agentcore）、知识库 RAG（应使用 bedrock-knowledge-bases）、模型定制（应使用 bedrock-fine-tuning）。使用前需满足 AWS 账户、模型访问权限与 IAM 权限等前提。资料中提到的质量目标（流式首 token < 1s、吞吐最高 4,000 tokens/sec、99.9% SLA）、boto3 >= 1.34.0 为推荐版本、可用区域与最大 token 数、以及代码示例中的定价（如 Claude Opus 每百万输入 $15、输出 $75 等，标注为 2024 年 12 月数据且随区域变化）均来自原始资料；其余未提及的收费、价格、平台或功能细节暂未提供。