用途:生成一个最小可观测的 Together AI 聊天补全探测,避免把某个模型目录条目冻结为应用策略。
主要能力:调用 client.chat.completions.create(),使用 Together 模型 ID;支持流式输出,遍历分块并在读取 delta.content 前检查 choices 是否为空;捕获 finish_reason 与 usage;限制 max_tokens、超时与重试次数;记录延迟与请求结果,敏感时不留存提示或响应。
使用方式:需配置 TOGETHER_API_KEY 密钥引用,使用 Together Python SDK v2、当前 TypeScript SDK 或 HTTPS 客户端,并从 Together 目录解析当前聊天模型。SDK 读取 TOGETHER_API_KEY;直接 REST 请求将同一项目密钥作为 Bearer token 发往 https://api.together.ai/v1/chat/completions,切勿返回或记录该请求头。用 Read、Glob、Grep 检查客户端封装与配置,用 WebFetch 获取当前快速入门、模型目录与响应契约,仅在批准的示例或测试文件中使用 Write 或 Edit,密钥不得写入代码。
适用场景:需要验证聊天补全契约、延迟与分块处理,或做最小化推理探测时。
限制:不得发送客户数据、受监管内容或专有提示,除非数据处理与保留已获批准;不得静默切换到更贵或实质不同的模型。生产使用前需从实时目录重新解析模型,因为可用性与重定向会变化。错误处理:401 停止并修复凭据注入;404 刷新模型目录与弃用页面;429 读取动态限制头并以有界抖动重试;503 或 504 短暂重试后暴露过载或超时证据。输出应包含客户端/运行时、解析模型、流式模式、有界请求参数、状态、结束原因、token 用量、延迟与脱敏处置。