SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场provider-refresh-oct23

provider-refresh-oct23

智能体与模型

查看项目

更新于 10-24 20:18

技能介绍

本文档是 calesthio/openmontage 的技能资料，标题为 provider-refresh-oct23，主题是 2026 年 10 月 23 日 provider 刷新的 API 契约与生产路由。它不是面向终端用户的产品说明，而是一份面向集成与调用方的约束清单，规定在何种主机、模型与参数组合下调用各类生成工具。

总体原则 文档要求使用前读取工具当前输入 schema；在生产前声明工具、主机、准确模型、操作与报价；不得自动回退主机或模型；输出路径需显式位于生产项目下；配置了凭据不等于已建立账户访问；多数新价格需重新报价，不能把过期促销当作永久价格。

Google 与 ElevenLabs 迁移

  • gemini_omni_video：直连 Gemini Interactions API 的模型为 gemini-omni-1.1-flash，旧预览版已于 10 月 22 日退役；用 previous_interaction_id 继续编辑，不要把它放入 Veo 请求。
  • veo_video：Google 后端要求 Vertex；fal 保留自有契约；Gemini API 的 Veo 已退役，替代流程需显式选择 Omni。
  • google_imagen：新默认 gemini-nano-banana-2.1；Imagen 模型要求 Vertex；原生 Gemini 图像模型走 generate_content，而非 Imagen predict。
  • elevenlabs_tts：eleven_v4 走 HTTP Text to Dialogue，每次旁白请求不超过 2,000 字符；next_text 映射 future_text；context 字符串不超过 100 字符；style/speed/speaker boost 不属于对话设置。eleven_v4_turbo 使用 dialogue WebSocket，当前适配器不支持时间戳与连续性控制，等待全局 is_final 而非逐轮标记。

旁白与转换

  • heygen_tts：模型为 heygen-voice-1、heygen-voice-1-turbo 或 heygen-voice-1-turbo-free；需传 ACTIVE 的原生公开/工作区 voice ID；专业克隆仅适用于非 Turbo 模型；完成后语音与 SSE 均写 WAV；时间戳作为对齐侧车与 word_timestamps；免费访问 2026 年 11 月 30 日结束，失败不会切换到付费；限流重试有界并遵循短 Retry-After。
  • heygen_catalog_tts：独立目录 ID，走 /v3/voices/speech；需显式选择引擎（starfish、heygen_voice、elevenlabs）；原生专业克隆 ID 不适用；输出可为 MP3 或 WAV，返回路径使用实际响应编解码后缀。
  • heygen_voice_convert：仅限 ACTIVE 即时工作区音色，最长 300 秒；audio_path（不超过 16 MB）、audio_url 或 asset_id 三选一；输出 WAV；恢复时提供稳定 idempotency_key，不自动重试。
  • grok_tts：xAI 旁白 /v1/tts，非 Grok Voice 实时；language 默认 auto，voice_id 默认 eve；output_format 为对象（如 {"codec":"wav","sample_rate":24000}）；适配器暴露 MP3/WAV，不含无头电话编解码；可选字符对齐会被保存。
  • mistral_tts：模型 voxtral-mini-tts-3-0；voice_id 与本地 reference_audio_path 二选一；支持 mp3/wav/flac/opus；支持内联情绪/节奏标签与表现力，发布时不提供自由风格指令；不宣称实时 TTS。
  • mai_tts：使用 Azure Speech 密钥/区域，模型 MAI-Voice-2.1 或 MAI-Voice-2.1-Flash；voice_id 为托管音色基底（如 en-US-Harper）；TTS 选择器通过 Azure SSML 适配器转换 speed 与 pitch；适配器不提供个人声音克隆或受限访问授权。
  • mistral_stt：Voxtral Mini/Small Transcribe3，处理本地音频文件；时间戳为段级而非词级；diarization 隐含段级时间戳；保留原始转录 JSON，含说话人与用量元数据。
  • elevenlabs_soundtrack：video_paths（≤10 个，合计 ≤200 MB / 600 秒），可选 description/tags 与 add_sfx/use_audio_as_reference/separate_tracks；分离轨道在同级 *_tracks 目录返回可播放文件，不得把 ZIP 当作音频；适配器拒绝不安全归档路径与超大归档。

图像与视频工具映射

  • Nano Banana2.1：google_imagen、gemini_fal_image、gemini_replicate_image
  • FLUX3 Image：bfl_image、flux3_fal_image、flux3_replicate_image
  • FLUX3 Max video：flux3_video（fal）
  • Vidu Q4：vidu_video（fal），image_to_video 或 reference_to_video，无纯文本路由
  • Fibo2：bria_image 直连或 bria_fal_image
  • MAI Image2.6 / Flash：mai_image，部署的 Foundry 模型
  • Grok Imagine1.5 / Lite：grok_video 直连 xAI

fal 与 Replicate 在 tools/provider_contracts 下有检入的端点 schema；仅在主机文档允许时传 provider_params，不得把 fal 字段复制到 Replicate 或直连 API；聚合器上现有 Pro 图像模型默认不变，需显式选择新模型。BFL 的边界框布局按文档编码进提示词，不存在虚构的 boxes 端点字段；BFL 最多 10 张参考图，宽高需同时提供；其 API 参考优先于旧叙述示例。Bria 会为后续编辑持久化结构化元数据，其共享端点可能把某些旧组合路由到旧 Fibo 模型。MAI 要求模型身份与配置部署一致，输出 PNG，像素 ≤2,359,296 且每边 ≥768。Grok1.5 参考限 720p；Lite 无参考音频、参考图像、尾帧或关键帧；完整 1.5 支持预设语音参考，自定义音频参考仍受合作方限制；视频中段定点需在时长内并占用不同的 1/3 秒槽位；失败时不替换模型。fal/Replicate/BFL/Grok 任务暴露 resume 元数据，轮询前保存 job_path，恢复待处理任务而非重复提交付费生成。

实时与旁白的区分 realtime_audio 是面向 Grok Voice3、Eleven Realtime Mini/Max 与 MAI-Transcribe-2-Streaming 的单次响应文件运行器；输入为文本或单声道 PCM16 WAV（16/24kHz，Eleven 要求 24kHz）；语音输出 WAV，MAI 输出事件 JSON；发送与接收并发；MAI 显式提交并等待最终转录；Eleven 使用临时会话凭据。对于实时音频、VAD、打断、多轮或函数调用，应使用上下文管理的 tools.audio._realtime_session.RealtimeAudioSession 传输层（append_audio、commit、receive、request_response、cancel、submit_tool_result），会话生命周期与工具审批由调用方负责；收到的工具调用不会被自动执行；文件运行器因关闭套接字后无法继续而拒绝工具；该传输层不包含麦克风 UI、浏览器应用或语音智能体编排；密钥保留在内存中；未新增实时翻译或 Kling4 支持。

主要参考资料 https://ai.google.dev/gemini-api/docs/deprecations https://elevenlabs.io/docs/api-reference/text-to-dialogue/convert https://elevenlabs.io/docs/eleven-api/guides/how-to/websockets/realtime-tdd https://elevenlabs.io/docs/api-reference/music/video-to-music https://developers.heygen.com/docs/voices/heygen-voice-speech https://developers.heygen.com/docs/voices/speech-to-speech https://developers.heygen.com/reference/generate-speech https://docs.x.ai/developers/model-capabilities/audio/text-to-speech https://docs.x.ai/developers/model-capabilities/video/overview https://docs.mistral.ai/studio/audio/overview https://docs.bfl.ml/api-reference/utility/generate-an-image-with-flux-3 https://docs.bria.ai/whats-new/fibo-2 https://learn.microsoft.com/azure/ai-services/speech-service/mai-voices https://learn.microsoft.com/azure/foundry/foundry-models/how-to/use-foundry-models-mai-image https://learn.microsoft.com/azure/ai-services/speech-service/mai-transcribe-2-streaming-realtime https://elevenlabs.io/docs/eleven-agents/guides/openai-realtime-compatibility https://docs.x.ai/developers/rest-api-reference/inference/voice

适用场景与限制 该文档适用于在多 provider 环境中集成语音、旁白、图像与视频生成的开发者。其限制在于：文档只描述契约与路由规则，不提供独立产品功能、价格表或操作教程；部分价格需重新报价，免费额度有截止日期；实时能力以传输层为限，不包含 UI 与智能体编排；若干能力（如自定义音频参考、实时翻译、Kling4）未提供或明确未新增。