用途:该技能用于在 TanStack AI 中实现图像、音频、语音(TTS)、转录和视频生成。所有媒体活动遵循同一架构:服务端调用 generate*() 函数,经 toServerSentEventsResponse() 以 SSE 传输,客户端使用框架 Hook 接收。依赖 ai-core,需先阅读其关键规则。
主要能力:图像生成支持 openaiImage、geminiImage、byteplusImage 适配器,可传字符串或多模态内容部件(文本/图像/视频/音频),支持图生图、多参考图、inpaint(metadata.role 为 mask)等;音频生成 generateAudio() 用于非语音内容,适配 geminiAudio、falAudio;语音合成 generateSpeech() 支持 openaiSpeech、byteplusSpeech;转录 generateTranscription() 支持 openaiTranscription、byteplusTranscription,可做说话人分离;视频生成 generateVideo() 为实验性,采用任务轮询架构。
使用方式:服务端定义 API 路由或 TanStack Start 服务函数,返回 toServerSentEventsResponse(stream);客户端用 useGenerateImage、useGenerateAudio、useGenerateSpeech、useTranscription 等 Hook,配合 fetchServerSentEvents 或 fetcher 调用。浏览器录音可用 useAudioRecorder,转录时需包装为 data: URL。
限制:部分适配器对 URL 输入默认抛错,需传 data: URI 或启用 allowUrlFetch;OpenAI 图像 URL 1 小时后过期;BytePlus Seed Speech 使用独立密钥且输出上限 120 秒;视频生成仍为实验性。具体模型、参数与平台支持以资料为准,未提及的收费、价格等信息暂未提供。