SuperAPI AI 工具集

ai-provider-openai-whisper

智能体与模型

查看项目

更新于 10-15 19:51

技能介绍

用途:通过 OpenAI Audio API 完成语音转文字(transcription)与非英语音频转英语文本(translation),适用于会议、访谈、播客、语音笔记、字幕生成、视频剪辑时间戳与多说话人识别等场景。

主要能力:模型选择上,gpt-4o-transcribe 精度最高,gpt-4o-mini-transcribe 更省成本,whisper-1 支持时间戳与 SRT/VTT,gpt-4o-transcribe-diarize 支持说话人标签。响应格式包括 json、text、srt、vtt、verbose_json、diarized_json。支持词级/段级时间戳、字幕生成、prompt 引导词汇与风格、大文件分块、stream: true 流式输出、翻译为英语、说话人分离。

使用方式:转写用 client.audio.transcriptions.create(),翻译用 client.audio.translations.create()。时间戳需 whisper-1 配合 response_format: "verbose_json";diarization 需 gpt-4o-transcribe-diarize 配合 response_format: "diarized_json",音频超过 30 秒须设 chunking_strategy: "auto"。文件超过 25 MB 须先分块,可按句边界切分并传入上一段文本尾部作为 prompt 保持上下文。流式仅 gpt-4o-transcribe 与 gpt-4o-mini-transcribe 支持。

限制:文件上限 25 MB;翻译仅 whisper-1 且只输出英语;whisper-1 的 prompt 约 224 token;gpt-4o-transcribe 系列不支持 srt、vtt、verbose_json;diarization 不支持 prompt、logprobs、timestamp_granularities;whisper-1 对静音段可能产生幻觉;支持格式为 flac、mp3、mp4、mpeg、mpga、m4a、ogg、wav、webm。实时语音对话与 TTS 不适用本技能。