fal-audio

用途

fal-audio 是 fal.ai 平台上的音频处理技能，覆盖语音转文本（STT）与文本转语音（TTS）两类任务。它适用于：将音频或视频转写为文本、生成带时间戳的字幕、将非英语语音翻译为英语、从参考音频克隆音色、以及由文本生成自然语音。

主要能力

语音转文本（STT）

提供三个 Whisper 端点：

fal-ai/whisper：速度中等，准确率最高，适合对准确度要求高的场景。
fal-ai/whisper-turbo：速度快，准确率高，适合需要快速转写的场景。
fal-ai/whisper-large-v3：速度较慢，准确率最高，适合追求最高质量的场景。

Whisper 支持 99 种以上语言，主要参数包括：

audio_url：音频文件 URL。
task："transcribe"（同语言文本）或 "translate"（非英语转英语）。
language：ISO 语言代码（如 "en"），可选，未指定时自动检测。
chunk_level：设为 "segment" 时返回带时间戳的分段结果。
version：Whisper 版本。

响应结构包含 text（完整转写文本）与可选的 chunks 数组，每个 chunk 含 text 和 timestamp（[开始, 结束]，单位秒）。

文本转语音（TTS）

提供四个端点：

fal-ai/f5-tts：支持从参考音频克隆音色，质量高。参数包括 gen_text（待合成文本）、ref_audio_url（参考音频 URL）、ref_text（参考音频转写文本）、model_type（"F5-TTS" 或 "E2-TTS"）、remove_silence（是否去除静音）。
fal-ai/elevenlabs/tts：音质最高，通过 API 使用音色。参数包括 text、voice_id、model_id、stability（0-1）、similarity_boost（0-1）。资料中列举了若干示例 voice_id，如 Rachel、Domi、Bella、Antoni、Arnold。
fal-ai/kokoro/american-english：自然音色，支持多语言变体，包括 fal-ai/kokoro/british-english、fal-ai/kokoro/japanese、fal-ai/kokoro/mandarin。参数包括 text、voice、speed。
fal-ai/xtts：开源音色克隆，支持 16 种语言。参数包括 text、audio_url（参考音频）、language。

使用方式

通过 @fal-ai/client（JavaScript）或 fal_client（Python）调用。JavaScript 示例：

import { fal } from "@fal-ai/client";

const result = await fal.subscribe("fal-ai/whisper", {
  input: {
    audio_url: "https://example.com/speech.mp3",
    task: "transcribe",
    language: "en",
    chunk_level: "segment"
  }
});

console.log(result.text);
console.log(result.chunks);

Python 示例：

import fal_client

result = fal_client.subscribe(
    "fal-ai/whisper",
    arguments={
        "audio_url": "https://example.com/speech.mp3",
        "task": "transcribe",
        "language": "en",
        "chunk_level": "segment"
    }
)
print(result["text"])
for chunk in result["chunks"]:
    print(f"[{chunk['timestamp'][0]:.2f}-{chunk['timestamp'][1]:.2f}] {chunk['text']}")

资料还给出了若干工作流示例：转写与翻译流水线、音色克隆流水线、字幕生成（SRT 格式）、有声书生成（按章节切分文本后逐段合成）。

适用场景

音频/视频转写为文本。
生成带时间戳的字幕。
语音翻译为英语。
从参考音频克隆音色并合成语音。
由文本生成自然语音，用于配音、有声书等。

限制与注意事项

资料中未提供各模型的收费与价格信息。
资料中未提供各端点的速率限制、并发上限或配额信息。
资料中未提供音频文件大小上限的具体数值，仅在错误处理示例中提及 413 可能表示文件过大。
资料中未提供各模型支持语言的完整清单，仅列出常见语言对照表；其中俄语在 TTS 标注为 Limited。
输入格式支持 MP3、WAV、M4A、FLAC、OGG、WebM，以及 MP4（自动提取音频）。输出格式：F5-TTS 为 WAV，ElevenLabs 为 MP3，Kokoro 为 WAV，XTTS 为 WAV。
音色克隆建议使用 10-30 秒清晰参考样本，并提供准确的参考转写文本。
长文本建议切分为多个片段后分别合成。