用途:在 liter-llm 中为 LLM 定义可调用的函数/工具,或请求结构化 JSON 输出。
主要能力:传入 tools 数组(函数定义,含 name、description、parameters JSON Schema);模型可能返回 tool_calls 而非文本或与文本并存。通过 tool_choice(如 auto)控制选择。还可用 response_format 设置 {"type": "json_object"} 请求严格 JSON。
使用方式:用 create_client(api_key=...) 创建客户端,构造 ChatCompletionRequest(可由 JSON 字符串经 from_json 生成),调用 await client.chat(request)。遍历 response.choices[0].message.tool_calls,读取 call.function.name 与 call.function.arguments。
限制与注意:function.arguments 是 JSON 字符串,使用前需解析;每个工具结果需以 role="tool" 并带上匹配的 tool_call_id 追加为消息,再调用 chat 让模型继续。工具支持与 JSON 模式可用性因提供商而异,若模型忽略工具请查阅提供商参考。