SuperAPI AI 工具集

Berkeley Function-Calling Leaderboard

Berkeley Function-Calling Leaderboard(伯克利函数调用排行榜,简称 BFCL)是一个用于评估大语言模型准确调用外部函数(工具)能力的排行榜。其 V4 版本从工具使用扩展到对大型语言模型的智能体化评估,使用真实世界数据并定期更新。评估涵盖函数调用能力,并区分原生支持函数调用(FC)与通过提示(Prompt)模拟调用两种方式,同时提供成本、延迟和总体准确率等指标。

访问官网

工具介绍

Berkeley Function-Calling Leaderboard(伯克利函数调用排行榜,简称 BFCL,也称 Berkeley Tool Calling Leaderboard)用于展示大语言模型准确调用函数(即工具)的能力。

用途:该排行榜评估大语言模型准确调用函数(工具)的能力。BFCL V4 被描述为从工具使用到大型语言模型智能体化评估,排行榜由真实世界数据构成,并会定期更新。

主要能力与评估内容:排行榜基于排行榜数据评估模型函数调用能力。评估区分 FC(原生支持函数/工具调用)与 Prompt(通过模型常规文本生成能力实现的函数调用变通方法)。排行榜展示的指标包括成本、延迟和总体准确率。成本按整个基准测试的估算成本计算,单位为美元;延迟以秒为单位;总体准确率是所有子类别的未加权平均值。格式敏感性测试用例仅支持 Prompt(非 FC)模型。

版本与背景:BFCL-v1 引入 AST 作为评估指标;BFCL-v2 引入企业和 OSS 贡献的函数;BFCL-v3 引入多轮交互;BFCL-v4 引入整体智能体化评估。

使用方式:用户可探索排行榜查看模型函数调用能力;可点击列标题进行排序;图表中可选择或取消选择要比较的模型。页面还提供函数调用演示(Function Calling Demo),可输入提示和函数并查看输出,输出包括实际代码格式和 OpenAI 兼容格式两种;OpenAI 兼容格式输出仅在代码输出语法有效且可解析时可用,页面也提供若干示例供试用。若想添加模型或贡献测试用例,需通过 Discord 联系。

可复现与资源:模型使用 commit f7cf735 进行评估,所有模型响应可获取;复现结果可检出该检查点的代码库,或安装 PyPI 包 pip install bfcl-eval==2025.12.17。代码和数据可查看。

限制:关于数据集与方法论的更多信息需参考其博客(BFCL-v1、v2、v3、v4);格式敏感性测试用例仅支持 Prompt(非 FC)模型;OpenAI 兼容格式输出仅在实际代码输出语法有效且可解析时可用;添加模型或贡献测试用例需通过 Discord 联系。