SuperAPI AI 工具集

scientific-llm-benchmarks

智能体与模型

查看项目

更新于 10-15 19:53

技能介绍

用途:该技能为评估大语言模型在科学推理与科学发现方面的能力提供基准参考,数据来自 Awesome-Scientific-LLM-Benchmarks 仓库,适合需要挑选或查阅科学类 LLM 评测基准的研究与开发场景。

主要能力:覆盖多个基准领域,包括通用/多领域科学(跨学科 STEM 推理)、数学(算术、竞赛、奥数及前沿/形式化证明数学)、物理与天文(物理奥赛、研究生物理、计算物理、天文学)、化学(分子性质、反应、逆合成、安全与化学知识)、材料科学(晶体、材料性质预测与材料科学知识)、生物与生命科学(基因组学、蛋白质、生物信息学智能体、实验方案与研究生物学),以及智能体科学与 AI 研究(编写研究代码、运行数据分析、尝试自主发现、开展 ML/AI 研究的 LLM 智能体)。

使用方式:完整基准列表存储在技能本地,参考列表位于 references/benchmarks.md,YAML 格式数据位于 data/benchmarks.yaml。scripts/ 目录内含辅助 Python 脚本:generate_readme.py 用于根据 data/benchmarks.yaml 重新生成 markdown 表格与列表;fetch_examples.py 用于从数据集元数据中指定的 HuggingFace 数据集 URL 抓取真实样本行。

限制:资料未提供具体基准数量、评测指标、运行环境要求、收费或价格信息,也未说明各基准的详细使用方法,这些内容暂未提供。