GenoTEX(Genomics Data Automatic Exploration Benchmark)是一个面向基因表达数据自动化分析的基准数据集,特别用于评估基于大语言模型(LLM)的智能体在真实世界基因表达分析任务中的表现。该基准由专家标注,相关论文已被 MLCB 2025 接收为 Oral 报告。其目标是在考虑其他生物因素影响的前提下,识别与疾病相关的基因。
用途: GenoTEX 提供注释代码和结果,用于解决广泛的基因-性状关联(GTA)分析问题,涵盖数据集选择、预处理和统计分析,并遵循计算基因组学标准流程。该基准包含生物信息学专家的标注,以确保准确性和可靠性。
主要能力与数据规模:
- 1,384 个 GTA 分析问题:包括 132 个无条件问题和 1,252 个条件问题。
- 41.5 GB 输入数据:911 个数据集,平均每个数据集 167 个样本,总计 152,415 个样本。
- 237,907 行分析代码:由生物信息学专家精心整理,平均每个数据集 261 行。
- 三个评估任务:数据集选择、数据预处理和统计分析。
- 综合基因特征:平均每个数据集 18,530 个归一化基因特征。
- 显著基因发现:每个问题识别出的显著基因。
使用方式: GenoTEX 提供两种分发方式:
- GitHub 仓库 + 云存储:代码和文档托管在 GitHub,数据通过单独的云存储链接(Google Drive、百度网盘)提供。总数据大小 82.0 GB。
- 数据平台完整打包:在 Kaggle 和 Hugging Face 上提供代码和数据的打包版本。
使用步骤:
- 克隆 GitHub 仓库:
git clone https://github.com/Liu-Hy/GenoTEX.git,然后cd GenoTEX。 - 从云存储下载数据文件夹('metadata', 'input', 'output')并放入仓库根目录。
- 对于 Kaggle 用户,需运行脚本重新压缩 .gz 文件。
- 创建并激活 conda 环境。
- 探索基准:预处理 Jupyter Notebook 位于
./code/{trait_name}/目录,统计分析脚本为./code/regress.py。先运行预处理笔记本,再运行回归脚本。
评估自定义方法:
确保方法输出格式与基准一致,即组织为与 ./output 目录相同的结构。
适用场景: 适用于生物医学研究中基因表达数据分析的自动化方法评估,特别是针对基于 LLM 的智能体。可用于疾病标志物识别、个性化医疗等临床应用的自动化分析研究。
限制:
- 数据下载需要足够的磁盘空间(82.0 GB)。
- 数据组织有特定命名规范(如去除撇号、空格替换为下划线)。
- 使用需遵循相关许可和引用要求。