SuperAPI AI 工具集

data-collection-automation

数据与分析

查看项目

更新于 10-16 06:15

技能介绍

用途:自动化研究数据收集、调查部署与数据管道管理,面向需要批量获取和管理调查数据的科研场景。

主要能力:

  1. 调查平台 API:提供 Qualtrics(导出响应,支持 csv/json/spss 格式,需环境变量 QUALTRICS_API_TOKEN 与 QUALTRICS_DATACENTER)和 REDCap(导出记录,需 REDCAP_API_TOKEN)的调用示例,通过轮询导出进度并下载文件。
  2. 数据质量校验:检查重复 respondent_id、列完成率、数值范围越界与过快作答(低于中位时长 30%)等问题。
  3. ETL 管道:从多种来源(qualtrics、redcap、csv_url)抽取数据,清洗列名并输出带时间戳的 CSV。
  4. 调度与监控:示例用 cron 每日 6 点运行,0 6 * * * cd /path/to/project && python collect_data.py >> logs/collection.log 2>&1;建议监控响应率、质量指标、API 配额、存储与备份、参与者流失。

适用场景:问卷调研、纵向研究的自动化采集与质量监控。

限制与注意:需自行准备各平台 API 令牌并以环境变量存储,不得写入代码;应遵守 IRB/伦理审批,加密静态数据、记录访问日志、遵守外部 API 速率限制,并在处理前检查同意状态。