SuperAPI AI 工具集

data-python

编程与开发

查看项目

更新于 10-15 16:47

技能介绍

用途:编写处理数据的 Python 代码时使用,聚焦 DataFrame 模式(pandas、polars、pyspark)、数据类型处理与校验、内存高效处理、向量化替代循环、方法链式模式,以及数据管道的错误处理。

主要能力与原则:向量化而非循环,使用 DataFrame 操作而不是逐行迭代;在边界尽早校验并拒绝坏数据;关注数据规模并选用合适 dtype;采用不可变式链式转换而非原地修改;预先定义期望列与类型。

必要用法示例(保持原样): result = ( df .query("status == 'active'") .assign(total=lambda x: x["quantity"] * x["price"]) .groupby("category") .agg({"total": "sum"}) .sort_values("total", ascending=False) )

反模式与修法:iterrows() 慢且破坏向量化,改用向量化操作;df["col"] = df.apply(...) 通常慢于向量化,改用 np.where 或 df.assign;链式索引 df["a"]["b"] 触发 SettingWithCopyWarning,改用 df.loc[:, "a"];加载整个文件只为检查 schema 浪费内存,可用 nrows=100 或分块;读取时忽略 dtype 导致内存膨胀,应显式指定 dtype=。

限制与边界:本技能不覆盖通用代码结构、测试与命名(交给 code-quality)、SQL 查询模式(交给 data-sql)、编排与 ETL 架构(交给 data-pipelines)。

参考资源:references/vectorization.md、references/memory-optimization.md、assets/pandas-cheatsheet.md。版本 1.0,技术栈为 Python(pandas、polars、pyspark)。