SuperAPI AI 工具集

cognee-custom-pipelines

通用与其它

查看项目

更新于 10-16 06:15

技能介绍

cognee 中一切处理都以管道形式运行,即由若干任务按顺序组成、前一个任务的输出传给下一个。常规入库用 remember(),当需要 cognee 未内置的处理(自定义抽取、自定义节点类型、图谱后处理)时构建自建管道。

三种运行器:cognee.run_custom_pipeline(...) 是常规选择,针对数据集运行,具备权限、按数据集的锁、运行记录与状态;完整编排器 run_pipeline(tasks, data, datasets) 由前两者调用;轻量 run_pipeline 来自 cognee.pipelines,适合快速串联 task() 规格,无权限、锁、运行行与迁移,返回最后一步输出。run_custom_pipeline 返回 {dataset_id: PipelineRunInfo},data=None 时处理数据集已有文档。

任务写法:任务可为 async def、生成器、异步生成器或普通 def,用 Task(fn, *args, **kwargs) 包装,额外参数在管道数据之后传入;不需要 LLM 的任务设 needs_llm=False 可跳过连接检查;ctx 参数会注入用户、当前数据项、数据集、运行 ID 等信息。

数据流:每份文档独立跑完整条链,首个任务收到的是单元素列表;data_per_batch(默认 20)是并发上限而非批大小;batch_size 属于下游消费者,决定上游生成器输出如何分组;上游结果立即向下游流式传递,故下游任务每份文档可多次运行;enriches=True 时任务返回 None 则原样透传;返回或 yield Drop 会将该元素移出流;每个 DataPoint 自动带上来源标记。

存储与图谱加工:add_data_points 把 DataPoint 列表写入图并在向量库索引 index_fields,返回同一列表可放在链中;节点类型应设 identity_fields 以免重复运行产生重复节点。memify 可对已有图谱运行抽取与增强任务,支持任务名或 Task 对象、可选子图过滤;任务名注册表见资料所列。improve() 也会转发自定义任务,但仅在其增强阶段,且会跳过部分门控。

状态查询用 cognee.datasets.get_status([dataset_id], pipeline_names=[...])。注意事项:两个同名 run_pipeline 期望的入参不同;字符串任务名只在 memify 可用;绑定方法、functools.partial 包装的普通同步函数、可调用对象会被 Task 拒绝;run_custom_pipeline 不执行数据库迁移;除非在 WRITE_PIPELINE_NAMES 中加入名称,否则保持 pipeline_name="custom_pipeline";无 identity_fields 的节点每次运行都会重复;memify 忽略或空任务列表会使用默认任务,且只用解析到的第一个数据集。适用场景为需要自建抽取、自定义图模型与后处理的 cognee 图/向量数据处理流程。