SuperAPI AI 工具集

atproto-ingest

数据与分析

查看项目

更新于 10-16 08:07

技能介绍

用途:atproto-ingest 是 AT Protocol(Bluesky)数据采集层,负责为下游分析生成数据流,定位为 Layer 1 数据获取。

主要能力:1) fetch-user-posts,按 handle 或 DID 拉取用户全部帖子,支持游标分页;2) get-engagement-graph,获取帖子的点赞、转发、引用、回复关系;3) stream-mentions,通过 Firehose WebSocket 或通知轮询做实时监听;4) extract-thread-tree,抓取完整会话树并转为邻接表;5) get-follower-network,做一阶与二阶关注网络 BFS 扩展。

使用方式:认证推荐 App Password,调用 com.atproto.server.createSession 获取 accessJwt/refreshJwt;应用可用 OAuth(授权端点 https://bsky.social/oauth/authorize,令牌端点 https://bsky.social/oauth/token,scope 为 atproto、transition:generic)。示例:curl -X POST https://bsky.social/xrpc/com.atproto.server.createSession -H "Content-Type: application/json" -d '{"identifier": "handle.bsky.social", "password": "app-password-here"}'。常用 Lexicon 包括 app.bsky.feed.getAuthorFeed、getPostThread、getLikes、getRepostedBy、app.bsky.graph.getFollowers、getFollows、app.bsky.actor.getProfile、com.atproto.sync.subscribeRepos。

输出与集成:提供 DuckDB 建表格式(bsky_posts、bsky_graph、bsky_engagement),可用 COPY ... FROM 'posts.json' (FORMAT JSON, ARRAY true) 导入;结果可交给 Layer 2 做情感分析与嵌入生成,或用于仪表盘与告警。

限制:需遵守速率限制(读 3000/5min、写 1500/hr、搜索 100/min,Firehose 不限),建议 429 时按 Retry-After 退避并加 sleep;Firehose 需 CBOR 解析。具体收费、价格与平台支持情况暂未提供。