data-engineering-streaming
关于实时数据管道与流处理的技能,涵盖 Apache Kafka、MQTT(物联网)和 NATS JetStream 的生产者、消费者、流处理模式及数据工程集成。
找到适合任务的 Agent Skill,阅读介绍并复制安装命令。
更新于 11-02 00:09
17,277 个结果
关于实时数据管道与流处理的技能,涵盖 Apache Kafka、MQTT(物联网)和 NATS JetStream 的生产者、消费者、流处理模式及数据工程集成。
用于严谨评估模型性能、比较模型与诊断问题的数据科学技能,涵盖交叉验证、指标选择、超参数调优、模型对比与实验跟踪,适用于训练后评估、过拟合诊断和生产就绪检查。
FlowerPower 是一个基于 Hamilton DAG 与 uv 的配置驱动数据管道框架,适合简单到中等复杂度的批处理 ETL、数据转换与机器学习工作流,支持多执行器与可配置参数,但不含调度与状态持久化。
统一查询股票、加密货币等金融数据的 MCP 数据网关,支持 Yahoo Finance、Alpha Vantage、Tushare、Binance 等多个数据源,提供一致的查询接口,适用于获取市场行情、历史 K 线与财务数据。
gleague-data 是 machina-sports/sports-skills 提供的 NBA G League(发展联盟)数据技能,可从 ESPN 公开端点、NBA Stats(stats.nba.com,LeagueID 20)以及 G League 直播 CDN(cdn-gleague.nba.com)获取比分、排名、球队、球员数据等内容。通过 sports-skills 命令行工具调用,无需 API 密钥。项目对两套 ID 体系做出严格区分:ESPN 的球队/赛事 ID 与 NBA.com 官方 ID 不可混用,且不与 nba-data 技能互换 ID。提供的命令覆盖记分牌、赛程、排名、球队名单、比赛摘要、逐回合数据、新闻,以及球员检索、球队/球员比赛日志、生涯数据、球队统计、投篮图、进阶 boxscore、数据排行榜和直播 boxscore/play-by-play。部分功能无可用数据源(如伤病、交易、胜率、ESPN 球队统计),需改用 NBA Stats 对应命令或视为不存在。数据非实时保证,stats.nba.com 有节流,CDN 请求无重试与回退。
用于为网站添加或审计 Schema.org 结构化数据的技能,生成组织、FAQ、HowTo、产品、文章等类型的 JSON-LD,以提升 AI 提取与富搜索结果效果,并提供审计、映射、验证与维护流程。
data-analyst 是一个用于 CSV 数据集分析流程的技能,可自动分析缺失值模式、按列数据类型与分布智能填补缺失值,并生成 Plotly Dash 交互式仪表板,用于趋势与模式可视化,覆盖端到端探索性数据分析。
用于分析多步用户转化漏斗的技能:计算各步骤转化率、按用户属性细分、用 Plotly 生成交互式可视化,并识别流失瓶颈与优化机会,适用于营销活动、注册引导、电商购买等场景。
用于校验 CakePHP 迁移文件与 fixture、实际数据库结构一致性的技能,在质量审查或测试开发验证数据库变更时调用,检查迁移语法、多租户连接模式与测试库配置。
用于在对外分享前对 Simulink 模型进行脱敏与匿名化的技能,可移除专有内容、匿名化模块与信号名称、清除元数据,并生成自包含的可分享副本。
该技能针对 Kotlin 应用中按本地时间分桶统计的场景,主张把本地小时、本地日期等分组逻辑放在应用代码中完成,而不是交给 SQL 引擎的本地时间修饰符。核心做法是用一次范围查询取出原始时间戳与数值行,再在代码里一次遍历同时算出小时直方图、最忙日期、每日计数和总量,避免多次扫描与引擎时区依赖。技能还说明了相关陷阱、适用边界、验证方式与注意事项。
这是一个 Kotlin 实现的批量 JSON 导入方案技能,用于把用户提供的文件中的数千行数据导入本地数据库,并在过程中保持界面响应。核心做法是用一条 cold flow 按批次分块写入,并每写一批就发出一次进度,而不是按行逐条插入或逐行发进度;同时要求先解析和校验,再进入写库阶段。它还给出空文件误报成功、逐行提交导致缓慢、外键引用缺失、位置编号断裂、异常逃逸等常见陷阱的处理办法,并强调对来自外部程序的值做归一化与边界校验。该技能附有基于仓库源码的验证命令,用于检查批大小常量、一次性构建的查找表以及两处边界守卫是否按预期出现。收费、支持平台与完整安装步骤暂未提供。}
本技能讲解本地缓存数据库清理时的级联删除顺序问题。核心观点是:缓存清理本质上是图遍历,访问顺序决定删除是否真正生效。正确顺序为:先固定活跃记录,再依次删除事件日志、按状态标志关联的容器及其附属行、级联到子项的容器、剩余容器、批量删除叶子行、清理此前已孤立的附属行,最后执行检查点与压缩并解除固定。文中指出多个陷阱:叶子优先删除会因仍被引用而删不掉任何行且报告成功;liked、downloadState 等状态列不是外键,必须作为谓词参与判断,否则会误删用户收藏和下载记录;预计算的 id 列表会过期,需在 DELETE 内重新校验条件;正在使用的记录常因延迟持久化而看似孤立,需在清理前强制写盘;附属行需两遍处理;id 列表会超出语句参数上限,需分块。验证方面要求每个删除返回受影响行数并记录,用 SELECT COUNT(*) 对比,并检查文件大小变化。
该技能针对“状态结束时遗留的附属行”问题:当某行数据仅因另一行的某个状态而存在(如关注创作者的提醒、订阅的发行追踪行、打开编辑器的草稿行),状态一旦结束,这些附属行便失去存在理由,但数据库 schema 并不知晓。技能主张在状态发生变更的同一处执行删除,而不是留给后续批量清扫;并提醒标志位翻转不会触发级联删除、基于“父行缺失”的批量清扫会漏掉仍存在但已退出状态的父行、修复后仍需保留批量清扫作为历史数据迁移路径、应基于新值而非“值变化”分支、应放在拥有该状态转换的仓库方法中而非按钮点击处、不应扩展到用户可撤销的删除。验证方式包括统计滞留行数、查找状态列的所有写入方、手工往返测试以及长时间观察表行数。
这是一条关于数据可视化图形几何的 Kotlin 与 Canvas 实践规则,核心主张是:当几个度量并不构成同一个整体时,不应把它们画成同一个饼图或环形图的各个扇区,而应改为同心圆弧,并且把最大的一圈弧线截短,使其不到 360°,同时把数值弧线叠加在完整的底环上。该规则还说明了圆头笔帽带来的角度损耗、半径不大于零时的静默丢弃、图例颜色在灰度或色盲条件下的辨识问题等陷阱,并给出用 grep 和 awk 自查的具体做法。
该技能针对 Kotlin 项目中从远程数据源读取类型标记(如枚举标记)的场景,提出将标记归一化逻辑集中到一个对象中,并在每次比较前先归一化,以兼容旧版本应用存储的脏数据。核心强调:归一化函数只接受符合源标记前缀的值,否则返回 null;所有判断函数(如 isPlain、isRich)内部必须先调用归一化;null 表示“源未声明”,不能折叠为默认值;每个判断函数需明确未知值的处理方向,并暴露 isKnown;未知值下两个互斥判断同时返回 false 是正确三态表现;优先采用写入时纠正而非迁移,并配合读取时归一化;导入或备份数据也需归一化,且回退值需能被读网关再次归一化掉。还提供了验证命令和测试要求。适用于处理遗留数据、兼容多版本、需要防御性解析的 Kotlin 项目。
该技能页面讨论范围图表中分桶(bucket)的两个独立决策:桶宽与桶数量。核心主张是按人的阅读行数确定桶单位(7天对应7行日数据、30天对应4行周数据、90天对应3行月数据),并采用完全等宽的桶,把余下的天数放在图表之外,而不是让某个桶更宽。文中指出不等宽桶会让条形长度编码的计数产生方向确定的偏差,看起来像趋势。页面还提醒:只有标签标明起止日期时丢弃余数才是诚实的;日历月、日历季等不等宽单位只有在标签本身写明单位时才可接受;正在进行中的最新日历桶不应按全宽绘制;桶的排序方向应在构建列表时确定;包含式结束边界查询时需用排他上界;零值桶仍需占位且计数应放在条形之外。页面提供了只读的 grep 与 awk 验证命令,用于检查分桶分支、覆盖天数、边界转换和填充下限。
这个技能页面讲解了一个常见的 SQL 统计错误:把“首次出现(first-ever)”的实体数误写成“窗口内出现的不同实体数(first-in-window)”。它通过对比 SQL 与 Spring Data JPA 的 @Query 示例,说明计算“某时间段内首次出现的实体数量”必须对每个实体的完整历史取 MIN(timestamp),并将时间窗口条件放在 HAVING 而非 WHERE 中,否则查询会退化为窗口内的去重计数。页面同时讨论了该错误的隐蔽性(初期测试通过、比值恒为 1.0)、聚合必须嵌套为子查询、索引形状应为 (entityKey, timestamp)、数据保留清理会改变“ever”的含义、“lapsed”问题的镜像错误,以及用 grep 与双查询对比来验证的排查方法。
这是一个关于设计用户间交换文件格式契约的技能,源自 maxrave-dev/kotlin-footguns 项目,主要讲解如何避免版本字段陷阱、拒绝空解析文件、处理并行数组长度规则、记录遗留坏值等契约设计要点,包含代码示例和验证方法。
本条目介绍在 SQL 的 LIKE 模式中安全匹配机器生成 ID 的方法。机器生成的 ID 常包含下划线(_)和百分号(%)等字符,这些在 LIKE 中是通配符,会导致匹配范围意外扩大。文章说明了嵌套 replace() 转义通配符、使用 ESCAPE 子句声明转义符、按存储格式添加定界符,以及参数绑定不能自动转义通配符等要点,并给出验证与测试建议。
在设备本地记录与汇总收听或使用数据。
这是一个用于估算对等端时钟偏移的 Kotlin 实现与经验指南:通过 ping/pong 往返消息,扣除对等端自身的处理时间后再取一半,得出单向延迟与时钟偏移,并按每个样本的往返时间相对最佳值的接近程度加权更新偏移估计,避免拥塞样本污染结果。内容涵盖本地单调时钟注入、未校准时的回退策略、样本前置校验、首样本事件通知,以及公式跨端一致的测试约束。
partial-chart-must-say-so 是一个面向 Kotlin/SQL 数据可视化的检查型技能,针对“按类别份额”图表在数据不完整时未披露覆盖率的缺陷,要求图表用与分桶完全相同的谓词计算并展示“可分类输入占比”这一行文字,并保证该说明在覆盖率为 0% 时依然可见。内容涵盖 SQL 分桶查询与覆盖率查询需逐项对齐 WHERE 条件、整数除法导致的 0% 与取整失真、分母定义须为窗口内全部事件、解析失败被映射进“0s”桶、分子分母分两次扫描可能超过 100%、不得把部分分布归一化为 100%、等宽桶不完整等问题,并给出 grep 与 awk 形式的只读核查命令。
该技能文档介绍了一种将远程大型静态索引缓存为可查询数据行、并使用服务器 ETag 做条件校验的缓存设计。核心做法是:只解析一次巨大索引并写入带索引的数据表,使子串搜索走索引查询而非重复解析;用 TTL 避免频繁询问服务器;用 If-None-Match 复用服务器自身校验器,使“未变更”只消耗响应头。文档同时列出常见陷阱:空表时不应回放 ETag、解析出零条目应视为失败、失败不得刷新时间戳、304 必须刷新时间戳、数据行与校验器需在同一事务中写入、弱校验器也应原样发送、离线时缓存条目载荷、LIKE 查询需转义通配符、force 刷新应跳过 TTL 但保留校验器,并给出 curl 验证方法。