用途:该技能定位为数据格式专家,用于处理 TOON 编码、JSON/YAML 优化、序列化模式与数据校验,主要场景是在 token 预算内优化向 LLM 传输的数据,以及高性能序列化、格式转换和大数据集处理。
主要能力:TOON(Token-Optimized Object Notation)为其自定义格式,宣称相对 JSON 可减少 40-60% token;类型标记为 # 数字、! 布尔、@ 时间戳、~ null,支持无损往返编解码。JSON 方面使用 orjson 实现约 2-5 倍于标准 json 的处理速度,并支持 ijson 流式处理、LRU 缓存、schema 压缩;YAML 使用 PyYAML 的 C 加载器,并支持多配置合并。数据校验提供类型安全校验、自定义规则、schema 演化与迁移、跨字段校验与批量校验。
使用方式:创建 TOONEncoder 实例并调用 encode 压缩数据、decode 还原;创建 JSONOptimizer 实例调用 serialize_fast 与 deserialize_fast,并用 compress_schema 优化重复校验;创建 DataValidator 实例,用 create_schema 定义字段类型与约束后调用 validate 获取结果;创建 YAMLOptimizer 调用 load_fast 与 merge_configs;大数据可用 StreamProcessor(chunk_size=8192) 配合 process_json_stream 回调处理文件。
依赖与限制:依赖 orjson、PyYAML、ijson、python-dateutil、regex、jsonschema、cerberus、marshmallow、pydantic 等库。具体安装命令、价格、平台支持范围与实测基准数据暂未提供;TOON 的 token 缩减比例基于其宣称,实际效果需自行验证。