用途:该技能定位为数据格式专家,处理 TOON 编码、JSON/YAML 优化、序列化模式与数据校验,面向对性能敏感的应用。
主要能力:TOON(Token-Optimized Object Notation)编码,宣称相比 JSON 可减少 40-60% 的 token 占用,支持无损往返编解码,类型标记为 # 数字、! 布尔、@ 时间戳、~ null;JSON/YAML 优化,使用 orjson 实现比标准 json 快 2-5 倍的序列化,用 ijson 做流式处理;数据校验,支持类型安全校验、自定义规则与模式、跨字段校验、模式演进与迁移、批量校验;格式转换与缓存(LRU 淘汰、内存管理、模式压缩)。
使用方式:创建 TOONEncoder 实例并调用 encode 压缩数据、decode 还原;创建 JSONOptimizer 实例调用 serialize_fast/deserialize_fast,用 compress_schema 优化重复校验;创建 DataValidator 实例,用 create_schema 定义字段类型与约束后调用 validate 获取 valid、sanitized_data 或 errors;YAMLOptimizer 的 load_fast 与 merge_configs 用于配置管理;StreamProcessor 配合 process_json_stream 按块处理大文件。
适用场景:LLM 通信的 token 预算优化、高性能序列化/反序列化、模式校验与数据完整性、格式转换、大数据集处理、API 响应优化与配置管理。
限制:资料未提供具体安装命令、版本要求、收费方式与实测基准数据;部分能力描述为宣称效果,实际表现需自行验证。技术栈涉及 orjson、PyYAML、ijson、python-dateutil、regex、jsonschema、cerberus、marshmallow、pydantic 等库。