用途：在决策依赖明确概率分布时提供信息论度量支持，覆盖分布漂移与模型更新比较（KL 方向、指定对数底的 JS）、互信息特征筛选与泄漏检测、跨分词器模型比较（bits-per-byte 而非困惑度）、语义熵幻觉门控、RLVR 策略熵坍塌、上下文与 KV 缓存压缩的率—任务损失权衡，以及 Fano 误差下界、熵容量与率失真、MDL 模型选择等。
主要能力：提供 Shannon 熵、互信息、KL/JS、交叉熵、信道容量、率失真、MDL、信息瓶颈、Fano 不等式、典型集/AEP、冗余与压缩等原语公式与适用条件；附反模式表，如把 KL 当对称距离、无估计器报告 MI、跨分词器比较困惑度、把 token 熵当幻觉信号、把高熵当更有用、用 token 数设定交接预算等；给出测量契约要求（变量、抽样框、支撑集、对数底、估计器、样本量、零假设基线）。
使用方式：先写下测量契约，无法写出则将分数标记为代理指标；从快速参考选原语并查阅对应 playbook 与已知答案；检查反模式表，涉及 LLM 评估或服务时参考 llm-practice.md；报告数值、单位、不确定性与结论性质（定理、经验结果或启发式）。可运行 python3 scripts/discrete_information.py 做有限 PMF 已知答案校验。相关导航文档包括 practical-contract.md、primitives-overview.md、patterns-scenarios-traps.md、formal-theory-map.md。
适用场景：分布比较、特征相关性筛选、跨分词器困惑度换算、幻觉与弃答门控、RL 后训练健康度、上下文与检索重排压缩、提示变异性诊断。
限制：若无随机变量、抽样框或估计器可写出，只能将分数视为代理指标并在任务结果上验证；插值熵有偏、神经估计器有适用边界、InfoNCE 受 log K 限制；RLVR 的 R = −a·e^H + b 为经验拟合，a、b 不跨设置迁移；压缩与带宽数值结果为设置特定，不可跨域直接套用；语义熵只能检测虚构、对稳定错误不敏感；渐近定理不是有限保证。其余细节暂未提供。