SuperAPI AI 工具集

entropy

通用与其它

查看项目

更新于 10-16 03:15

技能介绍

用途:该技能用于处理信息论中的熵相关问题,帮助梳理概念、公式与求解思路。

主要能力:涵盖香农熵 H(X) = -sum p(x) log2 p(x),均匀分布取最大值 log2(n),确定性情形为 0;熵的非负性、凹性、链式法则 H(X,Y) = H(X) + H(Y|X);联合熵与条件熵 H(Y|X) = H(X,Y) - H(X),以及独立时取等;连续情形的微分熵 h(X) = -integral f(x) log f(x) dx,可为负,高斯分布为 0.5 * log2(2pie*sigma^2);最大熵原理:无约束为均匀分布,给定 E[X] 为指数分布,给定 E[X] 与 Var[X] 为高斯分布。

使用方式:资料给出若干命令示例,如 uv run python -c "from scipy.stats import entropy; p = [0.25, 0.25, 0.25, 0.25]; H = entropy(p, base=2); print('Entropy:', H, 'bits')" 计算离散熵;用 scipy.stats.entropy(p, q) 计算 KL 散度;用 sympy_compute.py simplify 化简熵表达式;用 z3_solve.py prove "entropy_nonnegative" 证明性质;用 sympy_compute.py integrate "-f(x)*log(f(x))" --var x 处理微分熵积分。完整工具文档见 .claude/skills/math-mode/SKILL.md。

适用场景:信息论课程作业、熵与互信息推导、分布选择与最大熵建模等。

限制:资料未提供安装步骤、收费方式、平台支持与效果数据;部分命令依赖 runtime.harness 与 scripts 目录,需在对应项目环境中运行。