Jensen’s Inequality
Sources:
- Elements of Information Theory
- EE 376A: Information Theory - Stanford University
Sources:
Sources:
We now show that the entropy of a collection of random variables is the sum of the conditional entropies.
Note: 本文的证明还比较粗糙, 后面会改进.
Ref: Elements of Information Theory
在不同的统计学(包括概率论, 信息论, 随机过程)教材中常常会见到不同的符号约定, 这里整理一下并作出说明.
Ref:
《道是什么》演讲稿.