信息熵计算？

一、信息熵计算？

信息熵也是有值的，可以计算的，信息熵用 bit（比特）为单位，计算公式如下，其中 P 是概率质量函数。

初始状态下，对于张三来说，小红喜欢这三个礼物的概率都是 1/3，所以此时 P(x) = 1/3，信息熵可以用如下公式计算：

H(x)=1/3*log(3)+1/3*log(3)+1/3*log(3)

=1.56

这也就是说目前的信息熵。

二、图像信息熵计算公式？

信息熵的计算公式：H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。 其中，x表示随机变量，与之相对应的是所有可能输出的集合，定义为符号集,随机变量的输出用x表示。P(x)表示输出概率函数。变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。 信息熵是数学方法和语言文字学的结合，基本计算公式是未H = - LOG2(P)。其中，H 表示信息熵，P 表示某种语言文字的字符出现的概率，LOG2是以二为底的对数，用的是二进制，因而，信息熵的单位是比特（BIT，即二进制的0和1）。信息熵值就是信息熵的数值。

三、信息熵读音？

信息熵读xìn xī shāng，

详细字义

◎ 信 xìn 

〈形〉

(1) (会意。从人，从言。人的言论应当是诚实的。本义:真心诚意)

(2) 同本义 

信，诚也。——《说文》

有诸已之谓信。——《孟子》

信，言合于意也。——《墨子经》

信者，诚也。专一不移也。——《白虎通·情性》

定身以行事谓之信。——《国语·晋语》

期果言当谓之信。——《贾子道术》

民不求其所欲而得之谓之信。——《礼记·经解》

四、信息熵类型？

信息熵这一概念由克劳德·香农于1948 年提出。香农是美国著名的数学家、信息论创始人，他提出的“信息熵”的概念，为信息论和数字通信奠定了基础。

信息熵是用于衡量不确定性的指标，也就是离散随机事件出现的概率，简单地说“情况越混乱，信息熵就越大，反之则越小”。

五、熵的计算？

热力学中表征物质状态的参量之一,通常用符号S表示。在经典热力学中，可用增量定义为dS＝(dQ/T)，式中T为物质的热力学温度;dQ为熵增过程中加入物质的热量；下标“可逆”表示加热过程所引起的变化过程是可逆的。若过程是不可逆的,则dS＞(dQ/T)不可逆。单位质量物质的熵称为比熵,记为 s。

熵最初是根据热力学第二定律引出的一个反映自发过程不可逆性的物质状态参量。热力学第二定律是根据大量观察结果总结出来的规律，有下述表述方式：

①热量总是从高温物体传到低温物体，不可能作相反的传递而不引起其他的变化；

②功可以全部转化为热，但任何热机不能全部地、连续不断地把所接受的热量转变为功（即无法制造第二类永动机）；

③在孤立系统中,实际发生的过程,总使整个系统的熵值增大，此即熵增原理。摩擦使一部分机械能不可逆地转变为热，使熵增加。热量dQ由高温(T1)物体传至低温(T2)物体,高温物体的熵减少dS1=dQ/T1,低温物体的熵增加dS2=dQ/T2,把两个物体合起来当成一个系统来看,熵的变化是dS＝dS2－dS1＞0，即熵是增加的。

物理学上指热能除以温度所得的商，标志热量转化为功的程度。物质都有自己的标准熵，一个反应可以根据各种物质的熵来计算熵变。ΔH-TΔs是计算自由能的公式，用来判断反应的自发性。

六、熵 比容计算？

你好 熵在高中是不作要求的。 现在属于大学物理的内容。现在给你详细讲解下，热力学中表征物质状态的参量之一,通常用符号S表示。

在经典热力学中，可用增量定义为dS＝(dQ/T)，式中T为物质的热力学温度;dQ为熵增过程中加入物质的热量；下标“可逆”表示加热过程所引起的变化过程是可逆的。若过程是不可逆的,则dS＞(dQ/T)不可逆。单位质量物质的熵称为比熵,记为 s。熵最初是根据热力学第二定律引出的一个反映自发过程不可逆性的物质状态参量。

热力学第二定律是根据大量观察结果总结出来的规律，有下述表述方式：

①热量总是从高温物体传到低温物体，不可能作相反的传递而不引起其他的变化；

②功可以全部转化为热，但任何热机不能全部地、连续不断地把所接受的热量转变为功（即无法制造第二类永动机）；

③在孤立系统中,实际发生的过程,总使整个系统的熵值增大，此即熵增原理。

摩擦使一部分机械能不可逆地转变为热，使熵增加。

热量dQ由高温(T1)物体传至低温(T2)物体,高温物体的熵减少dS1=dQ/T1,低温物体的熵增加dS2=dQ/T2,把两个物体合起来当成一个系统来看,熵的变化是dS＝dS2－dS1＞0，即熵是增加的。 物理学上指热能除以温度所得的商，标志热量转化为功的程度。

七、怎样计算熵？

熵在高中是不作要求的.现在属于大学物理的内容.现在给你详细讲解下,热力学中表征物质状态的参量之一,通常用符号S表示.在经典热力学中,可用增量定义为dS＝(dQ/T),式中T为物质的热力学温度;dQ为熵增过程中加入物质的热量；下标“可逆”表示加热过程所引起的变化过程是可逆的.若过程是不可逆的,则dS＞(dQ/T)不可逆.单位质量物质的熵称为比熵,记为 s.熵最初是根据热力学第二定律引出的一个反映自发过程不可逆性的物质状态参量.热力学第二定律是根据大量观察结果总结出来的规律,有下述表述方式：①热量总是从高温物体传到低温物体,不可能作相反的传递而不引起其他的变化；②功可以全部转化为热,但任何热机不能全部地、连续不断地把所接受的热量转变为功（即无法制造第二类永动机）；③在孤立系统中,实际发生的过程,总使整个系统的熵值增大,此即熵增原理.摩擦使一部分机械能不可逆地转变为热,使熵增加.热量dQ由高温(T1)物体传至低温(T2)物体,高温物体的熵减少dS1=dQ/T1,低温物体的熵增加dS2=dQ/T2,把两个物体合起来当成一个系统来看,熵的变化是dS＝dS2－dS1＞0,即熵是增加的.

物理学上指热能除以温度所得的商,标志热量转化为功的程度.

八、二元信源信息熵计算公式？

信息熵的计算公式：H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。

其中，x表示随机变量，与之相对应的是所有可能输出的集合，定义为符号集,随机变量的输出用x表示。P(x)表示输出概率函数。变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。 信息熵是数学方法和语言文字学的结合，基本计算公式是未H = - LOG2(P)。

其中，H 表示信息熵，P 表示某种语言文字的字符出现的概率，LOG2是以二为底的对数，用的是二进制，因而，信息熵的单位是比特（BIT，即二进制的0和1）。信息熵值就是信息熵的数值。

九、信息熵是什么？

信息是个很抽象的概念。我们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。 熵表示物质系统状态的一个物理量(记为S)，它表示该状态可能出现的程度。在热力学中，是用以说明热学过程不可逆性的一个比较抽象的物理量。孤立体系中实际发生的过程必然要使它的熵增加。

十、信息熵何时最大？

讨论一下信息熵的最大值，即max ⁡ E n t ( D ) = − ∑ k = 1 N p k log ⁡ 2 p k s . t . ∑ k = 1 N p k = 1

amp;maxamp;s.t.amp;Ent(D)amp;∑k=1Npkamp;=−∑k=1Npklog2pkamp;=1amp;maxamp;Ent(D)amp;=−∑k=1Npklog2⁡pkamp;s.t.amp;∑k=1Npkamp;=1

maxs.t.Ent(D)k=1∑Npk=−k=1∑Npklog2pk=1我们将信息熵的中的符号去掉，即最小化 ∑ k = 1 N p k log ⁡ 2 p k \displaystyle{\sum_{k=1}^{N} p_{k}\log_{2}p_{k}}k=1∑Npklog2pk，我们采用拉格朗日乘子法，设J ( p 1 , p 2 , ⋯   , p k , λ ) = ∑ k = 1 N p k log ⁡ 2 p k + λ ( ∑ k = 1 N p k − 1 )

J(p1,p2,⋯,pk,λ)amp;=∑k=1Npklog2pk+λ(∑k=1Npk−1)J(p1,p2,⋯,pk,λ)amp;=∑k=1Npklog2⁡pk+λ(∑k=1Npk−1)

J(p1,p2,⋯,pk,λ)=k=1∑Npklog2pk+λ(k=1∑Npk−1)对 J ( p 1 , p 2 , ⋯   , p k , λ ) J(p_{1},p_{2},\cdots,p_{k},\lambda)J(p1,p2,⋯,pk,λ) 求关于 p 1 , p 2 , ⋯   , p k , λ p_{1},p_{2},\cdots,p_{k},\lambdap1,p2,⋯,pk,λ 的导数，并令其为 0 ，可得∂ J ( p 1 , p 2 , ⋯   , p k , λ ) ∂ p k = log ⁡ 2 p k + 1 ln ⁡ 2 + λ = 0 , k = 1 , 2 , ⋯   , N ∂ J ( p 1 , p 2 , ⋯   , p k , λ ) ∂ λ = ∑ k = 1 N p k − 1 = 0

∂J(p1,p2,⋯,pk,λ)∂pk∂J(p1,p2,⋯,pk,λ)∂λamp;=log2pk+1ln2+λ=0,k=1,2,⋯,Namp;=∑k=1Npk−1=0∂J(p1,p2,⋯,pk,λ)∂pkamp;=log2⁡pk+1ln⁡2+λ=0,k=1,2,⋯,N∂J(p1,p2,⋯,pk,λ)∂λamp;=∑k=1Npk−1=0

∂pk∂J(p1,p2,⋯,pk,λ)∂λ∂J(p1,p2,⋯,pk,λ)=log2pk+ln21+λ=0,k=1,2,⋯,N=k=1∑Npk−1=0我们可以得到p k = 2 − ( 1 ln ⁡ 2 + λ ) , k = 1 , 2 , ⋯   , N p_{k}= 2^{-(\frac{1}{\ln 2} +\lambda)},\quad k =1,2,\cdots,N\\pk=2−(ln21+λ),k=1,2,⋯,N而∑ k = 1 N p k − 1 = 0 \sum_{k=1}^{N}p_{k} -1 =0k=1∑Npk−1=0所以N ⋅ 2 − ( 1 ln ⁡ 2 + λ ) = 1 N\cdot2^{-(\frac{1}{\ln 2} +\lambda)} = 1N⋅2−(ln21+λ)=1可得p k = 1 N , k = 1 , 2 , ⋯   , N λ = log ⁡ 2 N − 1 ln ⁡ 2

pkλamp;=1N,k=1,2,⋯,Namp;=log2N−1ln2pkamp;=1N,k=1,2,⋯,Nλamp;=log2⁡N−1ln⁡2

pkλ=N1,k=1,2,⋯,N=log2N−ln21所以当 p k = 1 N , k = 1 , 2 , ⋯   , N p_{k} = \frac{1}{N},\quad k =1,2,\cdots,Npk=N1,k=1,2,⋯,N 时，J ( p 1 , p 2 , ⋯   , p k , λ ) J(p_{1},p_{2},\cdots,p_{k},\lambda)J(p1,p2,⋯,pk,λ) 取最小值，即信息熵取最大值。