淺談信息率失真函數(shù)

　　問題

　　信源熵H（X）的物理含義是什么？

　　信源無失真?zhèn)鬏斔璧淖钚?a target='_blank' class='arckwlink_none'>信息率

　　R?H（X）

　　在信源允許一定失真情況下所需的最小信息率

　　D?R（D）

　　壓縮的可行性和必要性：

　　對于連續(xù)信源，因為其絕對熵為無限大，若要求無失真地對其進行傳輸，則要求信道的信息傳輸率也為無限大，這是不現(xiàn)實的。因此也就不可能實現(xiàn)完全無失真?zhèn)鬏敗?/p>

　　即使對于離散信源，由于處理的信息量越來越大，使得信息的存儲和傳輸成本很高，而且在很多場合，過高的信息率也沒有必要，例如：由于人耳能夠接收的帶寬和分辨率是有限的，因此對數(shù)字音頻傳輸?shù)臅r候，就允許有一定的失真，并且對欣賞沒有影響。

　　又如對于數(shù)字電視，由于人的視覺系統(tǒng)的分辨率有限，并且對低頻比較敏感，對高頻不太敏感，因此也可以損失部分高頻分量，當然要在一定的限度內(nèi)。

　　等等這些，都決定了限失真信源編碼的重要性

　　在限失真信源編碼里，一個重要的問題就是在一定程度的允許失真限度內(nèi)，能把信源信息壓縮到什么程度，即最少用多少比特數(shù)才能描述信源。

　　這個問題已經(jīng)被香農(nóng)解決。香農(nóng)在1948年的經(jīng)典論文中已經(jīng)提到了這個問題，在1959年，香農(nóng)又在他的一篇論文“保真度準則下的離散信源編碼定理”里討論了這個問題。研究這個問題并做出較大貢獻的還有前蘇聯(lián)的柯爾莫郭洛夫（Kolmogorov）以及伯格（T.Berger）等。