上文講述毫米波通信優(yōu)勢(shì)的文章中提到了香農(nóng)定理和香農(nóng)極限，本著再學(xué)習(xí)的態(tài)度，我們?cè)敿?xì)整理一下關(guān)于香農(nóng)的一切。

?

Claude Elwood Shannon

（1916年4月30日—2001年2月24日）

克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon ，1916年4月30日—2001年2月24日）是美國數(shù)學(xué)家、信息論的創(chuàng)始人。1936年獲得密歇根大學(xué)學(xué)士學(xué)位[1]?。1940年在麻省理工學(xué)院獲得碩士和博士學(xué)位，1941年進(jìn)入貝爾實(shí)驗(yàn)室工作。香農(nóng)提出了信息熵的概念，為信息論和數(shù)字通信奠定了基礎(chǔ)。主要論文有：1938年的碩士論文《繼電器與開關(guān)電路的符號(hào)分析》，1948年的《通訊的數(shù)學(xué)原理》和1949年的《噪聲下的通信》。

人物資料

克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon，1916-2001）1916年4月30日誕生于美國密西根州的Petoskey。在Gaylord小鎮(zhèn)長大，當(dāng)時(shí)鎮(zhèn)里只有三千居民。父親是該鎮(zhèn)的法官，他們父子的姓名完全相同，都是Claude Elwood Shannon。母親是鎮(zhèn)里的中學(xué)校長，姓名是Mabel Wolf Shannon。他生長在一個(gè)有良好教育的環(huán)境，不過父母給他的科學(xué)影響好像還不如祖父的影響大。香農(nóng)的祖父是一位農(nóng)場主兼發(fā)明家，發(fā)明過洗衣機(jī)和許多農(nóng)業(yè)機(jī)械，這對(duì)香農(nóng)的影響比較直接。此外，香農(nóng)的家庭與大發(fā)明家愛迪生（Thomas Alva Edison，1847-1931）還有遠(yuǎn)親關(guān)系。香農(nóng)的大部分時(shí)間是在貝爾實(shí)驗(yàn)室和MIT（麻省理工學(xué)院）度過的。在“功成名就”后，香農(nóng)與瑪麗（Mary Elizabeth Moore）1949年3月27日結(jié)婚，他們是在貝爾實(shí)驗(yàn)室相識(shí)的，瑪麗當(dāng)時(shí)是數(shù)據(jù)分析員。他們共有四個(gè)孩子：三個(gè)兒子羅伯特（Robert）、詹姆斯（James）、安德魯莫瑞（Andrew Moore）和一個(gè)女兒Margarita Catherine。后來身邊還有兩個(gè)可愛的孫女。

2001年2月24日，香農(nóng)在馬薩諸塞州Medford辭世，享年84歲。貝爾實(shí)驗(yàn)室和MIT發(fā)表的訃告都尊崇香農(nóng)為信息論及數(shù)字通信時(shí)代的奠基人。

人物生平

香農(nóng)于1916年4月30日出生于美國密歇根州的Petoskey，并且是愛迪生的遠(yuǎn)親戚。1936年畢業(yè)于密歇根大學(xué)并獲得數(shù)學(xué)和電子工程學(xué)士學(xué)位。1940年獲得麻省理工學(xué)院（MIT）數(shù)學(xué)博士學(xué)位和電子工程碩士學(xué)位。1941年他加入貝爾實(shí)驗(yàn)室數(shù)學(xué)部，工作到1972年。1956年他成為麻省理工學(xué)院（MIT）客座教授，并于1958年成為終生教授，1978年成為名譽(yù)教授。香農(nóng)博士于2001年2月24日去世，享年84歲。

香農(nóng)于1940年在普林斯頓高級(jí)研究所（The Institute for Advanced Study at Princeton）期間開始思考信息論與有效通信系統(tǒng)的問題。經(jīng)過8年的努力，香農(nóng)在1948年6月和10月在《貝爾系統(tǒng)技術(shù)雜志》（Bell System Technical Journal）上連載發(fā)表了具有深遠(yuǎn)影響的論文《通訊的數(shù)學(xué)原理》。1949年，香農(nóng)又在該雜志上發(fā)表了另一著名論文《噪聲下的通信》。在這兩篇論文中，香農(nóng)闡明了通信的基本問題，給出了通信系統(tǒng)的模型，提出了信息量的數(shù)學(xué)表達(dá)式，并解決了信道容量、信源統(tǒng)計(jì)特性、信源編碼、信道編碼等一系列基本技術(shù)問題。兩篇論文成為了信息論的奠基性著作。

1936年香農(nóng)在密西根大學(xué)獲得數(shù)學(xué)與電氣工程學(xué)士學(xué)位，然后進(jìn)入MIT念研究生。

1938年香農(nóng)在MIT獲得電氣工程碩士學(xué)位，碩士論文題目是《A Symbolic Analysis of Relay and Switching Circuits》（繼電器與開關(guān)電路的符號(hào)分析）。當(dāng)時(shí)他已經(jīng)注意到電話交換電路與布爾代數(shù)之間的類似性，即把布爾代數(shù)的“真”與“假”和電路系統(tǒng)的“開”與“關(guān)”對(duì)應(yīng)起來，并用1和0表示。于是他用布爾代數(shù)分析并優(yōu)化開關(guān)電路，這就奠定了數(shù)字電路的理論基礎(chǔ)。哈佛大學(xué)的Howard Gardner教授說，“這可能是本世紀(jì)最重要、最著名的一篇碩士論文?！?/p>

1940年香農(nóng)在MIT獲得數(shù)學(xué)博士學(xué)位，而他的博士論文卻是關(guān)于人類遺傳學(xué)的，題目是《An Algebra for Theoretical Genetics》（理論遺傳學(xué)的代數(shù)學(xué))。這說明香農(nóng)的科學(xué)興趣十分廣泛，后來他在不同的學(xué)科方面發(fā)表過許多有影響的文章。

在讀學(xué)位的同時(shí)，他還用部分時(shí)間跟溫尼法·布什（Vannevar Bush）教授進(jìn)行微分分析器的研究。這種分析器是早期的機(jī)械模擬計(jì)算機(jī)，用于獲得常微分方程的數(shù)值解。1941年香農(nóng)發(fā)表了《Mathematical theory of the differential analyzer》（微分分析器的數(shù)學(xué)理論），他寫道：“大多數(shù)結(jié)果通過證明的定理形式給出。最重要的是處理了一些條件，有些條件可以生成一個(gè)或多個(gè)變量的函數(shù)，有些條件可使常微分方程得到解。還給出了一些注意事項(xiàng)，給出求函數(shù)的近似值（不能產(chǎn)生精確值）、求調(diào)整率的近似值以及自動(dòng)控制速率的方法?！?/p>

1941年香農(nóng)以數(shù)學(xué)研究員的身份進(jìn)入新澤西州的AT&T貝爾電話公司，并在貝爾實(shí)驗(yàn)室工作到1972年，從24歲到55歲，整整31年。1956年他當(dāng)了MIT的訪問教授，1958年成為正式教授，1978年退休。

人們描述香農(nóng)的生活，白天他總是關(guān)起門來工作，晚上則騎著他的獨(dú)輪車來到貝爾實(shí)驗(yàn)室。他的同事D. Slepian寫到：“我們大家都帶著午飯來上班，飯后在黑板上玩玩數(shù)學(xué)游戲，但克勞德很少過來。他總是關(guān)起門來工作。但是，如果你要找他，他會(huì)非常耐心地幫助你。他能立刻抓住問題的本質(zhì)。他真是一位天才，在我認(rèn)識(shí)的人中，我只對(duì)他一人使用這個(gè)詞?！?/p>

香農(nóng)與John Riordan一起工作，1942年發(fā)表了一篇關(guān)于串并聯(lián)網(wǎng)絡(luò)的雙終端數(shù)的論文。這篇論文擴(kuò)展了麥克馬洪（Percy A. MacMahon，1854-1929）1892年在Electrician上發(fā)表的論文理論。

1948年，劃時(shí)代的“通信的一個(gè)數(shù)學(xué)理論”分成兩部分，在7月和10月的Bell System Technical Journal發(fā)表。文章系統(tǒng)論述了信息的定義，怎樣數(shù)量化信息，怎樣更好地對(duì)信息進(jìn)行編碼。在這些研究中，概率理論是香農(nóng)使用的重要工具。香農(nóng)同時(shí)提出了信息熵的概念，用于衡量消息的不確定性。

在漫長的歲月，他思考過許多問題。除在普林斯頓高等研究院工作過一年外，主要都在MIT和Bell Lab度過。需要說明的是，在二次世界大戰(zhàn)時(shí)，香農(nóng)博士也是一位著名的密碼破譯者（這使人聯(lián)想到比他大4歲的圖靈博士）。他在Bell Lab的破譯團(tuán)隊(duì)主要是追蹤德國飛機(jī)和火箭，尤其是在德國火箭對(duì)英國進(jìn)行閃電戰(zhàn)時(shí)起了很大作用。1949年香農(nóng)發(fā)表了另外一篇重要論文《Communication Theory of Secrecy Systems》（保密系統(tǒng)的通信理論），正是基于這種工作實(shí)踐，它的意義是使保密通信由藝術(shù)變成科學(xué)。

1948年香農(nóng)在Bell System Technical Journal上發(fā)表了《A Mathematical Theory of Communication 》（通訊的數(shù)學(xué)原理）。論文由香農(nóng)和威沃共同署名。前輩威沃（Warren Weaver，1894-1978）當(dāng)時(shí)是洛克菲勒基金會(huì)自然科學(xué)部的主任，他為文章寫了序言。后來，香農(nóng)仍然從事技術(shù)工作，而威沃則研究信息論的哲學(xué)問題。順便提一句，該論文剛發(fā)表時(shí)，使用的是不定冠詞A，收入論文集時(shí)改為定冠詞The。

成就與榮譽(yù)

香農(nóng)理論的重要特征是熵（entropy）的概念，他證明熵與信息內(nèi)容的不確定程度有等價(jià)關(guān)系。熵曾經(jīng)是波爾茲曼在熱力學(xué)第二定律引入的概念，我們可以把它理解為分子運(yùn)動(dòng)的混亂度。香農(nóng)將統(tǒng)計(jì)物理中熵的概念，引申到信道通信的過程中，從而開創(chuàng)了”信息論“這門學(xué)科。香農(nóng)定義的“熵”又被稱為“香農(nóng)熵” 或 “信息熵”, 即其中i標(biāo)記概率空間中所有可能的樣本，表示該樣本的出現(xiàn)幾率，K是和單位選取相關(guān)的任意常數(shù)。可以明顯看出“信息熵”的定義和“熱力學(xué)熵”（玻爾茲曼公式）的定義只相差某個(gè)比例常數(shù)。

熵（entropy）指的是體系的混亂的程度，它在控制論、概率論、數(shù)論、天體物理、生命科學(xué)等領(lǐng)域都有重要應(yīng)用，在不同的學(xué)科中也有引申出的更為具體的定義，是各領(lǐng)域十分重要的參量。熵由魯?shù)婪颉た藙谛匏梗≧udolf Clausius）提出，并應(yīng)用在熱力學(xué)中。后來在，克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon）第一次將熵的概念引入到信息論中來。

眾所周知，質(zhì)量、能量和信息量是三個(gè)非常重要的量。

人們很早就知道用秤或者天平計(jì)量物質(zhì)的質(zhì)量，而熱量和功的關(guān)系則是到了19世紀(jì)中葉，隨著熱功當(dāng)量的明確和能量守恒定律的建立才逐漸清楚。能量一詞就是它們的總稱，而能量的計(jì)量則通過“卡、焦耳”等新單位的出現(xiàn)而得到解決。

然而，關(guān)于文字、數(shù)字、圖畫、聲音的知識(shí)已有幾千年歷史了。但是它們的總稱是什么，它們?nèi)绾谓y(tǒng)一地計(jì)量，直到19世紀(jì)末還沒有被正確地提出來，更談不上如何去解決了。20世紀(jì)初期，隨著電報(bào)、電話、照片、電視、無線電、雷達(dá)等的發(fā)展，如何計(jì)量信號(hào)中信息量的問題被隱約地提上日程。

1928年哈特利（R.V. H. Harley）考慮到從D個(gè)彼此不同的符號(hào)中取出N個(gè)符號(hào)并且組成一個(gè)“詞”的問題。如果各個(gè)符號(hào)出現(xiàn)的概率相同，而且是完全隨機(jī)選取的，就可以得到D^N個(gè)不同的詞。從這些詞里取了特定的一個(gè)就對(duì)應(yīng)一個(gè)信息量I。哈特利建議用N log D這個(gè)量表示信息量，即I=N log D。這里的log表示以10為底的對(duì)數(shù)。后來，1949年控制論的創(chuàng)始人維納也研究了度量信息的問題，還把它引向熱力學(xué)第二定律。

但是就信息傳輸給出基本數(shù)學(xué)模型的核心人物還是香農(nóng)。1948年香農(nóng)長達(dá)數(shù)十頁的論文“通信的數(shù)學(xué)理論”成了信息論正式誕生的里程碑。在他的通信數(shù)學(xué)模型中，清楚地提出信息的度量問題，他把哈特利的公式擴(kuò)大到概率pi不同的情況，得到了著名的計(jì)算信息熵H的公式：

如果計(jì)算中的對(duì)數(shù)log是以2為底的，那么計(jì)算出來的信息熵就以比特（bit）為單位。在計(jì)算機(jī)和通信中廣泛使用的字節(jié)（Byte）、KB、MB、GB等詞都是從比特演化而來?！氨忍亍钡某霈F(xiàn)標(biāo)志著人類知道了如何計(jì)量信息量。香農(nóng)的信息論為明確什么是信息量概念作出決定性的貢獻(xiàn)。

香農(nóng)在進(jìn)行信息的定量計(jì)算的時(shí)候，明確地把信息量定義為隨機(jī)不定性程度的減少。這就表明了他對(duì)信息的理解：信息是用來減少隨機(jī)不定性的東西?；蛳戕r(nóng)逆定義：信息是確定性的增加。

雖然香農(nóng)的信息概念比以往的認(rèn)識(shí)有了巨大的進(jìn)步，但仍存在局限性，這一概念同樣沒有包含信息的內(nèi)容和價(jià)值，只考慮了隨機(jī)型的不定性，沒有從根本上回答"信息是什么"的問題。

事實(shí)上，香農(nóng)最初的動(dòng)機(jī)是把電話中的噪音除掉，他給出通信速率的上限，這個(gè)結(jié)論首先用在電話上，后來用到光纖，截止2013又用在無線通信上。我們能夠清晰地打越洋電話或衛(wèi)星電話，都與通信信道質(zhì)量的改善密切相關(guān)。

克勞德·香農(nóng)在公眾中并不特別知名，但他是使我們的世界能進(jìn)行即時(shí)通信的少數(shù)科學(xué)家和思想家之一。他是美國科學(xué)院院士、美國工程院院士、英國皇家學(xué)會(huì)會(huì)員、美國哲學(xué)學(xué)會(huì)會(huì)員。他獲得過許多榮譽(yù)和獎(jiǎng)勵(lì)。例如1949年Morris獎(jiǎng)、1955年Ballantine獎(jiǎng)、1962年Kelly獎(jiǎng)、1966年的國家科學(xué)獎(jiǎng)?wù)隆EEE的榮譽(yù)獎(jiǎng)?wù)隆?978年Jaquard獎(jiǎng)、1983年Fritz獎(jiǎng)、1985年基礎(chǔ)科學(xué)京都獎(jiǎng)。他接受的榮譽(yù)學(xué)位不勝枚舉，不再贅述。

我們懷念香農(nóng)，要熟悉他的兩大貢獻(xiàn)：一是信息理論、信息熵的概念；另一是符號(hào)邏輯和開關(guān)理論。我們更應(yīng)該學(xué)習(xí)他好奇心強(qiáng)、重視實(shí)踐、永不滿足的科學(xué)精神，這是他獲得成功的重要經(jīng)驗(yàn)。

榮譽(yù)

美國Alfred Noble協(xié)會(huì)美國工程師獎(jiǎng) 1940年

Morris Liebmann 無線電工程師協(xié)會(huì)Memorial獎(jiǎng)?wù)?1949年

耶魯大學(xué) （首席科學(xué)家） 1954年

Stuart Ballantine弗蘭克林協(xié)會(huì)獎(jiǎng)?wù)?1955年

研究合作獎(jiǎng) 1956年

密歇根大學(xué)，榮譽(yù)博士 1961年

萊斯大學(xué) 榮譽(yù)獎(jiǎng)?wù)?1962年

普林斯頓大學(xué) 榮譽(yù)博士 1962年

Marvin J. Kelly Award 1962年

愛丁堡大學(xué) 榮譽(yù)博士 1964年

匹茲堡大學(xué) 榮譽(yù)博士 1964年

電子電氣工程師協(xié)會(huì) 榮譽(yù)獎(jiǎng)?wù)?1966年

美國國家科學(xué)獎(jiǎng)?wù)?1966年 由前總統(tǒng)Lyndon B. 約翰遜頒發(fā)

Golden Plate Award 1967年

美國西北大學(xué) 榮譽(yù)博士 1970年

Harvey Prize，the Technion of Haifa 以色列 1972年

牛津大學(xué) 榮譽(yù)博士 1978年

Joseph Jacquard獎(jiǎng) 1978年

Harold Pender獎(jiǎng) 1978年

東英格倫大學(xué) 榮譽(yù)博士 1982年

卡內(nèi)基梅隆大學(xué) 榮譽(yù)博士 1984年

美國聲頻技術(shù)協(xié)會(huì) 金獎(jiǎng) 1985年

Kyoto Prize 1985年

塔夫斯大學(xué) 榮譽(yù)博士 1987年

賓西法尼亞大學(xué) 榮譽(yù)博士 1991年

Eduard Rhein Prize 1991年

?

香農(nóng)定理
?

香農(nóng)定理給出了信道信息傳送速率的上限（比特每秒）和信道信噪比及帶寬的關(guān)系。香農(nóng)定理可以解釋現(xiàn)代各種無線制式由于帶寬不同，所支持的單載波最大吞吐量的不同。

在有隨機(jī)熱噪聲的信道上傳輸數(shù)據(jù)信號(hào)時(shí)，信道容量Rmax與信道帶寬W，信噪比S/N關(guān)系為：Rmax=W*log2(1+S/N)。注意這里的log2是以2為底的對(duì)數(shù)。

簡介

類比：城市道路上的汽車的車速（業(yè)務(wù)速率）和什么有關(guān)系？

除了和自己車的動(dòng)力有關(guān)之外，主要還受限于道路的寬度（帶寬）和車輛多少、紅燈疏密等其他干擾因素（信噪比），如圖1所示。
?

俗話說：“有線的資源是無限的，而無線的資源卻是有限的?！睙o線信道并不是可以任意增加傳送信息的速率，它受其固有規(guī)律的制約，就像城市道路上的車一樣不能想開多快就開多快，還受到道路寬度、其他車輛數(shù)量等因素影響。這個(gè)規(guī)律就是香農(nóng)定理。

香農(nóng)定理是所有通信制式最基本的原理，它描述了有限帶寬、有隨機(jī)熱噪聲信道的最大傳輸速率與信道帶寬、信號(hào)噪聲功率比之間的關(guān)系。其用公式可表示為：

其中：C是信道支持的最大速度或者叫信道容量；B是信道的帶寬；S是平均信號(hào)功率；N是平均噪聲功率；S/N即信噪比。

香農(nóng)定理給出了信道信息傳送速率的上限（比特每秒）和信道信噪比及帶寬的關(guān)系。香農(nóng)定理可以解釋現(xiàn)代各種無線制式由于帶寬不同，所支持的單載波最大吞吐量的不同。

理解香農(nóng)公式須注意以下幾點(diǎn)：

（1）信道容量由帶寬及信噪比決定，增大帶寬、提高信噪比可以增大信道容量；

（2）在要求的信道容量一定的情況下，提高信噪比可以降低帶寬的需求，增加帶寬可以降低信噪比的需求；

（3）香農(nóng)公式給出了信道容量的極限，也就是說，實(shí)際無線制式中單信道容量不可能超過該極限，只能盡量接近該極限。在卷積編碼條件下，實(shí)際信道容量離香農(nóng)極限還差3dB；在Turbo編碼的條件下，接近了香農(nóng)極限。

（4）LTE中多天線技術(shù)沒有突破香農(nóng)公式，而是相當(dāng)于多個(gè)單信道的組合。

香農(nóng)定理可以變換一下形式成為

這個(gè)C/B就是單位帶寬的容量（業(yè)務(wù)速率），就是頻譜利用率的概念，也就是說香農(nóng)定理給出了一定信噪比下頻率利用率的極限。

在有隨機(jī)熱噪聲的信道上傳輸數(shù)據(jù)信號(hào)時(shí)，數(shù)據(jù)傳輸率Rmax與信道帶寬W，信噪比S/N關(guān)系為：Rmax=W*log2(1+S/N)。注意這里的log2是以2為底的對(duì)數(shù)，下同。

在信號(hào)處理和信息理論的相關(guān)領(lǐng)域中，通過研究信號(hào)在經(jīng)過一段距離后如何衰減以及一個(gè)給定信號(hào)能加載多少數(shù)據(jù)后得到了一個(gè)著名的公式，叫做香農(nóng)（Shannon）定理。它以比特每秒（bps）的形式給出一個(gè)鏈路速度的上限，表示為鏈路信噪比的一個(gè)函數(shù)，鏈路信噪比用分貝（dB）衡量。因此我們可以用香農(nóng)定理來檢測電話線的數(shù)據(jù)速率。

香農(nóng)定理由如下的公式給出: C=W*log2*(1+S/N) 其中C是可得到的鏈路速度，W是鏈路的帶寬，S是平均信號(hào)功率,N是平均噪聲功率，信噪比（S/N）通常用分貝（dB）表示，分貝數(shù)=10×log10（S/N）。

通常音頻電話連接支持的頻率范圍為300Hz到3300Hz，則B=3300Hz－300Hz=3000Hz，而一般鏈路典型的信噪比是30dB，即S/N=1000，因此我們有C=3000×log2(1+ 1000)，近似等于30Kbps，是28.8Kbps調(diào)制解調(diào)器的極限，因此如果電話網(wǎng)絡(luò)的信噪比沒有改善或不使用壓縮方法，調(diào)制解調(diào)器將達(dá)不到更高的速率。

應(yīng)用

香農(nóng)定理用來求信道的最大傳輸速率，即信道容量，當(dāng)通過信道的信號(hào)速率超過香農(nóng)定理的信道容量時(shí)，誤碼率顯著提高，信息質(zhì)量嚴(yán)重下降。需要指出的是這里的信道容量只是理論上可以達(dá)到的極限，實(shí)際如何達(dá)到，該定理不能說明。

? ? ? ?

香農(nóng)采樣定理

香農(nóng)采樣定理，又稱奈奎斯特采樣定理，是信息論，特別是通訊與信號(hào)處理學(xué)科中的一個(gè)重要基本結(jié)論。1924年奈奎斯特(Nyquist)就推導(dǎo)出在理想低通信道的最高大碼元傳輸速率的公式：理想低通信道的最高大碼元傳輸速率B=2W，信息傳輸

定義

為了不失真地恢復(fù)模擬信號(hào)，采樣頻率應(yīng)該不小于模擬信號(hào)頻譜中最高頻率的2倍?！ s≥2f max

概念

采樣定理，又稱香農(nóng)采樣定律、奈奎斯特采樣定律，是信息論，特別是通訊與信號(hào)處理學(xué)科中的一個(gè)重要基本結(jié)論.E. T. Whittaker（1915年發(fā)表的統(tǒng)計(jì)理論），克勞德·香農(nóng) 與Harry Nyquist都對(duì)它作出了重要貢獻(xiàn)。另外，V. A. Kotelnikov 也對(duì)這個(gè)定理做了重要貢獻(xiàn)。

采樣是將一個(gè)信號(hào)（即時(shí)間或空間上的連續(xù)函數(shù)）轉(zhuǎn)換成一個(gè)數(shù)值序列（即時(shí)間或空間上的離散函數(shù)）。

采樣得到的離散信號(hào)經(jīng)保持器后，得到的是階梯信號(hào)，即具有零階保持器的特性。

如果信號(hào)是帶限的，并且采樣頻率高于信號(hào)最高頻率的一倍，那么，原來的連續(xù)信號(hào)可以從采樣樣本中完全重建出來。

帶限信號(hào)變換的快慢受到它的最高頻率分量的限制，也就是說它的離散時(shí)刻采樣表現(xiàn)信號(hào)細(xì)節(jié)的能力是非常有限的。采樣定理是指，如果信號(hào)帶寬小于奈奎斯特頻率（即采樣頻率的二分之一），那么此時(shí)這些離散的采樣點(diǎn)能夠完全表示原信號(hào)。高于或處于奈奎斯特頻率的頻率分量會(huì)導(dǎo)致混疊現(xiàn)象。大多數(shù)應(yīng)用都要求避免混疊，混疊問題的嚴(yán)重程度與這些混疊頻率分量的相對(duì)強(qiáng)度有關(guān)。

采樣過程所應(yīng)遵循的規(guī)律，又稱取樣定理、抽樣定理。采樣定理說明采樣頻率與信號(hào)頻譜之間的關(guān)系，是連續(xù)信號(hào)離散化的基本依據(jù)。采樣定理是1928年由美國電信工程師H.奈奎斯特首先提出來的，因此稱為奈奎斯特采樣定理。1933年由蘇聯(lián)工程師科捷利尼科夫首次用公式嚴(yán)格地表述這一定理，因此在蘇聯(lián)文獻(xiàn)中稱為科捷利尼科夫采樣定理。1948年信息論的創(chuàng)始人C.E.香農(nóng)對(duì)這一定理加以明確地說明并正式作為定理引用，因此在許多文獻(xiàn)中又稱為香農(nóng)采樣定理。采樣定理有許多表述形式，但最基本的表述方式是時(shí)域采樣定理和頻域采樣定理。采樣定理在數(shù)字式遙測系統(tǒng)、時(shí)分制遙測系統(tǒng)、信息處理、數(shù)字通信和采樣控制理論等領(lǐng)域得到廣泛的應(yīng)用。

時(shí)域采樣定理

頻帶為F的連續(xù)信號(hào)f(t)可用一系列離散的采樣值f(t1),f(t1±Δt)，f(t1±2Δt)，...來表示,只要這些采樣點(diǎn)的時(shí)間間隔Δt≤1/2F，便可根據(jù)各采樣值完全恢復(fù)原來的信號(hào)f(t)。

時(shí)域采樣定理的另一種表述方式是：當(dāng)時(shí)間信號(hào)函數(shù)f(t)的最高頻率分量為fM時(shí),f(t)的值可由一系列采樣間隔小于或等于1/2fM的采樣值來確定,即采樣點(diǎn)的重復(fù)頻率f≥2fM。圖為模擬信號(hào)和采樣樣本的示意圖。

時(shí)域采樣定理是采樣誤差理論、隨機(jī)變量采樣理論和多變量采樣理論的基礎(chǔ)。

頻域采樣定理　對(duì)于時(shí)間上受限制的連續(xù)信號(hào)f(t)（即當(dāng)│t│>T時(shí),f(t)=0,這里T=T2-T1是信號(hào)的持續(xù)時(shí)間），若其頻譜為F（ω）,則可在頻域上用一系列離散的采樣值來表示,只要這些采樣點(diǎn)的頻率間隔ω≦π / tm 。

采樣簡介

從信號(hào)處理的角度來看，此采樣定理描述了兩個(gè)過程：其一是采樣，這一過程將連續(xù)時(shí)間信號(hào)轉(zhuǎn)換為離散時(shí)間信號(hào)；其二是信號(hào)的重建，這一過程離散信號(hào)還原成連續(xù)信號(hào)。

連續(xù)信號(hào)在時(shí)間（或空間）上以某種方式變化著，而采樣過程則是在時(shí)間（或空間）上，以T為單位間隔來測量連續(xù)信號(hào)的值。T稱為采樣間隔。在實(shí)際中，如果信號(hào)是時(shí)間的函數(shù)，通常他們的采樣間隔都很小，一般在毫秒、微秒的量級(jí)。采樣過程產(chǎn)生一系列的數(shù)字，稱為樣本。樣本代表了原來地信號(hào)。每一個(gè)樣本都對(duì)應(yīng)著測量這一樣本的特定時(shí)間點(diǎn)，而采樣間隔的倒數(shù)，1/T即為采樣頻率，fs，其單位為樣本/秒，即赫茲(hertz)。

信號(hào)的重建是對(duì)樣本進(jìn)行插值的過程，即，從離散的樣本x[n]中，用數(shù)學(xué)的方法確定連續(xù)信號(hào)x(t)。

從采樣定理中，我們可以得出以下結(jié)論：

如果已知信號(hào)的最高頻率fH，采樣定理給出了保證完全重建信號(hào)的最低采樣頻率。這一最低采樣頻率稱為臨界頻率或奈奎斯特采樣率，通常表示為fN。

相反，如果已知采樣頻率，采樣定理給出了保證完全重建信號(hào)所允許的最高信號(hào)頻率。

以上兩種情況都說明，被采樣的信號(hào)必須是帶限的，即信號(hào)中高于某一給定值的頻率成分必須是零，或至少非常接近于零，這樣在重建信號(hào)中這些頻率成分的影響可忽略不計(jì)。在第一種情況下，被采樣信號(hào)的頻率成分已知，比如聲音信號(hào)，由人類發(fā)出的聲音信號(hào)中，頻率超過5 kHz的成分通常非常小，因此以10 kHz的頻率來采樣這樣的音頻信號(hào)就足夠了。在第二種情況下，我們得假設(shè)信號(hào)中頻率高于采樣頻率一半的頻率成分可忽略不計(jì)。這通常是用一個(gè)低通濾波器來實(shí)現(xiàn)的。

混疊

如果不能滿足上述采樣條件，采樣后信號(hào)的頻率就會(huì)重疊，即高于采樣頻率一半的頻率成分將被重建成低于采樣頻率一半的信號(hào)。這種頻譜的重疊導(dǎo)致的失真稱為混疊，而重建出來的信號(hào)稱為原信號(hào)的混疊替身，因?yàn)檫@兩個(gè)信號(hào)有同樣的樣本值。

一個(gè)頻率正好是采樣頻率一半的弦波信號(hào)，通常會(huì)混疊成另一相同頻率的波弦信號(hào)，但它的相位和幅度改變了。以下兩種措施可避免混疊的發(fā)生：

1. 提高采樣頻率，使之達(dá)到最高信號(hào)頻率的兩倍以上；

2. 引入低通濾波器或提高低通濾波器的參數(shù)；該低通濾波器通常稱為抗混疊濾波器

抗混疊濾波器可限制信號(hào)的帶寬，使之滿足采樣定理的條件。從理論上來說，這是可行的，但是在實(shí)際情況中是不可能做到的。因?yàn)闉V波器不可能完全濾除奈奎斯特頻率之上的信號(hào)，所以，采樣定理要求的帶寬之外總有一些“小的”能量。不過抗混疊濾波器可使這些能量足夠小，以至可忽略不計(jì)。

減采樣

當(dāng)一個(gè)信號(hào)被減采樣時(shí)，必須滿足采樣定理以避免混疊。為了滿足采樣定理的要求，信號(hào)在進(jìn)行減采樣操作前，必須通過一個(gè)具有適當(dāng)截止頻率的低通濾波器。這個(gè)用于避免混疊的低通濾波器，稱為抗混疊濾波器。

定理

為了不失真地恢復(fù)模擬信號(hào)，采樣頻率應(yīng)該大于模擬信號(hào)頻譜中最高頻率的2倍。

Fs>2Fmax

采樣率越高，稍后恢復(fù)出的波形就越接近原信號(hào)，但是對(duì)系統(tǒng)的要求就更高，轉(zhuǎn)換電路必須具有更快的轉(zhuǎn)換速度。

信號(hào)重構(gòu)

任何信號(hào)都可以看做是不同頻率的正弦（余弦）信號(hào)的疊加，因此如果知道所有組成這一信號(hào)的正（余弦）信號(hào)的幅值、頻率和相角，就可以重構(gòu)原信號(hào)。由于信號(hào)測量、分解及時(shí)頻變換的過程中存在誤差，因此不能100%地重構(gòu)原信號(hào)，重構(gòu)的信號(hào)只能保證原信號(hào)誤差在容許范圍內(nèi)。

香農(nóng)極限

信道的香農(nóng)極限（或稱香農(nóng)容量）指的是在會(huì)隨機(jī)發(fā)生誤碼的信道上進(jìn)行無差錯(cuò)傳輸?shù)淖畲髠鬏斔俾?。它的存在是香農(nóng)定理在帶寬有限的信道上的一個(gè)結(jié)論。

簡介

信道的香農(nóng)極限（或稱香農(nóng)容量）指的是在會(huì)隨機(jī)發(fā)生誤碼的信道上進(jìn)行無差錯(cuò)傳輸?shù)淖畲髠鬏斔俾省Ｋ拇嬖谑窍戕r(nóng)定理在帶寬有限的信道上的一個(gè)結(jié)論。

有噪信道編碼定理

在信息論里，有噪信道編碼定理指出，盡管噪聲會(huì)干擾通信信道，但還是有可能在信息傳輸速率小于信道容量的前提下，以任意低的錯(cuò)誤概率傳送數(shù)據(jù)信息。這個(gè)令人驚訝的結(jié)果，有時(shí)候被稱為信息原理基本定理，也叫做香農(nóng)-哈特利定理或香農(nóng)定理，是由克勞德·艾爾伍德·香農(nóng)于1948年首次提出。

通信信道的信道容量或香農(nóng)限制是指在指定的噪音標(biāo)準(zhǔn)下，信道理論上的最大傳輸率。

根據(jù)香農(nóng)1948年的陳述，本定理描述了在不同級(jí)別的噪音干擾和數(shù)據(jù)損壞情況下，錯(cuò)誤監(jiān)測和糾正可能達(dá)到的最高效率。定理沒有指出如何構(gòu)造錯(cuò)誤監(jiān)測的模型，只是告訴大家有可能達(dá)到的最佳效果。香農(nóng)定理可以廣泛應(yīng)用在通信和數(shù)據(jù)存儲(chǔ)領(lǐng)域。本定理是現(xiàn)代信息論的基礎(chǔ)理論。香農(nóng)只是提出了證明的大概提綱。1954年，艾米爾·范斯坦第一個(gè)提出了嚴(yán)密的論證。

香農(nóng)定理假設(shè)一個(gè)有噪音的信道，信道容量為C，信息以速度R傳送，如果

那么就存在一種編碼技術(shù)使接收端收到的錯(cuò)誤達(dá)到任意小的數(shù)值。這意味著理論上，有可能無錯(cuò)誤地傳送信息直到達(dá)到速度限制C。

反過來同樣重要。如果

那么想達(dá)到任意小的錯(cuò)誤率是不可能實(shí)現(xiàn)的。因此，在傳送速度超過信道容量的時(shí)候，可靠傳輸信息是不能被保證的。定理并沒有指出在什么特殊情況下速度和容量相等。

簡單的流程如"重復(fù)發(fā)送數(shù)據(jù)3遍，用一個(gè)投票系統(tǒng)在數(shù)據(jù)不一樣的時(shí)候選擇3個(gè)里面相同的那兩個(gè)的值"是低效的錯(cuò)誤糾正的方式，不能保證數(shù)據(jù)塊能完全沒有錯(cuò)誤地傳送。先進(jìn)一些的技術(shù)如里德-所羅門碼編碼技術(shù)和更現(xiàn)代一些的Turbo碼、LDPC碼等編碼技術(shù)更逼近香農(nóng)限制，但是計(jì)算復(fù)雜度很高。[1]?

理想加白噪聲情況下香農(nóng)限

考慮數(shù)據(jù)率、噪聲以及誤碼率的關(guān)系。噪聲的存在會(huì)破壞一個(gè)或多個(gè)比特。假如數(shù)據(jù)率增加，那么這些比特會(huì)變短，因而給定的噪聲模式會(huì)影響更多個(gè)比特。于是，給定一個(gè)噪聲值，數(shù)據(jù)率越高則誤碼率也越高。所有的這些概念可以通過香農(nóng)公式清楚聯(lián)系在一起，此公式由數(shù)學(xué)家克勞德·艾爾伍德·香農(nóng)(Claude Elwood Shannon，1916-2001）推導(dǎo)得出的。

如剛才所描繪的，數(shù)據(jù)率越高，無用的噪聲會(huì)帶來更嚴(yán)重的破壞。在噪聲存在的情況下，給點(diǎn)一個(gè)噪聲值，我們能夠通過提高信號(hào)強(qiáng)度來提高正確接收數(shù)據(jù)的能力。在這一推導(dǎo)過程中涉及的主要參數(shù)是信噪比(SNR或S/N)，它是指在傳輸過程中某一點(diǎn)的信號(hào)功率與噪聲包含功率之比。通常信噪比在接收器處測量，因?yàn)檎窃谶@里我們?cè)噲D處理信號(hào)并消除無用噪聲。為了使用方便，這個(gè)比率通常用分貝表示

它表示有用信號(hào)超出噪聲值的量，以分貝為單位。SNR的值越高，表示信號(hào)的質(zhì)量越好，所需中間轉(zhuǎn)發(fā)器的數(shù)量越少。

信噪比對(duì)數(shù)字?jǐn)?shù)據(jù)傳輸十分重要，因?yàn)樗薅艘粋€(gè)可達(dá)到的數(shù)據(jù)率上限。香農(nóng)得出的結(jié)果是，用bps來表示的信道的最大容量遵從等式

C是以比特/秒為單位的信道容量，凈比特率的理論上限（信息速率，有時(shí)表示為I），不包括糾錯(cuò)碼;

B是帶寬的信道的在赫茲（通帶中的帶通信號(hào)的情況下的帶寬）;

S是以瓦（或伏平方）測量的帶寬上的平均接收信號(hào)功率（在載波調(diào)制通帶傳輸?shù)那闆r下，通常表示為C）;

N是噪聲和帶寬上的干擾的平均功率，以瓦（或伏特平方）為單位測量;

S / N是通信信號(hào)對(duì)接收機(jī)噪聲和干擾的信噪比（SNR）或載波噪聲比（CNR）（表示為線性功率比，而不是對(duì)數(shù)分貝） 。

香農(nóng)公式顯示出理論上可達(dá)到的最大值。然而在實(shí)際應(yīng)用中能夠達(dá)到的速率要低得多。其中一個(gè)原因是該公式假定噪聲為白噪聲(熱噪聲)，既沒有考慮到?jīng)_激噪聲，也沒有考慮衰減和時(shí)延失真。即使在理想白噪聲情況下，因?yàn)榫幋a的原因(如編碼長度和復(fù)雜性等)，目前的技術(shù)仍然無法達(dá)到香農(nóng)容量。

香農(nóng)公式中提到的容量為無誤碼容量。經(jīng)香農(nóng)證明，假如信道上的實(shí)際信息率比無誤碼容量低，從理論上來說，通過適當(dāng)?shù)男畔⒕幋a，信道就有可能達(dá)到無誤碼容量。遺憾的是，香農(nóng)的理論并沒有給出如何找到這種編碼的方法，但提供了一個(gè)用來衡量實(shí)際通信機(jī)制性能的計(jì)算標(biāo)準(zhǔn)。

通過香農(nóng)公式我們可以考慮如何將信道容量上限提高。假如噪聲值給定，那么似乎通過增加信號(hào)強(qiáng)度或帶寬就能提高數(shù)據(jù)率；但是，如果信號(hào)強(qiáng)度增加了，則系統(tǒng)的非線性程度也會(huì)提高，這就導(dǎo)致互調(diào)噪聲的增加。還有一點(diǎn)需要注意，由于假定噪聲是白噪聲，那么帶寬越寬，因此系統(tǒng)容納的噪聲也就越多，因此隨著B的增加SNR反而降低了。

當(dāng)

，或

時(shí)，

。

但是當(dāng)

時(shí)，

將趨向何值？

令

，上式可以改寫為：
　　

利用關(guān)系式：
　　

上式變?yōu)椋?/p>

上式表明，當(dāng)給定

時(shí)，若帶寬B趨于無窮大，信道容量不會(huì)趨于無限大，而只是

的1.44倍。這是

因?yàn)楫?dāng)帶寬B增大時(shí)，噪聲功率也隨之增大。

和帶寬B的關(guān)系曲線：

上式還可以改寫成如下形式：

式中

——每比特能量

——每比特持續(xù)時(shí)間

上式表明，為了得到給定的信道容量

，可以增大帶寬B以換取

的減?。涣硪环矫?，在接收功率受 限的情況下，由于

，可以增大

以減小S來保持

和

不變。

香農(nóng)哈特利定律

在信息論中，香農(nóng)極限告訴在該信息可以通過一個(gè)特定帶寬的存在特定噪聲的通信信道數(shù)據(jù)被發(fā)送的最大速率。這是噪聲信道編碼定理在受到高斯噪聲的連續(xù)時(shí)間、模擬通信信道的原型情況下的應(yīng)用。該定理建立了對(duì)這種通信鏈路的信道香農(nóng)限，限制了在存在噪聲干擾的情況下可以以指定帶寬發(fā)送的每個(gè)時(shí)間單位的無錯(cuò)誤信息的最大量，假設(shè)信號(hào)功率是有界的，并且高斯噪聲過程的特征在于已知功率或功率譜密度。定理以Claude Shannon和Ralph Hartley命名。

香農(nóng) - 哈特利定理陳述了通道容量C，這意味著可以使用平均接收信號(hào)功率S通過經(jīng)過加性白高斯的模擬通信通道以任意低的錯(cuò)誤率傳送的數(shù)據(jù)的信息速率的理論上的最上限電源噪聲N：

奈奎斯特率

在1927年，奈奎斯特認(rèn)為每單位時(shí)間可以通過電報(bào)通道的獨(dú)立脈沖數(shù)量被限制在通道帶寬的兩倍。在符號(hào)中，

其中

是脈沖頻率（以每秒脈沖數(shù)計(jì)），B是帶寬（赫茲）。數(shù)量2B后來被稱為奈奎斯特速率，并以每秒2個(gè)B脈沖的限制脈沖速率以奈奎斯特率發(fā)送信號(hào)。奈奎斯特在1928年發(fā)表他的研究成果，作為他的論文“電訊傳播理論中的某些話題”的一部分。

哈特利定律

1928年，哈特利制定了一種量化信息和線路速率（也稱為數(shù)據(jù)信令速率 R比特每秒）的方法。這種方法，后來被稱為哈特利定律，成為香農(nóng)更加復(fù)雜的通道容量概念的重要前身。

哈特利認(rèn)為，可以通過通信信道可靠地發(fā)送和接收的可區(qū)分脈沖電平的最大數(shù)量受到信號(hào)幅度的動(dòng)態(tài)范圍和接收機(jī)能夠區(qū)分振幅電平的精度的限制。具體地說，如果發(fā)送信號(hào)的幅度被限制在[ - A ... + A ]伏的范圍內(nèi)，并且接收機(jī)的精度為± ΔV伏特，則不同脈沖M的最大數(shù)量由

通過以比特/脈沖中的每個(gè)脈沖獲取信息作為可以發(fā)送的不同消息M的數(shù)量的基2-對(duì)數(shù)，Hartley構(gòu)建了線速率R的度量：

,

其中

是脈沖速率，也稱為符號(hào)速率，以符號(hào)/秒或波特率表示。

然后，哈特利將上述量化與奈奎斯特的觀察結(jié)合起來，可以通過帶寬B 赫茲通道的獨(dú)立脈沖數(shù)為每秒2B脈沖，以達(dá)到其可實(shí)現(xiàn)線速率的定量測量。

哈特利定律有時(shí)引述只是模擬帶寬，B，以Hz為單位，和今天被稱為數(shù)字帶寬的R ，以比特/秒為單位之間的比例。其他時(shí)候，以這種更定量的形式引用，作為每秒可用的R比特率：

哈特利沒有確切地知道數(shù)字M應(yīng)如何依賴于信道的噪聲統(tǒng)計(jì)，或者即使單個(gè)符號(hào)脈沖不能可靠地區(qū)分為M個(gè)等級(jí)，通信如何可靠地生成; 利用高斯噪聲統(tǒng)計(jì)，系統(tǒng)設(shè)計(jì)人員必須選擇非常保守的M值來實(shí)現(xiàn)低錯(cuò)誤率。

哈特利的速率結(jié)果可以被看作是一個(gè)無差錯(cuò)的能力中號(hào)的2個(gè)進(jìn)制信道B每秒符號(hào)。有些作者將其稱為容量。但是這樣一個(gè)無誤的信道是一個(gè)理想化的方式，如果選擇M小到足以使噪聲信道幾乎無誤，結(jié)果必然小于帶寬B的噪聲信道的香農(nóng)容量，這是隨后的香農(nóng)哈特利定律結(jié)果后來。

哈特利定律與香農(nóng)限的關(guān)系

將信道容量與哈特利定律的信息比率進(jìn)行比較，我們可以找到有效數(shù)量的可區(qū)分級(jí)別M：

平方根有效地將功率比轉(zhuǎn)換回電壓比，因此電平數(shù)量幾乎與信號(hào)RMS幅度與噪聲標(biāo)準(zhǔn)偏差之比成正比。香農(nóng)限與哈特利定律之間形式的相似性不應(yīng)該被解釋為意味著M脈沖水平可以毫無混亂地被發(fā)送; 需要更多的級(jí)別，以允許冗余編碼和糾錯(cuò)，但是可以用編碼處理的凈數(shù)據(jù)速率等同于使用哈特利定律中的M。

可替代形式

頻率依賴（彩色噪聲）情況

在上面的簡單版本中，信號(hào)和噪聲完全不相關(guān)，在這種情況下，S + N是接收信號(hào)和噪聲的總功率。通過對(duì)多個(gè)窄獨(dú)立的高斯信道并行處理信道，獲得加性噪聲不是白色（或S / N在帶寬上的頻率不恒定）的情況下的上述等式的推廣，

C是以比特/秒為單位的信道容量 ;

B是信道的帶寬，單位為Hz;

S（f）是信號(hào)功率譜

N（f）是噪聲功率譜

f是以Hz為單位的頻率。

注意：該定理僅適用于高斯穩(wěn)定過程噪聲。該公式引入頻率相關(guān)噪聲的方法不能描述所有的連續(xù)時(shí)間噪聲過程。例如，考慮噪聲過程，其包括在任何時(shí)間點(diǎn)加上振幅為1或-1的隨機(jī)波，以及將這樣的波加到源信號(hào)上的信道。這樣的波的頻率分量是高度依賴的。雖然這樣的噪聲可能具有高功率，但是如果底層噪聲是每個(gè)頻帶中的獨(dú)立噪聲之和，則傳輸比所需要的功率少得多的連續(xù)信號(hào)是相當(dāng)容易的。

近似

對(duì)于大或小且恒定的信噪比，容量公式(香農(nóng)公式)可以近似為：

如果S / N >> 1，那么

這里

2. 同理，如果S / N <<1，那么

?

在這種低SNR近似中，如果噪聲為白色，則光譜密度的容量與帶寬無關(guān)

瓦特/赫茲，在這種情況下，總 噪聲功率是

。

非靜止記憶信道的信道容量

編輯

假設(shè)通道是無記憶的，但是其轉(zhuǎn)換概率隨時(shí)間而變化，以發(fā)射機(jī)和接收機(jī)已知的方式。然后通道容量由

在每個(gè)相應(yīng)通道的容量達(dá)到分配的情況下達(dá)到最大值。也就是，

這里

代表第i個(gè)信道的容量。[1]
?

各種編碼對(duì)于接近香農(nóng)限的程度

諸如“發(fā)送消息3次并且如果副本不同則使用最佳2投票方案”這樣的簡單方案是無效率的糾錯(cuò)方法，不能夠漸近地保證一個(gè)數(shù)據(jù)塊可以毫無差錯(cuò)地傳達(dá)。諸如Reed-Solomon碼的高級(jí)技術(shù)，以及最近的低密度奇偶校驗(yàn)（LDPC）碼和turbo碼更接近于達(dá)到理論香農(nóng)限制，但是以高的計(jì)算復(fù)雜度為代價(jià)。使用這些高效率的代碼和當(dāng)今數(shù)字信號(hào)處理器的計(jì)算能力，現(xiàn)在可以達(dá)到非常接近香農(nóng)限額。實(shí)際上，已經(jīng)表明，LDPC碼可以達(dá)到香農(nóng)極限的0.0045dB（對(duì)于二進(jìn)制AWGN信道，具有非常長的塊長度）。

土耳其畢爾肯大學(xué)教授Erdal Arikan于2009年正式提出的新型編碼方案——極化碼（polar code），是目前唯一一個(gè)在理論上已經(jīng)被證明可以到達(dá)香農(nóng)限的方案。

編輯：黃飛

?