數(shù)學之美 第三版

I 第二版序言
III 第一版序言
VI 第三版前言

1 第1章 文字和語言 vs 數(shù)字和信息
文字和語言與數(shù)學，從產(chǎn)生起原本就有相通性，雖然它們的發(fā)展一度分道揚鑣，但是最終還是能走到一起。
1　信息
2　文字和數(shù)字
3　文字和語言背后的數(shù)學

15 第2章 自然語言處理——從規(guī)則到統(tǒng)計
人類對機器理解自然語言的認識走了一條大彎路。早期的研究集中采用基于規(guī)則的方法，雖然解決了一些簡單的問題，但是無法從根本上將自然語言理解實用化。直到20多年后，人們開始嘗試用基于統(tǒng)計的方法進行自然語言處理，才有了突破性進展和實用的產(chǎn)品。
1　機器智能
2　從規(guī)則到統(tǒng)計

27 第3章 統(tǒng)計語言模型
統(tǒng)計語言模型是自然語言處理的基礎，并且被廣泛應用于機器翻譯、語音識別、印刷體，或手寫體識別、拼寫糾錯、漢字輸入和文獻查詢。
1　用數(shù)學的方法描述語言規(guī)律
2　延伸閱讀：統(tǒng)計語言模型的工程訣竅

41 第4章 談談分詞
中文分詞是中文信息處理的基礎，它同樣走過了一段彎路，目前依靠統(tǒng)計語言模型已經(jīng)基本解決了這個問題。
1　中文分詞方法的演變
2　延伸閱讀：如何衡量分詞的結果

50 第5章 隱馬爾可夫模型
隱馬爾可夫模型最初應用于通信領域，繼而推廣到語音和語言處理中，成為連接自然語言處理和通信的橋梁。同時，隱馬爾可夫模型也是機器學習的主要工具之一。
1　通信模型
2　隱馬爾可夫模型
3　延伸閱讀：隱馬爾可夫模型的訓練

60 第6章 信息的度量和作用
信息是可以量化度量的。信息熵不僅是對信息的量化度量，也是整個信息論的基礎。它對于通信、數(shù)據(jù)壓縮、自然語言處理都有很強的指導意義。
1　信息熵
2　信息的作用
3　互信息
4　延伸閱讀：相對熵

72 第7章 賈里尼克和現(xiàn)代語言處理
作為現(xiàn)代自然語言處理的奠基者，賈里尼克教授成功地將數(shù)學原理應用于自然語言處理領域中，他的一生富于傳奇色彩。
1　早年生活
2　從水門事件到莫妮卡·萊溫斯基
3　一位老人的奇跡

82 第8章 簡單之美——布爾代數(shù)和搜索引擎
布爾代數(shù)雖然非常簡單，卻是計算機科學的基礎，它不僅把邏輯和數(shù)學合二為一，而且給了我們一個全新的視角看待世界，開創(chuàng)了數(shù)字化時代。
1　布爾代數(shù)
2　索引

89 第9章 圖論和網(wǎng)絡爬蟲
互聯(lián)網(wǎng)搜索引擎在建立索引前需要用一個程序自動地將所有的網(wǎng)頁下載到服務器上，這個程序稱為網(wǎng)絡爬蟲，它的編寫是基于離散數(shù)學中圖論的原理。
1　圖論
2　網(wǎng)絡爬蟲
3　延伸閱讀：圖論的兩點補充說明

98 第10章 PageRank——Google的民主表決式網(wǎng)頁排名技術
網(wǎng)頁排名技術PageRank是早期Google的殺手锏，它的出現(xiàn)使得網(wǎng)頁搜索的質(zhì)量上了一個大的臺階。它背后的原理是圖論和線性代數(shù)的矩陣運算。
1　PageRank算法的原理
2　延伸閱讀：PageRank的計算方法

104 第11章 如何確定網(wǎng)頁和查詢的相關性
確定網(wǎng)頁和查詢的相關性是網(wǎng)頁搜索的根本問題，其中確定查詢中每個關鍵詞的重要性有多高是關鍵。TF-IDF是目前通用的關鍵詞重要性的度量，其背后的原理是信息論。
1　搜索關鍵詞權重的科學度量TF-IDF
2　延伸閱讀：TF-IDF 的信息論依據(jù)

111 第12章 有限狀態(tài)機和動態(tài)規(guī)劃——地圖與本地搜索的核心技術
地圖與本地搜索中要用到有限狀態(tài)機和動態(tài)規(guī)劃技術。這兩項技術是機器智能和機器學習的工具，它們的應用非常廣泛，還包括語音識別、拼寫和語法糾錯、拼音輸入法、工業(yè)控制和生物的序列分析等。
1　地址分析和有限狀態(tài)機
2　全球?qū)Ш胶蛣討B(tài)規(guī)劃
3　延伸閱讀：有限狀態(tài)傳感器

121 第13章 Google AK-47的設計者——阿米特·辛格博士
在所有輕武器中最有名的是AK-47沖鋒槍，因為它從不卡殼，不易損壞，可在任何環(huán)境下使用，可靠性好，殺傷力大并且操作簡單。Google的產(chǎn)品就是按照上述原則設計的。

127 第14章 余弦定理和新聞的分類
計算機雖然讀不懂新聞，卻可以準確地對新聞進行分類。其數(shù)學工具是看似毫不相干的余弦定理。
1　新聞的特征向量
2　向量距離的度量
3　延伸閱讀：計算向量余弦的技巧

136 第15章 矩陣運算和文本處理中的兩個分類問題
無論是詞匯的聚類還是文本的分類，都可以通過線性代數(shù)中矩陣的奇異值分解來進行。這樣一來，自然語言處理的問題就變成了一個數(shù)學問題。
1　文本和詞匯的矩陣
2　延伸閱讀：奇異值分解的方法和應用場景

142 第16章 信息指紋及其應用
世間萬物都有一個唯一標識的特征，信息也是如此。每一條信息都有它特定的指紋，通過這個指紋可以區(qū)別不同的信息。
1　信息指紋
2　信息指紋的用途
3　延伸閱讀：信息指紋的重復性和相似哈希

153 第17章 由電視劇《暗算》所想到的——談談密碼學的數(shù)學原理
密碼學的根本是信息論和數(shù)學。沒有信息論指導的密碼是非常容易被破解的。只有在信息論被廣泛應用于密碼學后，密碼才真正變得安全。
1　密碼學的自發(fā)時代
2　信息論時代的密碼學

162 第18章 閃光的不一定是金子——談談搜索引擎反作弊問題和搜索結果的權威性問題
閃光的不一定是金子，搜索引擎中排名靠前的網(wǎng)頁也未必是有用的網(wǎng)頁。消除這些作弊網(wǎng)頁的原理和通信中過濾噪聲的原理相同。這說明信息處理和通信的很多原理是相通的。
1　搜索引擎的反作弊
2　搜索結果的權威性

171 第19章 談談數(shù)學模型的重要性
正確的數(shù)學模型在科學和工程中至關重要，而發(fā)現(xiàn)正確模型的途徑常常是曲折的。正確的模型在形式上通常是簡單的。

179 第20章 不要把雞蛋放到一個籃子里——談談最大熵模型
最大熵模型是一個完美的數(shù)學模型。它可以將各種信息整合到一個統(tǒng)一的模型中，在信息處理和機器學習中有著廣泛的應用。它在形式上非常簡單、優(yōu)美，而在實現(xiàn)時需要有精深的數(shù)學基礎和高超的技巧。
1　最大熵原理和最大熵模型
2　延伸閱讀：最大熵模型的訓練

186 第21章 拼音輸入法的數(shù)學原理
漢字的輸入過程本身就是人和計算機之間的通信。好的輸入法會自覺或不自覺地遵循通信的數(shù)學模型。當然要做出最有效的輸入法，應當自覺使用信息論做指導。
1　輸入法與編碼
2　輸入一個漢字需要敲多少個鍵——談談香農(nóng)第一定理
3　拼音轉漢字的算法
4　延伸閱讀：個性化的語言模型

197 第22章 自然語言處理的教父馬庫斯和他的優(yōu)秀弟子們
將自然語言處理從基于規(guī)則的研究方法轉到基于統(tǒng)計的研究方法上，賓夕法尼亞大學的教授米奇·馬庫斯功不可沒。他創(chuàng)立了今天在學術界廣泛使用的LCD語料庫，同時培養(yǎng)了一大批精英人物。
1　教父馬庫斯
2　從賓夕法尼亞大學走出的精英們

204 第23章 布隆過濾器
日常生活中，經(jīng)常要判斷一個元素是否在一個集合中。布隆過濾器是計算機工程中解決這個問題最好的數(shù)學
工具。
1　布隆過濾器的原理
2　延伸閱讀：布隆過濾器的誤識別問題

209 第24章 馬爾可夫鏈的擴展——貝葉斯網(wǎng)絡
貝葉斯網(wǎng)絡是一個加權的有向圖，是馬爾可夫鏈的擴展。而從認識論的層面看：貝葉斯網(wǎng)絡克服了馬爾可夫鏈那種機械的線性約束，它可以把任何有關聯(lián)的事件統(tǒng)一到它的框架下面。它在生物統(tǒng)計、圖像處理、決策支持系統(tǒng)和博弈論中都有廣泛的使用。
1　貝葉斯網(wǎng)絡
2　貝葉斯網(wǎng)絡在詞分類中的應用
3　延伸閱讀：貝葉斯網(wǎng)絡的訓練

217 第25章 條件隨機場、文法分析及其他
條件隨機場是計算聯(lián)合概率分布的有效模型，而句子的文法分析似乎是英文課上英語老師教的東西，這兩者有什么聯(lián)系呢？
1　文法分析——計算機算法的演變
2　條件隨機場
3　條件隨機場在其他領域的應用

227 第26章 維特比和他的維特比算法
維特比算法是現(xiàn)代數(shù)字通信中使用最頻繁的算法，也是很多自然語言處理采用的解碼算法。可以毫不夸張地
講，維特比是對我們今天的生活影響力最大的科學家之一，因為基于CDMA的3G移動通信標準主要就是他和厄文·雅各布創(chuàng)辦的高通公司制定的。
1　維特比算法
2　CDMA技術——3G移動通信的基礎

238 第27章 上帝的算法——期望最大化算法
只要有一些訓練數(shù)據(jù)，再定義一個最大化函數(shù)，采用EM算法，利用計算機經(jīng)過若干次迭代，就可以得到所需要的模型。這實在是太美妙了，這也許是造物主刻意安排的，所以我把它稱作上帝的算法。
1　文本的自收斂分類
2　延伸閱讀：期望最大化和收斂的必然性

244 第28章 邏輯回歸和搜索廣告
邏輯回歸模型是一種將影響概率的不同因素結合在一起的指數(shù)模型，它不僅在搜索廣告中起著重要的作用，而且被廣泛應用于信息處理和生物統(tǒng)計中。
1　搜索廣告的發(fā)展
2　邏輯回歸模型

249 第29章 各個擊破算法和Google云計算的基礎
Google頗為神秘的云計算中最重要的MapReduce工具，其原理就是計算機算法中常用的“各個擊破”算法，它的原理原來這么簡單——將復雜的大問題分解成很多小問題分別求解，然后再把小問題的解合并成原始問題的解。由此可見，在生活中大量用到的、真正有用的方法常常都是簡單樸實的。
1　分治算法的原理
2　從分治算法到MapReduce

254 第30章 Google大腦和人工神經(jīng)網(wǎng)絡
Google大腦并不是一個什么都能思考的大腦，而是一個很能計算的人工神經(jīng)網(wǎng)絡。因此，與其說Google大腦很聰明,不如說它很能算。不過，換個角度來說，隨著計算能力的不斷提高，計算量大但簡單的數(shù)學方法有時能夠解決很復雜的問題。
1　人工神經(jīng)網(wǎng)絡
2　訓練人工神經(jīng)網(wǎng)絡
3　人工神經(jīng)網(wǎng)絡與貝葉斯網(wǎng)絡的關系
4　延伸閱讀：Google大腦

274 第31章 區(qū)塊鏈的數(shù)學基礎——橢圓曲線加密原理
希爾伯特講，“我們直到能夠把一門自然科學的數(shù)學內(nèi)核剝出并完全地揭示出來，才能夠掌握它?！币员忍貛艦榇淼募用茇泿诺幕A是數(shù)學的算法，只有搞清楚加密貨幣的數(shù)學內(nèi)核，我們才能了解它的本質(zhì)。
1　不對稱、不透明之美
2　橢圓曲線加密的原理

282 第32章 大數(shù)據(jù)的威力——談談數(shù)據(jù)的重要性
如果說在過去的40年里，主導全球IT產(chǎn)業(yè)發(fā)展的是摩爾定律，那么在今后的20年里，主導IT行業(yè)繼續(xù)發(fā)展的動力則將來自于數(shù)據(jù)。
1　數(shù)據(jù)的重要性
2　數(shù)據(jù)的統(tǒng)計和信息技術
3　為什么需要大數(shù)據(jù)

304 第33章 隨機性帶來的好處——量子密鑰分發(fā)的數(shù)學原理
人們總是喜歡確定性而不喜歡隨機性。但是從對確定性規(guī)律的把握上升到對隨機性規(guī)律的把握，恰恰是近代數(shù)學進步的標志。量子通信就是建立在把握了有關隨機性規(guī)律的基礎之上。
1　用（激光）量子的偏振方向傳遞信息
2　利用隨機性保證信息安全

312 第34章 數(shù)學的極限——希爾伯特第十問題和機器智能的極限
世界上只有一小部分問題是數(shù)學問題，而數(shù)學問題中又只有極小的一部分問題有解。在這些問題中，今天已經(jīng)找到相應算法的少之又少。因此，數(shù)學不是萬能的，我們需要了解數(shù)學的邊界在哪里。
1　圖靈劃定計算機可計算問題的邊界
2　希爾伯特劃定有解數(shù)學問題的邊界
3　延伸閱讀：關于圖靈機

323 附錄 計算復雜度

327 第三版后記

333 索引