發表於2024-12-24
機器學習是本次人工智能熱潮的核心技術。引起轟動的應用如AlphaGo等都可以看到機器學習的身影。目前,機器學習理論紛繁復雜,算法形式花樣百齣。人們一直在疑惑,機器學習,特彆是其中的深度學習的本質到底是什麼?
作者積二十年研究之力,將各種學習理論融於一體,提齣瞭五條學習公理,據此推導齣瞭常見的學習算法,包括深度學習。如果想要知道機器學習的本質,快速理清各種學習算法之間的關係,《機器學習:從公理到算法(中國計算機學會學術著作叢書)》是一條不容錯過的終南捷徑。
《機器學習:從公理到算法(中國計算機學會學術著作叢書)》是一本基於公理研究學習算法的書。共17章,由兩部分組成。第一部分是機器學習公理以及部分理論演繹,包括第1、2、6、8章,論述學習公理以及相應的聚類、分類理論。第二部分關注如何從公理推齣經典學習算法,包括單類、多類和多源問題。第3~5章為單類問題,分彆論述密度估計、迴歸和單類數據降維。第7、9~16章為多類問題,包括聚類、神經網絡、K近鄰、支持嚮量機、Logistic迴歸、貝葉斯分類、決策樹、多類降維與升維等經典算法。最後第17章研究瞭多源數據學習問題。
《機器學習:從公理到算法(中國計算機學會學術著作叢書)》可以作為高等院校計算機、自動化、數學、統計學、人工智能及相關專業的研究生教材,也可以供機器學習的愛好者參考。
於劍,北京交通大學計算機學院教授,博士生導師,交通數據分析與挖掘北京市重點實驗室主任,先後獲得北京大學數學專業本科、碩士、博士,中國人工智能學會機器學習專委會副主任,中國計算機學會人工智能與模式識彆專委會秘書長,承擔多項國傢自然科學基金項目,發錶多篇學術論文,包括TPAMI、CVPR 等。
第1章引言1
11機器學習的目的:從數據到知識1
12機器學習的基本框架2
121數據集閤與對象特性錶示3
122學習判據4
123學習算法5
13機器學習思想簡論5
延伸閱讀7
習題8
參考文獻9
第2章歸類理論11
21類錶示公理13
22歸類公理17
23歸類結果分類20
24歸類方法設計準則22
241類一緻性準則23
242類緊緻性準則23
243類分離性準則25
244奧卡姆剃刀準則25
討論27
延伸閱讀29
習題30
參考文獻31
第3章密度估計33
31密度估計的參數方法33
311最大似然估計33
312貝葉斯估計35
32密度估計的非參數方法39
321直方圖39
322核密度估計39
323K近鄰密度估計法40
延伸閱讀40
習題41
參考文獻41
第4章迴歸43
41綫性迴歸43
42嶺迴歸47
43Lasso迴歸48
討論51
習題52
參考文獻52
第5章單類數據降維53
51主成分分析54
52非負矩陣分解56
53字典學習與稀疏錶示57
54局部綫性嵌入59
55典型關聯分析62
56多維度尺度分析與等距映射63
討論65
習題66
參考文獻66
第6章聚類理論69
61聚類問題錶示及相關定義69
62聚類算法設計準則70
621類緊緻性準則和聚類不等式70
622類分離性準則和重閤類非穩定假設72
623類一緻性準則和迭代型聚類算法73
63聚類有效性73
631外部方法73
632內蘊方法75
延伸閱讀76
習題77
參考文獻77
第7章聚類算法81
71樣例理論:層次聚類算法81
72原型理論:點原型聚類算法83
721C均值算法84
722模糊C均值86
73基於密度估計的聚類算法88
731基於參數密度估計的聚類算法88
732基於無參數密度估計的聚類算法97
延伸閱讀106
習題107
參考文獻108
第8章分類理論111
81分類及相關定義111
82從歸類理論到經典分類理論112
821PAC理論113
822統計機器學習理論115
83分類測試公理118
討論119
習題119
參考文獻120
第9章基於單類的分類算法:神經網絡121
91分類問題的迴歸錶示121
92人工神經網絡122
921人工神經網絡相關介紹122
922前饋神經網絡124
93從參數密度估計到受限玻耳茲曼機129
94深度學習131
941自編碼器132
942捲積神經網絡132
討論133
習題134
參考文獻134
第10章K近鄰分類模型137
101K近鄰算法138
1011K近鄰算法問題錶示138
1012K近鄰分類算法139
1013K近鄰分類算法的理論錯誤率140
102距離加權最近鄰算法141
103K近鄰算法加速策略142
104kd樹143
105K近鄰算法中的參數問題144
延伸閱讀145
習題145
參考文獻145
第11章綫性分類模型147
111判彆函數和判彆模型147
112綫性判彆函數148
113綫性感知機算法151
1131感知機數據錶示151
1132感知機算法的歸類判據152
1133感知機分類算法153
114支持嚮量機156
1141綫性可分支持嚮量機156
1142近似綫性可分支持嚮量機159
1143多類分類問題162
討論164
習題165
參考文獻166
第12章對數綫性分類模型167
121Softmax迴歸167
122Logistic迴歸170
討論172
習題173
參考文獻173
第13章貝葉斯決策175
131貝葉斯分類器175
132樸素貝葉斯分類176
1321最大似然估計178
1322貝葉斯估計181
133最小化風險分類183
134效用最大化分類185
討論185
習題186
參考文獻186
第14章決策樹187
141決策樹的類錶示187
142信息增益與ID3算法192
143增益比率與C45算法194
144Gini指數與CART算法195
145決策樹的剪枝196
討論197
習題197
參考文獻198
第15章多類數據降維199
151有監督特徵選擇模型199
1511過濾式特徵選擇200
1512包裹式特徵選擇201
1513嵌入式特徵選擇201
152有監督特徵提取模型202
1521綫性判彆分析202
1522二分類綫性判彆分析問題202
1523二分類綫性判彆分析203
1524二分類綫性判彆分析優化算法205
1525多分類綫性判彆分析205
延伸閱讀207
習題207
參考文獻207
第16章多類數據升維:核方法209
161核方法209
162非綫性支持嚮量機210
1621特徵空間210
1622核函數210
1623常用核函數212
1624非綫性支持嚮量機212
163多核方法213
討論215
習題215
參考文獻216
第17章多源數據學習217
171多源數據學習的分類217
172單類多源數據學習217
1721完整視角下的單類多源數據學習218
1722不完整視角下的單類多源數據學習220
173多類多源數據學習221
174多源數據學習中的基本假設222
討論222
習題223
參考文獻223
後記225
索引229
第 1章引言
好好學習,天天嚮上。 ——毛澤東, 1951年題詞
大數據時代,人類收集、存儲、傳輸、管理數據的能力日益提高,各行各業已經積纍瞭大量的數據資源,如著名的 Nature雜誌於 2008年 9月齣版瞭一期大數據專刊 [1],列舉瞭生物信息、交通運輸、金融、互聯網等領域的大數據應用。如何有效分析數據並得到有用信息甚至知識成為人們關注的焦點。人們寄希望於智能數據分析來完成該項任務。機器學習是智能數據分析技術的核心理論。 Science雜誌於 2015年 7月組織瞭一個人工智能專題 [2],其中有關機器學習的內容依然占據瞭重要的部分。本章將討論機器學習的基本目的、基本框架、思想發展以及未來走嚮。
1.1機器學習的目的:從數據到知識
人類最重要的一項能力是能夠從過去的經驗中學習,並形成知識。韆百年來,人類不斷從學習中積纍知識,為人類文明打下瞭堅實的基礎。“學習”是人與生俱來的基本能力,是人類智能( human intelligence)形成的必要條件。自 2000年以來,隨著互聯網技術的普及,積纍的數據已經超過瞭人類個體處理的極限,以往人類自己親自處理數據形成知識的模式已經到瞭必須改變的地步,人類必須藉助於計算機纔能處理大數據,更直白地說,我們希望計算機可以像人一樣從數據中學到知識。
由此,如何利用計算機從大數據中學到知識成為人工智能研究的熱點。“機器學習”(machine learning)是從數據中提取知識的關鍵技術。其初衷是讓計算機具備與人類相似的學習能力。迄今為止,人們尚不知道如何使計算機具有與人類相媲美的學習能力。然而,每年都有大量新的針對特定任務的機器學習算法湧現,幫助人們發現完成這些特定任務的新知識(有時也許僅僅是隱性新知識)。對機器學習的研究不僅已經為人們提供瞭許多前所未有的應用服務(如信息搜索、機器翻譯、語音識彆、無人駕駛等),改善瞭人們的生活,而且也幫助人們開闢瞭許多新的學科領域,如計算金融學、計算廣告學、計算生物學、計算社會學、計算曆史學等,為人類理解這個世界提供瞭新的工具和視角。可以想見 ,作為從數據中提取知識的工具,機器學習在未來還會幫助人們進一步開拓新的應用和新的學科。
機器學習存在很多不同的定義,常用的有三個。第一個常用的機器學習定義是“計算機係統能夠利用經驗提高自身的性能”,更加形式化的論述可見文獻 [3]。機器學習名著《統計學習理論的本質》給齣瞭機器學習的第二個常見定義,“學習就是一個基於經驗數據的函數估計問題” [4]。在《統計學習基礎》這本書的序言裏給齣瞭第三個常見的機器學習定義,“提取重要模式、趨勢,並理解數據,即從數據中學習” [11]。這三個常見定義各有側重:第一個聚焦學習效果,第二個的亮點是給齣瞭可操作的學習定義,第三個突齣瞭學習任務的分類。但其共同點是強調瞭經驗或者數據的重要性,即學習需要經驗或者數據。注意到提高自身性能需要知識,函數、模式、趨勢顯然自身是知識,因此,這三個常見的定義也都強調瞭從經驗中提取知識,這意味著這三種定義都認可機器學習提供瞭從數據中提取知識的方法。眾所周知,大數據時代的特點是“信息泛濫成災但知識依然匱乏”。可以預料,能自動從數據中學到知識的機器學習必將在大數據時代扮演重要的角色。
那麼如何構建一個機器學習任務的基本框架呢?
1.2機器學習的基本框架
考慮到我們希望用機器學習來代替人學習知識,因此,在研究機器學習以前,先迴顧一下人類如何學習知識是有益的。對於人來說,要完成一個具體的學習任務,需要學習材料、學習方法以及學習效果評估方法。如學習英語,需要英語課本、英語磁帶或者錄音等學習材料,明確學習方法是背誦和練習,告知學習效果評估方法是英語評測考試。檢測一個人英語學得好不好,就看其利用學習方法從學習材料得到的英語知識是否能通過評測考試。機器學習要完成一個學習任務,也需要解決這三方麵的問題,並通過預定的測試。
對應於人類使用的學習材料,機器學習完成一個學習任務需要的學習材料,一般用描述對象的數據集閤來錶示,有時也用經驗來錶示。對應於人類完成學習任務的學習方法,機器學習完成一個學習任務需要的學習方法,一般用學習算法來錶示。對應於人類完成一個學習任務的學習效果現場評估方法(如老師需要時時觀察課堂氣氛和學生的注意力情況),機器學習完成一個學習任務也需要對學習效果進行即時評估,一般用學習判據來錶示。對於機器學習來說,用來描述數據對象的數據集閤對最終學習任務的完成狀況有重要影響,用來指導學習算法設計的學習判據有時也用來評估學習算法的效果,但一般機器學習算法性能的標準評估會不同於學習判據,正如人學習的學習效果即時評估方式與最終的評估方式一般也不同。對於機器學習來說,通常也會有特定的測試指標,如正確率,學習速度等。
可以用一個具體的機器學習任務來說明。給定一個手寫體數字字符數據集閤,希望機器能夠通過這些給定的手寫體數字字符,學到正確識彆手寫數字字符的知識。顯然,學習材料是手寫體數字字符數據集,學習算法是字符識彆算法,學習判據可以是識彆正確率,也可以是其他有助於提高識彆正確率的指標。
數據集閤、學習判據、學習算法對於任何學習任務都是需要討論的對象。數據集閤的不同錶示,影響學習判據與學習算法的設計。學習判據與學習算法的設計密切相關,下麵分彆討論。
1.2.1數據集閤與對象特性錶示
對於一個學習任務來說,我們希望學到特定對象集閤的特定知識。無論何種學習任務,學到的知識通常是與這個世界上的對象相關。通過學到的知識,可以對這個世界上的對象有更好的描述,甚至可以預測其具有某種性質、關係或者行為。為此,學習算法需要這些對象的特性信息,這些信息可以客觀觀測,即關於特定對象的特性信息集閤,該集閤一般稱為對象特性錶示,是學習任務作為學習材料的數據集閤的組成部分。理論上,用來描述對象的數據集閤的錶示包括對象特性輸入錶示、對象特性輸齣錶示。
顯然,對象特性輸入錶示是我們能夠得到的對象的觀測描述,對象特性輸齣錶示是我們學習得到的對象的特性描述。需要指齣的是,對象的特性輸入錶示或者說對象的輸入特徵一定要與學習任務相關。根據醜小鴨定理( Ugly Duckling Theorem)[5],不存在獨立於問題而普遍適用的特徵錶示,特徵的有效與否是問題依賴的。醜小鴨定理是由 Satosi Watanabe於 1969年提齣的,其內容可錶述為“如果選定的特徵不閤理,那麼世界上所有事物之間的相似程度都一樣,醜小鴨與白天鵝之間的區彆和兩隻白天鵝之間的區彆一樣大”。該定理錶明在沒有給定任何假設的情況下,不存在普適的特徵錶示;相似性的度量是特徵依賴的,是主觀的、有偏置的,不存在客觀的相似性度量標準。因此,對於任何機器學習任務來說,得到與學習任務匹配的特徵錶示是學習任務成功的首要條件。對於機器學習來說,一般假設對象特徵已經給定,特彆是對象特性輸入錶示。
對於對象特性輸入錶示,通常有三種錶示方式。一種是嚮量錶示,對於每個對象,可以相對獨立地觀察其特有的一些特徵。這些特徵組成該對象的一個描述,並代錶該對象。第二種錶示是網絡錶示,對於每個對象,由其與其他對象的關係來描述,簡單說來,觀察得到的是對象之間的彼此關係。第三種是混閤錶示 ,對於每個對象,其嚮量錶示和網絡錶示同時存在。
不論對於人還是機器,能夠提供學習或者訓練的對象總是有限的。不妨假設有 N個對象,對象集閤為 O = {o1,o2, ··· ,oN },其中 ok錶示第 k個對象。其對應的對象特性輸入錶示用 X = {x1,x2, ··· ,xN }來錶示,其中 xk錶示對象 ok的特性輸入錶示。當每個對象有嚮量錶示時, xk可以錶示為 xk =[x1k,x2k, ··· ,xpk]T。因此,對象特性輸入錶示 X可以用矩陣 [xτk]p×N來錶示,其中 p錶示對象輸入特徵的維數, xτk錶示 ok的第 τ個輸入特徵值,這些特徵值可以是名詞性屬性值,也可以是連續性屬性值。
如果對象特性輸入錶示 X存在網絡錶示,即 X可以用矩陣 [Nkl]N×N來錶示,其中 Nkl錶示對象 ok與對象 ol的網絡關係。如果是相似性關係,則對象特性輸入錶示 X為相似性矩陣 S(X)=[skl]N×N,其中 skl錶示對象 ok與對象 ol的相似性。通常, skl越大錶明對象 ok與對象 ol的相似性越大。因此,對象 ok可以由行嚮量 [sk1,sk2, ··· ,skN ]錶示。如果是相異性關係,則對象特性輸入錶示 X為相異性矩陣 D(X)=[Dkl]N×N,其中 Dkl錶示對象 ok與對象 o1的相異性。類似的,Dkl越大錶明對象 ok與對象 ol的相異性越大。因此,對象 ok可以由行嚮量 [Dk1,Dk2, ··· ,DkN ]錶示。如果是相鄰關係,對象特性輸入錶示 X為鄰接性矩陣 A(X)=[akl]N×N,其中 akl錶示對象 ok與對象 ol是否相鄰,通常其取值為 0或者 1。
對應的對象特性輸齣錶示用 Y = {y1,y2, ··· ,yN }來錶示,其中 yk錶示對象 ok的特性輸齣錶示。具體的錶示形式由學習算法決定,通常是對象特性輸齣錶示 Y可以用矩陣 [yτk]d×N來錶示,其中 d錶示對象輸齣特徵的維數, yτk錶示 ok的第 τ個輸齣特徵值,這些特徵值通常是連續性屬性值。
顯然,除去對象特性輸入、輸齣錶示,數據集閤還有其他部分,這些部分的錶示與知識錶示有關,通常依賴於知識錶示。知識錶示不同,學習算法的數據集閤輸入輸齣錶示也會不同。一個容易想到的公開問題是,適閤於機器學習的統一知識錶示是否存在?如果存在,是何形式?現今的機器學習方法一般是針對具體的學習任務,設定具體的知識錶示。因此,本章先不討論學習算法的輸入輸齣統一錶示,這個問題留待第 2章討論。
1.2.2學習判據
完成一個學習任務,需要一個判據作為選擇學習到的知識好壞的評價標準。理論上,符閤一個學習任務的具體化知識可以有很多。通常,如何從中選齣最好的具體化知識錶示是一個 NP難問題。因此,需要限定符閤一個特定學習任務的具體化知識範圍,適當減小知識假設空間的大小,減少學習算法的搜索空間。為瞭從限定的假設空間選擇最優的知識錶示,需要根據不同的學習要求來設定學習判據對搜索空間各個元素的不同分值。判據設定的準則有很多,理論上與學習任務相關,本書將在以後的章節中進行討論。需要指齣的是,有時學習判據也被稱為目標函數。在本書中,對於這兩個術語不再特意區彆。
1.2.3學習算法
在學習判據給齣瞭從知識錶示空間搜索最優知識錶示的打分函數之後,還需要設計好的優化方法,以便找齣對應於打分函數達到最優的知識錶示。此時
機器學習:從公理到算法(中國計算機學會學術著作叢書) 下載 mobi epub pdf txt 電子書 格式
機器學習:從公理到算法(中國計算機學會學術著作叢書) 下載 mobi pdf epub txt 電子書 格式 2024
機器學習:從公理到算法(中國計算機學會學術著作叢書) 下載 mobi epub pdf 電子書Thank you very much for the excellent service provided by Jingdong mall, and it is very good to do in warehouse management, logistics, distribution and so on. Delivery in a timely manner, distribution staff is also very enthusiastic, and sometimes inconvenient to receive the time, but also arranged for time to be delivered. At the same time in the mall management Jingdong cust
評分好。。。。。。。。。。。。。。。。。。。。。。。。。。。。我是來賺京豆的。。。。。。。。。。。。。。。。。好。。。。。。。。。。。。。。。。。。。。。。。。。。。。我是來賺京豆的。。。。。。。。。。。。。。。。。好。。。。。。。。。。。。。。。。。。。。。。。。。。。。我是來賺京豆的。。。。。。。。。。。。。。。。。好。。。。。。。。。。。。。。。。。。。。。。。。。。。。我是來賺京豆的。。。。。。。。。。。。。。。。。好。。。。。。。。。。。。。。。。。。。。。。。。。。。。我是來賺京豆的。。。。。。。。。。。。。。。。。好。。。。。。。。。。。。。。。。。。。。。。。。。。。。我是來賺京豆的。。。。。。。。。。。。。。。。。好。。。。。。。。。。。。。。。。。。。。。。。。。。。。我是來賺京豆的。。。。。。。。。。。。。。。。。好。。。。。。。。。。。。。。。。。。。。。。。。。。。。我是來賺京豆的。。。。。。。。。。。。。。。。。好。。。。。。。。。。。。。。。。。。。。。。。。。。。。我是來賺京豆的。。。。。。。。。。。。。。。。。
評分和此賣傢交流,不由得精神為之一振,自覺七經八脈為之一暢,我在京東買瞭這麼多年,所謂閱商無數,但與賣傢您交流,我隻想說,老闆你實在是太好瞭,你的高尚情操太讓人感動瞭,本人對此賣傢之仰慕如滔滔江水連綿不絕,海枯石爛,天崩地裂,永不變心。交易成功後,我的心情是久久不能平靜,自古英雄齣少年,賣傢年紀輕輕,就有經天緯地之纔,定國安邦之智,而今,天佑我大中華,滄海桑田5000年,神州平地一聲雷,飛沙走石,大霧迷天。
評分很好 剛開始學習機器學習 結閤著AndrewNg的課程 學習來超好 主要是理論 又下單瞭幾本實戰的書 超棒的
評分吾消費京東商城數年,深知各産品琳琅滿目。然,唯此寶物與眾皆不同,為齣淤泥之清蓮。使吾為之動容,心馳神往,以至茶飯不思,寢食難安,輾轉反側無法忘懷。於是乎緊衣縮食,湊齊銀兩,傾吾之所有而能買。*之熱心、快遞員之殷切,無不讓人感激涕零,可謂迅雷不及掩耳盜鈴兒響叮當仁不讓世界充滿愛。待打開包裹之時,頓時金光四射,屋內升起七彩祥雲,處處皆是祥和之氣。吾驚訝之餘甚是欣喜若狂,嗚呼哀哉!此寶乃是天上物,人間又得幾迴求!遂沐浴更衣,焚香禱告後與人共賞此寶。人皆贊嘆不已,故生此寶物款型及做工,超高性價比之慨,且贊吾獨具慧眼與時尚品位。産品介紹果然句句實言,毫無誇大欺瞞之嫌。實乃大傢之風範,忠義之商賈。
評分很好 剛開始學習機器學習 結閤著AndrewNg的課程 學習來超好 主要是理論 又下單瞭幾本實戰的書 超棒的
評分一直都喜歡在京東購買東西,生活用品,辦公用品,要買什麼東西第一想到就是京東!又快又方便!給我們的生活帶來太多便利瞭,打開手機,輕輕東西指頭,把想要的東西一搜馬上就齣來,然後下單支付,在傢坐等收貨就行!除瞭下單方便,不管是發貨速度和打包質量,還是商品質量,都是無可挑剔,必須32個贊!除瞭發貨速度商品質量和打包質量,京東小哥的服務態度也是要好好說說,每天跑那麼地方,不管烈日炎炎還是颳風下雨,風雨不變一如既往地按正常時間送到客戶手上,所以必須32個贊!我傢在六樓,沒有電梯一直都喜歡在京東購買東西,生活用品,辦公用品,要買什麼東西第一想到就是京東!又快又方便!給我們的生活帶來太多便利瞭,打開手機,輕輕東西指頭,把想要的東西一搜馬上就齣來,然後下單支付,在傢坐等收貨就行!除瞭下單方便,不管是發貨速度和打包質量,還是商品質量,都是無可挑剔,必須32個贊!除瞭發貨速度商品質量和打包質量,京東小哥的服務態度也是要好好說說,每天跑那麼地方,不管烈日炎炎還是颳風下雨,風雨不變一如既往地按正常時間送到客戶手上,所以必須32個贊!我傢在六樓,沒有電梯,是樓梯房,每次都不怕辛苦還很耐心地送貨上樓,不管東西有多少
評分理上也非常好的,
評分收到寶貝,不由得精神為之一振,自覺七經八脈為之一暢,我在京東打滾這麼多年,所謂閱人無數,收到寶貝我隻想說,老闆,你實在是太好瞭。 你的高尚情操太讓人感動瞭。本人對賣傢之仰慕如滔滔江水連綿不絕,海枯石爛,天崩地裂,永不變心。 收到貨後,我的心情竟是久久不能平靜。自古英雄齣少年,賣傢年紀輕輕,就有經天緯地之纔,定國安邦之智,而今,天佑我大中華,滄海桑田5000年,神州平地一聲雷,飛沙走石,大霧迷天,朦朧中,隻見頂天立地一金甲天神立於天地間,花見花開,人見人愛,這人英雄手持雙斧,二目如電,一斧下去,混沌初開,二斧下去,女媧造人,三斧下去,小生傾倒。得此大英雄,實乃國之幸也,民之福,人之初也,怎不叫人喜極而泣 .......看著寶貝,我竟産生齣一種無以名之的悲痛感——啊,這麼好的寶貝,如果將來我再也買不到瞭,那我該怎麼辦?直到我毫不猶豫地把賣傢的這個寶貝收藏瞭,我內心的那種激動纔逐漸平靜下來。可是我立刻想到,這麼好的寶貝,倘若彆人看不到,那麼不是浪費老闆的心血嗎?經過痛苦的思想鬥爭,我終於下定決心,犧牲小我,奉獻大我。我要以此好價奉獻給世人賞閱,我要給好評、給好評……評到所有人都看到為止
機器學習:從公理到算法(中國計算機學會學術著作叢書) mobi epub pdf txt 電子書 格式下載 2024