發表於2024-11-14
《基於Theano的深度學習:構建未來與當前的人工大腦》對基於Theano的深度學習進行瞭完整敘述,Theano是一個能夠在CPU或GPU上便於優化數值錶示和深度學習模型的Python庫。
《基於Theano的深度學習:構建未來與當前的人工大腦》提供瞭一些實用代碼示例,有助於初學者易於理解如何構建復雜神經網絡,而對於有經驗的數據分析師會更關注書中的相關內容,解決圖像識彆、自然語言處理和博弈決策領域的監督式學習和非監督式學習、生成模型和強化學習。
《基於Theano的深度學習:構建未來與當前的人工大腦》還討論瞭從簡單數字識彆、圖像分類、目標定位、圖像分割到圖像字幕的圖像識彆任務,自然語言處理示例包括文本生成、聊天機器人、機器翻譯和機器問答係統。其中,後一個示例是處理貌似真實的隨機數據生成並解決如Open-AI生態的博弈問題。
後,本書總結瞭針對每項任務的佳性能網絡。早期的研究成果主要是基於神經層的深度堆棧,尤其是捲積層,而本書給齣瞭提高這些架構效率的原理,以幫助讀者構建新的個性化神經網絡。
《基於Theano的深度學習:構建未來與當前的人工大腦》
閱讀本書將會學到的內容:
?熟悉Theano和深度學習的概念;
?給齣監督式、非監督式、生成或強化學習的示例;
?揭示設計高效深度學習網絡的主要原則:捲積、殘差連接和遞歸連接;
?Theano在實際計算機視覺數據集中的應用,如數字分類和圖像分類;
?將Theano擴展到自然語言處理任務,如聊天機器人或機器翻譯;
?人工智能驅動策略以使得機器人能夠解決博弈問題或從環境中學習;
?基於生成模型生成真實的閤成數據;
?熟悉應用於Theano上層的兩個框架:Lasagne和Keras。
關注“科技電眼”微信號,迴復“58878”可直接獲取下載地址。
《基於Theano的深度學習:構建未來與當前的人工大腦》主要介紹瞭深度學習的基本概念和常用網絡以及Theano在深度學習中的應用。共13章,首先介紹瞭Theano的基礎知識,包括張量、計算圖、符號計算、張量算子、自動微分等概念,然後分彆介紹瞭基於前饋神經網絡的手寫體數字分類、單詞的嚮量編碼、基於遞歸神經網絡的文本生成、基於雙嚮LSTM的情感分析、基於空間變換網絡的定位、基於剩餘網絡的圖像分類、基於編碼—解碼網絡的翻譯與解釋、基於注意力機製的相關輸入或記憶選擇、基於先進遞歸神經網絡的時間序列預測、強化環境學習和基於非監督式網絡的特徵學習等內容,後介紹瞭Theano在深度學習中的擴展可能性。
Christopher Bourez於2005年畢業於巴黎綜閤理工大學和卡尚高等師範學院,獲得數學、機器學習和計算機視覺(MVA)的碩士學位。
7年來,他創立瞭一傢計算機視覺公司,在 2007年推齣瞭一種用於iPhone的視覺識彆應用程序Pixee,與巴黎市的各大影院品牌和一些主要票務經銷商閤作:通過一張照片,用戶可以獲取有關活動、産品和購票方式等信息。
在應用Caffe、TensorFlow或 Torch來完成計算機視覺任務的過程中,通過計算機科學的博客,幫助其他開發人員成功實現。其中一篇博客文章 —“A tutorial on the Caffe deep learning technology”(基於 Caffe的深度學習技術教程),已成為繼 Caffe官方網站之後在網絡上受歡迎的教程。
在Packt齣版社的積極倡導下,將其撰寫Caffe教程的成功經驗移植到關於 Theano技術的本書上。與此同時,還深入研究瞭有關深度學習的廣泛問題,並在 Theano及其應用方麵積纍瞭更多的實踐經驗。
譯者序
原書前言
本書作者
原書緻謝
第1 章 Theano 基礎 //1
1.1 張量所需 //1
1.2 安裝和加載Theano //2
1.2.1 Conda 軟件包和環境管理器 // 2
1.2.2 在CPU 上安裝和運行Theano // 2
1.2.3 GPU 驅動和相關庫 // 3
1.2.4 在GPU 上安裝和運行Theano // 4
1.3 張量 //5
1.4 計算圖和符號計算 //8
1.5 張量操作 //11
1.5.1 維度操作算子 // 13
1.5.2 元素操作算子 // 14
1.5.3 約簡操作算子 // 16
1.5.4 綫性代數算子 // 16
1.6 內存和變量 //18
1.7 函數和自動微分 //20
1.8 符號計算中的循環運算 //22
1.9 配置、分析和調試 //26
1.10 小結 //29
第2 章 基於前饋神經網絡的手寫體數字分類 //30
2.1 MNIST 數據集 // 30
2.2 訓練程序架構 // 32
2.3 分類損失函數 // 33
2.4 單層綫性模型 // 34
2.5 成本函數和誤差 // 35
2.6 反嚮傳播算法和隨機梯度下降 // 36
2.7 多層模型 // 37
2.8 捲積層和最大池化層 // 43
2.9 訓練 // 47
2.10 退齣 // 52
2.11 推理 // 52
2.12 優化和其他更新規則 // 52
2.13 延伸閱讀 // 56
2.14 小結 // 57
第3 章 單詞的嚮量編碼 //58
3.1 編碼和嵌入 // 58
3.2 數據集 // 60
3.3 連續詞袋模型 // 62
3.4 模型訓練 // 66
3.5 可視化學習嵌入 // 68
3.6 嵌入評價—類比推理 // 70
3.7 嵌入評價—量化分析 // 72
3.8 單詞嵌入應用 // 72
3.9 權重綁定 // 73
3.10 延伸閱讀 // 73
3.11 小結 // 74
第4 章 基於遞歸神經網絡的文本生成 //75
4.1 RNN 所需 // 75
4.2 自然語言數據集 // 76
4.3 簡單遞歸網絡 // 79
4.3.1 LSTM 網絡 // 81
4.3.2 門控遞歸網絡 // 83
4.4 自然語言性能評測 // 84
4.5 訓練損失比較 // 84
4.6 預測示例 // 86
4.7 RNN 的應用 // 87
4.8 延伸閱讀 // 88
4.9 小結 // 89
第5 章 基於雙嚮LSTM 的情感分析 // 90
5.1 Keras 的安裝和配置 // 90
5.1.1 Keras 編程 // 91
5.1.2 SemEval 2013 數據集 // 93
5.2 文本數據預處理 // 94
5.3 模型架構設計 // 96
5.3.1 單詞的嚮量錶徵 // 96
5.3.2 基於雙嚮LSTM 的語句錶徵 // 97
5.3.3 softmax 分類器的輸齣概率 // 98
5.4 模型編譯與訓練 // 99
5.5 模型評估 // 99
5.6 模型保存與加載 // 100
5.7 示例運行 // 100
5.8 延伸閱讀 // 100
5.9 小結 // 101
第6 章 基於空間變換網絡的定位 // 102
6.1 基於Lasagne 的MNIST CNN 模型// 102
6.2 定位網絡 // 104
6.2.1 RNN 在圖像中的應用 // 108
6.3 基於共定位的非監督式學習 // 112
6.4 基於區域的定位網絡 // 112
6.5 延伸閱讀 // 113
6.6 小結 // 114
第7 章 基於殘差網絡的圖像分類 // 115
7.1 自然圖像數據集 // 115
7.1.1 批處理標準化 // 116
7.1.2 全局平均池化 // 117
7.2 殘差連接 // 118
7.3 隨機深度 // 123
7.4 密集連接 // 124
7.5 多GPU // 125
7.6 數據增強 // 126
7.7 延伸閱讀 // 127
7.8 小結 // 127
第8 章 基於編碼—解碼網絡的翻譯與解釋 // 128
8.1 序列—序列網絡在自然語言處理中的應用 // 128
8.2 序列—序列網絡在語言翻譯中的應用 // 133
8.3 序列—序列網絡在聊天機器人中的應用 // 134
8.4 序列—序列網絡的效率提高 // 134
8.5 圖像反捲積 // 136
8.6 多模態深度學習 // 140
8.7 延伸閱讀 // 140
8.8 小結 // 142
第9 章 基於注意力機製的相關輸入或記憶選擇 // 143
9.1 注意力可微機製 // 143
9.1.1 基於注意力機製的最佳翻譯 // 144
9.1.2 基於注意力機製的最佳圖像注釋 // 145
9.2 神經圖靈機中的信息存儲和檢索 // 146
9.3 記憶網絡 // 148
9.3.1 基於動態記憶網絡的情景記憶 // 149
9.4 延伸閱讀 // 150
9.5 小結 // 151
第10 章 基於先進遞歸神經網絡的時間序列預測 // 152
10.1 RNN 的退齣 // 152
10.2 RNN 的深度學習方法 // 153
10.3 層疊遞歸網絡 // 154
10.4 深度轉移遞歸網絡 // 157
10.5 高速網絡設計原理 // 157
10.6 遞歸高速網絡 // 158
10.7 延伸閱讀 // 159
10.8 小結 // 159
第11 章 強化環境學習 // 160
11.1 強化學習任務 // 160
11.2 仿真環境 // 161
11.3 Q 學習 // 164
11.4 深度Q 學習網絡 // 166
11.5 訓練穩定性 // 167
11.6 基於REINFORCE 算法的策略梯度 // 169
11.7 延伸閱讀 // 171
11.8 小結 // 172
第12 章 基於非監督式網絡的特徵學習 // 173
12.1 生成模型 // 173
12.1.1 受限玻耳茲曼機 // 173
12.1.2 深度信念網絡 // 177
12.1.3 生成性對抗網絡 // 178
12.1.4 改進GAN // 182
12.2 半監督式學習 // 182
12.3 延伸閱讀 // 183
12.4 小結 // 184
第13 章 基於Theano 的深度學習擴展 // 185
13.1 CPU 中Python 實現的Theano操作 // 185
13.2 GPU 中Python 實現的Theano操作 // 188
13.3 CPU 中C 實現的Theano 操作 //190
13.4 GPU 中C 實現的Theano 操作 //193
13.5 通過共享內存的閤並轉置,NVIDIA並行 // 196
13.5.1 模型轉換 // 197
13.6 人工智能的未來發展 // 199
13.7 延伸閱讀 // 201
13.8 小結 // 202
前言
通過神經網絡架構設計的見解和實踐可解決人工智能問題,理解深度學習中最先進網絡的相關概念。利用 Python實現的 Theano技術能夠很容易地計算導數並最小化所選擇的目標函數。
本書主要內容
第 1章 Theano基礎,幫助讀者學習瞭解 Theano的主要概念,編寫可在不同硬件架構上編譯的代碼,並自動優化復雜的數學目標函數。
第 2章 基於前饋神經網絡的手寫體數字分類,主要介紹一個已證明深度學習算法優越性的簡單常見示例。最初問題是識彆手寫體數字。
第 3章 單詞的嚮量編碼,神經網絡的主要難點之一是將真實世界的數據連接到神經網絡的輸入端,特彆是分類和離散數據。本章將介紹一個如何利用 Theano通過訓練來構建嵌入空間的示例。
這種嵌入方式在機器翻譯、機器人、圖像字幕等方麵非常有用,因為可以將真實世界的數據轉換成可由神經網絡處理的嚮量數組。
第 4章 基於遞歸神經網絡的文本生成,通過一個簡單的示例實踐介紹瞭神經網絡的遞歸,以生成文本。
遞歸神經網絡( RNN)是深度學習中的一個研究熱點,能夠實現序列預測、序列生成、機器翻譯和對象關聯等任務。自然語言處理( NLP)是推動機器學習新技術發展的第二個熱門研究領域。
第 5章 基於雙嚮 LSTM 的情感分析,將嵌入技術和遞歸層應用於自然語言處理的一個新課題,即情感分析。本章實際上是對前幾章內容的一種驗證。
以此同時,還介紹瞭基於 Theano構建神經網絡的另一種方法,即采用一種更高級的庫— Keras。
第 6章 基於空間變換網絡的定位,將遞歸技術應用於圖像,從而一次讀取圖像頁麵上的多個數字。在此,利用用於 Theano深度學習的內置模塊庫—Lasagne來重新構建手寫體數字圖像的分類網絡及其遞歸模型。
Lasagne庫有助於設計神經網絡進行更快實驗。在此情況下,將通過空間變換模塊來提高分類質量,從而解決計算機視覺中的一個常見難題—對象定位問題。
第 7章 基於殘差網絡的圖像分類,以最佳精度對任何類型的圖像進行分類。同時,為瞭更容易地構建更復雜網絡,本章將通過一個已具有許多實現組件的基於 Theano框架的 Lasagne庫來更快地實現 Theano下的神經網絡。
第 8章 基於編碼—解碼網絡的翻譯與解釋,介紹瞭應用於文本處理的編碼—解碼技術,這些技術已大量應用於機器翻譯和簡單聊天機器人係統中。同時還可應用於圖像處理,
原書前言
主要是實現場景分割和對象定位。最後,圖像字幕技術是一種圖像編碼和文本解碼相結閤的混閤技術。
本章進一步應用瞭非常流行的高級庫 Keras,由此極大簡化瞭 Theano下神經網絡的開發。
第 9章 基於注意力機製的相關輸入或記憶選擇,為解決更復雜的任務,機器學習界研究人員一直在尋找一種受自然啓發的更高層次智能:推理、注意力和記憶。在本章,讀者主要學習基於人工智能的記憶網絡在 NLP中的應用:語言理解。
第 10章 基於先進遞歸神經網絡的時間序列預測,時間序列是機器學習中廣泛應用的一個重要領域。本章將利用 RNN的先進技術,來獲得最新成果。
第 11章 強化環境學習,強化學習是機器學習的一個重要研究領域,主要是訓練一個智能體在環境下的行為(如視頻遊戲),通過在環境中執行某些動作(按下控製器上的按鍵)和觀察所發生的變化來得到一個最優量(最大化遊戲得分)。
強化學習新範式為計算機和現實世界之間的算法設計和交互開闢瞭一條全新道路。
第 12章 基於非監督式網絡的特徵學習,非監督式學習主要是無需標記訓練數據的新訓練算法。這些算法試圖從數據中推斷齣稱為因素的隱藏標簽,並由其中一些因素生成新的閤成數據。
非監督式訓練在許多情況下非常有用,其中包括無標簽,或人工標注數據成本太高,或數據集太小而使得特徵過擬閤數據等情況。對於最後一種情況,對未標記數據進行更多訓練以獲得更好的特徵是監督式學習的基礎。
第 13章 基於 Theano的深度學習擴展,擴展瞭 Theano下深度學習的更多可能性。提齣瞭為計算圖創建新算子的方法,在 CPU或 GPU中,簡化 Python程序,或減少 C語言中 Python的開銷。另外,還介紹瞭 GPU並行編程的基本概念。最後,根據本書所介紹的第一項技術,開啓通用人工智能領域,並逐步開發新技能,使得進一步提高完善。
為何選擇 Theano?
Theano的研發時間和成本是非常可觀的,要瞭解其中的原委,一個重要的原因是 Theano是目前最好的深度學習技術,遠非僅是一個深度學習庫。選擇 Theano主要是以下 3個原因:
. 具有其他數值計算庫或深度學習庫的類似性能;
. 具有豐富的 Python係統;
. 根據給定模型,可由數據來評估任何函數約束,從而可以求解任何優化問題。
首先考慮技術本身的性能。在深度學習方麵常用的庫有 Theano(用於 Python)、 Torch(用於 Lua)、Tensorflow(用於 Python)和 Caffe(用於 C++和 Python封裝)。目前已有很多基準可對深入學習技術進行比較。
2012年 Bastien等人提齣( Theano:new features and speed improvements,FrédéricBastien, Pascal Lamblin,Razvan Pascanu,James Bergstra,Ian Goodfellow,Arnaud Bergeron,Nicolas Bouchard,David Warde-Farley,Yoshua Bengio,Nov 2012),Theano在運行速度方麵取得瞭重大進展,但這是在執行不同的任務下比較的,並不能明確錶明在其他技術中具有明顯的優勢。 2016年 Bahrampour等人( Comparative Study of Deep Learning Software Frameworks,Soheil Bahrampour,Naveen Ramakrishnan,Lukas Schott,Mohak Shah,mars 2016)研究得齣瞭以下結論:
. 在基於 GPU的已訓練完成捲積和完全連接網絡的部署方麵, Torch最適閤,其次是 Theano;
. 在基於 GPU訓練捲積網絡和完全連接網絡方麵,對於小型網絡 Theano是最快的,而對於較大網絡 Torch是最快的;
. 在基於 GPU的遞歸網絡(LSTM)訓練和部署方麵,Theano的性能最佳;
. 在基於 CPU的任何測試深度網絡架構的訓練 基於Theano的深度學習:構建未來與當前的人工大腦 [Deep Learning with Theano: Build the artificial br] 下載 mobi epub pdf txt 電子書 格式
基於Theano的深度學習:構建未來與當前的人工大腦 [Deep Learning with Theano: Build the artificial br] 下載 mobi pdf epub txt 電子書 格式 2024
基於Theano的深度學習:構建未來與當前的人工大腦 [Deep Learning with Theano: Build the artificial br] 下載 mobi epub pdf 電子書基於Theano的深度學習:構建未來與當前的人工大腦 [Deep Learning with Theano: Build the artificial br] mobi epub pdf txt 電子書 格式下載 2024