GPT-4：點亮人工通用智能的火花 002
人工智能演進之路：神經網絡兩落三起 004
現代自然語言處理：從規則到統計 007
何為語言？信息又如何傳播？ 008
NLP是人類和計算機溝通的橋梁 009
NLP技術的演進史 010
大規模預訓練語言模型：BERT與GPT爭鋒 012
語言模型的誕生和進化 012
統計語言模型的發展曆程 014
基於Transformer架構的預訓練模型 016
“預訓練+微調大模型”的模式 018
以提示/指令模式直接使用大模型 019
從初代GPT到ChatGPT，再到GPT-4 021
GPT作為生成式模型的天然優勢 022
ChatGPT背後的推手——OpenAI 023
從初代GPT到ChatGPT，再到GPT-4的進化史 024
第1課 高樓萬丈平地起：語言模型的雛形N-Gram和簡單文本錶示Bag-of-Words 026
1.1 N-Gram模型 026
1.2 “詞”是什麼，如何“分詞” 030
1.3 創建一個Bigram字符預測模型 032
1.4 詞袋模型 036
1.5 用詞袋模型計算文本相似度 037
小結 042
思考 043
第2課 問君文本何所似： 詞的嚮量錶示Word2Vec和Embedding 044
2.1 詞嚮量 ≈ 詞嵌入 045
2.2 Word2Vec：CBOW模型和Skip-Gram模型 047
2.3 Skip-Gram模型的代碼實現 050
2.4 CBOW模型的代碼實現 061
2.5 通過nn.Embedding來實現詞嵌入 063
小結 067
思考 068
第3課 山重水復疑無路：神經概率語言模型和循環神經網絡 069
3.1 NPLM的起源 070
3.2 NPLM的實現 072
3.3 循環神經網絡的結構 079
3.4 循環神經網絡實戰 082
小結 086
思考 087
第4課 柳暗花明又一村：Seq2Seq編碼器-解碼器架構 088
4.1 Seq2Seq架構 089
4.2 構建簡單Seq2Seq架構 092
小結 103
思考 103
第5課 見微知著開慧眼：引入注意力機製 104
5.1 點積注意力 105
5.2 縮放點積注意力 114
5.3 編碼器-解碼器注意力 116
5.4 注意力機製中的Q、K、V 122
5.5 自注意力 125
5.6 多頭自注意力 126
5.7 注意力掩碼 129
5.8 其他類型的注意力 131
小結 132
思考 132
第6課 層巒疊翠上青天：搭建GPT核心組件Transformer 133
6.1 Transformer架構剖析 133
6.1.1 編碼器-解碼器架構 135
6.1.2 各種注意力的應用 135
6.1.3 編碼器的輸入和位置編碼 140
6.1.4 編碼器的內部結構 141
6.1.5 編碼器的輸齣和編碼器-解碼器的連接 142
6.1.6 解碼器的輸入和位置編碼 143
6.1.7 解碼器的內部結構 145
6.1.8 解碼器的輸齣和Transformer的輸齣頭 146
6.2 Transformer代碼實現 148
6.3 完成翻譯任務 176
6.3.1 數據準備 177
6.3.2 訓練Transformer模型 179
6.3.3 測試Transformer模型 179
小結 181
思考 182
第7課 芳林新葉催陳葉：訓練齣你的簡版生成式GPT 183
7.1 BERT與GPT爭鋒 184
7.2 GPT：生成式自迴歸模型 188
7.3 構建GPT模型並完成文本生成任務 191
7.3.1 搭建GPT模型（解碼器） 192
7.3.2 構建文本生成任務的數據集 195
7.3.3 訓練過程中的自迴歸 198
7.3.4 文本生成中的自迴歸（貪婪搜索） 200
7.4 使用WikiText2數據集訓練Wiki-GPT模型 201
7.4.1 用WikiText2構建Dataset和DataLoader 202
7.4.2 用DataLoader提供的數據進行訓練 206
7.4.3 用Evaluation Dataset評估訓練過程 207
7.4.4 文本生成中的自迴歸（集束搜索） 209
小結 212
思考 213
第8課 流水後波推前波：ChatGPT基於人類反饋的強化學習 214
8.1 從GPT到ChatGPT 215
8.2 在Wiki-GPT基礎上訓練自己的簡版ChatGPT 218
8.3 用Hugging Face預訓練GPT微調ChatGPT 225
8.4 ChatGPT的RLHF實戰 233
8.4.1 強化學習基礎知識 235
8.4.2 簡單RLHF實戰 237
小結 243
思考 244
第9課 生生不息的循環：使用強大的GPT-4 API 245
9.1 強大的OpenAI API 245
9.2 使用GPT-4 API 249
小結 251
思考 252
後 記 莫等閑，白瞭少年頭 253
· · · · · · (收起)
具體描述
人工智能（AI），尤其是生成式語言模型和生成式人工智能（AIGC）模型，正以驚人的速度改變著我們的世界。駕馭這股潮流的關鍵，莫過於探究自然語言處理（NLP）技術的深奧秘境。本書將帶領讀者踏上一段扣人心弦的探索之旅，讓其親身感受，並動手搭建語言模型。本書主要內容包括N-Gram，詞袋模型（BoW），Word2Vec（W2V），神經概率語言模型（NPLM），循環神經網絡（RNN），Seq2Seq（S2S），注意力機製，Transformer，從初代GPT到ChatGPT再到GPT-4等一係列突破性技術的誕生與演進。
本書將以生動活潑的筆觸，將枯燥的技術細節化作輕鬆幽默的故事和繽紛多彩的圖畫，引領讀者穿梭於不同技術的時空，見證自然語言處理技術的傳承、演進與蛻變。在這場不斷攀登技術新峰的奇妙之旅中，讀者不僅能深入理解自然語言處理技術的核心原理，還能自己動手，從零開始搭建起一個又一個語言模型。
無論你是在校學生還是人工智能從業者，這本書都將成為一盞明燈，照亮你探索人工智能無限奧秘的道路。
用戶評價
##黃老師的通俗易懂的作品，齣得又快又好
評分##我是本書作者： 1. 這本書實際上是從早期NLP模型到BERT、GPT這種大語言模型的技術發展簡史 2. 亮點是用一係列200行以內的代碼復現瞭一係列經典論文和經典模型，層層遞進，理解大語言模型的構建。 3. 源代碼可以去異步圖書下載。也可以去https://github.com/huangjia2019/DeepBlue-LLM看代碼。這個書和生成式語言模型的課程算是配套的。 4. 我的github上麵https://github.com/huangjia2019/llm_gpt有勘誤錶
評分##我想說我很喜歡佳哥書中章迴體小說的章節標題，同時書中的配圖對於我學習理解相關技術起到瞭很大的幫助。
評分##通俗易懂是黃老師寫書的特點，這本書讓我從一個小白就能看清GPT發展的脈絡，從bag of Word 到Seq2Seq,再發展到Transformer,BERT,最後到ChatGPT,這麼一步一步的發展過來，一本不厚的書讓如醍醐灌頂，對GPT的發展有一個清晰的認識。現在模型太多瞭，有瞭這本書讓大傢知道，你學到哪裏，以及後麵的road map是什麼。感謝作者能用巧妙的文字勾畫齣這一切，讓我讀起來饒有興趣。
評分##之前看過黃佳的數據分析書，覺得屬於深入淺齣且圖文並茂，很符閤我的口味。現在又齣瞭一本書，算是GPT的前因後果大剖析，從GPT的前世今生都給我們介紹瞭。對於我學習AI有一種見樹木又見森林的感覺。我覺得如果你想入門，瞭解GPT的發展，這本書不容錯過。
評分##書沒有很長，有大量的圖解，理解起來也還好，但我不是相關從業者，就當成科普來看瞭
評分咖哥好有創意！書裏的中文大模型“雕龍一拍”與百度的“文心一言”相照應，來源於《文心雕龍》和《三言二拍》。
評分##我是本書作者： 1. 這本書實際上是從早期NLP模型到BERT、GPT這種大語言模型的技術發展簡史 2. 亮點是用一係列200行以內的代碼復現瞭一係列經典論文和經典模型，層層遞進，理解大語言模型的構建。 3. 源代碼可以去異步圖書下載。也可以去https://github.com/huangjia2019/DeepBlue-LLM看代碼。這個書和生成式語言模型的課程算是配套的。 4. 我的github上麵https://github.com/huangjia2019/llm_gpt有勘誤錶
評分##之前看過黃佳的數據分析書，覺得屬於深入淺齣且圖文並茂，很符閤我的口味。現在又齣瞭一本書，算是GPT的前因後果大剖析，從GPT的前世今生都給我們介紹瞭。對於我學習AI有一種見樹木又見森林的感覺。我覺得如果你想入門，瞭解GPT的發展，這本書不容錯過。
相關圖書
本站所有內容均為互聯網搜尋引擎提供的公開搜索信息，本站不存儲任何數據與內容，任何內容與數據均與本站無關，如有需要請聯繫相關搜索引擎包括但不限於百度，google,bing,sogou 等
© 2026 book.teaonline.club All Rights Reserved. 圖書大百科 版權所有