並行程序設計導論 [An Introduction to Parallel Programming] 下載 mobi epub pdf 電子書 2025

簡體網頁||繁體網頁

☆☆☆☆☆

[美] 帕切剋 著，鄧倩妮 等 譯

圖書標籤:

• 並行程序設計
• 並行計算
• 多核處理器
• 並發編程
• OpenMP
• MPI
• CUDA
• GPU編程
• 高性能計算
• 計算機科學

齣版社： 機械工業齣版社

ISBN：9787111392842

版次：1

商品編碼：11129425

品牌：機工齣版

包裝：平裝

叢書名： 計算機科學叢書

外文名稱：An Introduction to Parallel Programming

開本：16開

齣版時間：2012-11-01

用紙：膠版紙

頁數：264

正文語種

內容簡介

　　《並行程序設計導論》全麵涵蓋瞭並行軟件和硬件的方方麵麵，深入淺齣地介紹如何使用MPI（分布式內存編程）、Pthreads和OpenMP（共享內存編程）編寫高效的並行程序。各章節包含瞭難易程度不同的編程習題。《並行程序設計導論》可以用做計算機科學專業低年級本科生的專業課程的教材，也可以作為軟件開發人員學習並行程序設計的專業參考書。

目錄

齣版者的話

譯者序

本書贊譽

前言

緻謝

第1章 為什麼要並行計算

1.1 為什麼需要不斷提升的性能

1.2 為什麼需要構建並行係統

1.3 為什麼需要編寫並行程序

1.4 怎樣編寫並行程序

1.5 我們將做什麼

1.6 並發、並行、分布式

1.7 本書的其餘部分

1.8 警告

1.9 字體約定

1.10 小結

1.11 習題

第2章 並行硬件和並行軟件

2.1 背景知識

2.1.1 馮·諾依曼結構

2.1.2 進程、多任務及綫程

2.2 對馮·諾依曼模型的改進

2.2.1 Cache基礎知識

2.2.2 Cache映射

2.2.3 Cache和程序：一個實例

2.2.4 虛擬存儲器

2.2.5 指令級並行

2.2.6 硬件多綫程

2.3 並行硬件

2.3.1 SIMD係統

2.3.2 MIMD係統

2.3.3 互連網絡

2.3.4 Cache一緻性

2.3.5 共享內存與分布式內存

2.4 並行軟件

2.4.1 注意事項

2.4.2 進程或綫程的協調

2.4.3 共享內存

2.4.4 分布式內存

2.4.5 混閤係統編程

2.5 輸入和輸齣

2.6 性能

2.6.1 加速比和效率

2.6.2 阿姆達爾定律

2.6.3 可擴展性

2.6.4 計時

2.7 並行程序設計

2.8 編寫和運行並行程序

2.9 假設

2.10 小結

2.10.1 串行係統

2.10.2 並行硬件

2.10.3 並行軟件

2.10.4 輸入和輸齣

2.10.5 性能

2.10.6 並行程序設計

2.10.7 假設

2.11 習題

第3章 用MPI進行分布式內存編程

3.1 預備知識

3.1.1 編譯與執行

3.1.2 MPI程序

3.1.3 MPI_Init和MPI_Finalize

3.1.4 通信子、MPI_Comm_size和MPI_Comm_rank

3.1.5 SPMD程序

3.1.6 通信

3.1.7 MPI_Send

3.1.8 MPI_Recv

3.1.9 消息匹配

3.1.10 status_p參數

3.1.11 MPI_Send和MPI_Recv的語義

3.1.12 潛在的陷阱

3.2 用MPI來實現梯形積分法

3.2.1 梯形積分法

3.2.2 並行化梯形積分法

3.3 I/O處理

3.3.1 輸齣

3.3.2 輸入

3.4 集閤通信

3.4.1 樹形結構通信

3.4.2 MPI_Reduce

3.4.3 集閤通信與點對點通信

3.4.4 MPI_Allreduce

3.4.5 廣播

3.4.6 數據分發

3.4.7 散射

3.4.8 聚集

3.4.9 全局聚集

3.5 MPI的派生數據類型

3.6 MPI程序的性能評估

3.6.1 計時

3.6.2 結果

3.6.3 加速比和效率

3.6.4 可擴展性

3.7 並行排序算法

3.7.1 簡單的串行排序算法

3.7.2 並行奇偶交換排序

3.7.3 MPI程序的安全性

3.7.4 並行奇偶交換排序算法的重要內容

3.8 小結

3.9 習題

3.10 編程作業

第4章 用Pthreads進行共享內存編程

4.1 進程、綫程和Pthreads

4.2 “Hello，World”程序

4.2.1 執行

4.2.2 準備工作

4.2.3 啓動綫程

4.2.4 運行綫程

4.2.5 停止綫程

4.2.6 錯誤檢查

4.2.7 啓動綫程的其他方法

4.3 矩陣-嚮量乘法

4.4 臨界區

4.5 忙等待

4.6 互斥量

4.7 生産者-消費者同步和信號量

4.8 路障和條件變量

4.8.1 忙等待和互斥量

4.8.2 信號量

4.8.3 條件變量

4.8.4 Pthreads路障

4.9 讀寫鎖

4.9.1 鏈錶函數

4.9.2 多綫程鏈錶

4.9.3 Pthreads讀寫鎖

4.9.4 不同實現方案的性能

4.9.5 實現讀寫鎖

4.10 緩存、緩存一緻性和僞共享

4.11 綫程安全性

4.12 小結

4.13 習題

4.14 編程作業

第5章 用OpenMP進行共享內存編程

5.1 預備知識

5.1.1 編譯和運行OpenMP程序

5.1.2 程序

5.1.3 錯誤檢查

5.2 梯形積分法

5.3 變量的作用域

5.4 歸約子句

5.5 parallelfor指令

5.5.1 警告

5.5.2 數據依賴性

5.5.3 尋找循環依賴

5.5.4 π值估計

5.5.5 關於作用域的更多問題

5.6 更多關於OpenMP的循環：排序

5.6.1 冒泡排序

5.6.2 奇偶變換排序

5.7 循環調度

5.7.1 schedule子句

5.7.2 static調度類型

5.7.3 dynamic和guided調度類型

5.7.4 runtime調度類型

5.7.5 調度選擇

5.8 生産者和消費者問題

5.8.1 隊列

5.8.2 消息傳遞

5.8.3 發送消息

5.8.4 接收消息

5.8.5 終止檢測

5.8.6 啓動

5.8.7 atomic指令

5.8.8 臨界區和鎖

5.8.9 在消息傳遞程序中使用鎖

5.8.10 critical指令、atomic指令、鎖的比較

5.8.11 經驗

5.9 緩存、緩存一緻性、僞共享

5.10 綫程安全性

5.11 小結

5.12 習題

5.13 編程作業

第6章 並行程序開發

6.1 n體問題的兩種解決方法

6.1.1 問題

6.1.2 兩個串行程序

6.1.3 並行化n體算法

6.1.4 關於I/O

6.1.5 用OpenMP並行化基本算法

6.1.6 用OpenMP並行化簡化算法

6.1.7 評估OpenMP程序

6.1.8 用Pthreads並行化算法

6.1.9 用MPI並行化基本算法

6.1.10 用MPI並行化簡化算法

6.1.11 MPI程序的性能

6.2 樹形搜索

6.2.1 遞歸的深度優先搜索

6.2.2 非遞歸的深度優先搜索

6.2.3 串行實現所用的數據結構

6.2.4 串行實現的性能

6.2.5 樹形搜索的並行化

6.2.6 采用Pthreads實現的靜態並行化樹搜索

6.2.7 采用Pthreads實現的動態並行化樹搜索

6.2.8 Pthreads樹搜索程序的評估

6.2.9 采用OpenMp實現的並行化樹搜索程序

6.2.10 OpenMp實現的性能

6.2.11采用MPI和靜態劃分來實現樹搜索

6.2.12 采用MPI和動態劃分來實現樹搜索

6.3 忠告

6.4 選擇哪個API

6.5 小結

6.5.1 Pthreads和OpenMP

6.5.2 MPI

6.6 習題

6.7 編程作業

第7章 接下來的學習方嚮

參考文獻

索引

前言/序言

《高效能計算：並行編程的基石》 在當今計算領域，處理器性能的提升已進入多核時代，單核時鍾頻率的增長趨於平緩，而並行計算則成為瞭突破性能瓶頸、解決復雜科學計算和大規模數據處理問題的關鍵。從高性能計算（HPC）集群到我們日常使用的多核筆記本電腦，並行性的概念已經滲透到現代計算的方方麵麵。本書《高效能計算：並行編程的基石》旨在為讀者構建堅實的並行計算理論基礎，並深入探討實際的並行編程技術，使讀者能夠充分理解並駕馭並行計算的力量，從而開發齣高效、可擴展的應用程序。 本書的編寫旨在填補理論與實踐之間的鴻溝，為渴望深入理解並行計算機製，並希望掌握與之相關編程技巧的工程師、研究人員和學生提供一本全麵而實用的指南。我們避免瞭對枯燥數學證明的過度糾纏，而是側重於揭示並行計算的本質原理，並通過豐富的實例和代碼演示，讓抽象的概念變得具體可感。 第一部分：並行計算的理論基石 在深入編程實踐之前，理解並行計算的核心概念至關重要。本部分將帶領讀者從最基礎的層麵開始，逐步構建起對並行性的認知。 並行性的起源與發展： 我們將迴顧並行計算的演進曆程，從早期的嚮量機、多處理機，到如今廣泛普及的多核處理器和分布式係統。瞭解並行計算的發展脈絡，有助於我們理解當前技術格局的形成原因，以及未來可能的發展方嚮。 衡量並行計算性能的度量： 如何客觀地評估一個並行程序的效率？本書將詳細介紹 Amdahl 定律和 Gustafson 定律，這兩個經典定律分彆闡述瞭並行化對程序加速的理論極限，以及在不同問題規模下並行化的潛力。此外，我們還將探討吞吐量、響應時間、利用率等關鍵性能指標，以及如何使用這些指標來分析和優化並行程序的性能。 並行體係結構概覽： 不同的硬件架構提供瞭不同的並行計算能力。本書將簡要介紹 Flynn 分類法，區分單指令流多數據流（SIMD）、多指令流單數據流（MISD）、單指令流單數據流（SISD）和多指令流多數據流（MIMD）四種計算模型，並重點講解在現代計算機中占據主導地位的 SIMD 和 MIMD 架構。我們將探討共享內存模型和分布式內存模型的工作原理，以及它們對並行編程帶來的影響。 並行計算的挑戰與機遇： 並行編程並非易事，其中存在諸多挑戰，例如數據競爭、死鎖、負載均衡、通信開銷等。本書將提前對這些挑戰進行梳理，讓讀者有充分的心理準備。同時，我們也強調並行計算帶來的巨大機遇，它能夠解決傳統串行計算無法企及的問題，推動科學研究和技術創新。 第二部分：共享內存並行編程 共享內存模型是當前最普遍的並行計算模型之一，它允許多個處理器訪問同一塊內存空間。本部分將聚焦於共享內存並行編程的實現。 綫程模型與進程模型： 我們將清晰區分綫程和進程的概念，理解它們在創建、銷毀、資源共享和通信方式上的差異。重點講解綫程作為輕量級進程，如何在同一個地址空間內並發執行。 POSIX Threads (Pthreads) 詳解： Pthreads 是POSIX標準提供的綫程接口，是許多操作係統和編程語言實現綫程的基礎。本書將深入剖析 Pthreads 的核心API，包括綫程的創建與銷毀、綫程同步原語（互斥鎖、條件變量、讀寫鎖）、綫程屬性的設置與獲取等。通過大量實際代碼示例，讀者將學會如何使用 Pthreads 來構建並發應用程序。 OpenMP：一種更高級的並行編程模型： OpenMP 提供瞭一種基於編譯指令（pragmas）的並行編程方式，無需顯式地管理綫程，大大簡化瞭並行程序的開發。本書將係統介紹 OpenMP 的各個方麵，包括並行區域的劃分、循環的並行化、任務並行、數據共享與私有化、同步機製、工作共享等。我們將通過對比 Pthreads，展示 OpenMP 在易用性和開發效率上的優勢。 內存模型與數據競爭： 在共享內存係統中，對共享數據的並發訪問可能導緻數據不一緻。本書將詳細講解內存一緻性模型，並重點闡述數據競爭的産生原因和檢測方法。我們將深入探討如何利用鎖、原子操作等同步機製來避免數據競爭，確保程序的正確性。 死鎖與活鎖： 並行程序中的同步問題常常會引入死鎖和活鎖等棘手難題。本書將清晰定義死鎖和活鎖，分析其發生的條件和場景，並提供一套係統性的策略來預防和診斷這些問題，例如資源排序、超時機製、避免嵌套鎖等。 第三部分：分布式內存並行編程 當計算規模超齣單颱機器的內存容量，或者需要利用多颱機器的計算資源時，分布式內存模型便應運而生。本部分將深入探討分布式內存並行編程。 消息傳遞接口 (MPI)： MPI 是分布式內存並行計算事實上的標準。本書將從 MPI 的基本概念入手，逐步講解其核心通信操作，包括點對點通信（send/recv）、集體通信（broadcast, scatter, gather, allreduce等）。我們將深入分析不同通信模式的性能特點，並指導讀者如何根據具體問題選擇閤適的通信方式。 MPI 中的拓撲與通信模式： 為瞭更有效地組織通信，MPI 提供瞭豐富的拓撲結構（如笛卡爾拓撲）和多種通信模式（如同步、非同步、緩衝通信）。本書將詳細講解這些高級特性，並結閤實際案例，展示如何利用它們來優化分布式程序的通信效率。 分布式內存並行程序的設計原則： 在分布式內存環境中，數據的分布和任務的劃分是至關重要的。本書將介紹域分解、模型並行等常用的並行化策略，並討論如何進行負載均衡，以確保所有節點都能高效地利用計算資源。 性能分析與優化： 分布式內存程序的性能瓶頸往往齣現在通信和同步環節。本書將提供一係列的分析工具和技巧，幫助讀者識彆性能瓶頸，並指導如何通過優化通信模式、減少通信次數、調整數據分布等手段來提升程序的整體性能。 第四部分：並行算法與高級主題 在掌握瞭基本的並行編程技術後，本書將進一步探討一些重要的並行算法和高級主題，以幫助讀者解決更復雜的問題。 常見的並行算法： 我們將介紹幾種在科學計算和數據處理中廣泛應用的並行算法，例如並行排序（如並行歸並排序、並行快速排序）、並行搜索、圖算法（如並行廣度優先搜索）、矩陣乘法等。通過對這些算法的並行實現分析，讀者將能夠更好地理解並行化的設計思路。 並行 I/O： 在處理大規模數據集時，並行 I/O 的效率對整體性能至關重要。本書將介紹如何利用 MPI-IO 等技術實現高效的並行文件讀寫，並討論文件格式的選擇與優化。 GPU 計算簡介（可選）： 隨著 GPU 計算能力的飛速發展，它已成為並行計算的重要組成部分。本書將對 GPU 計算進行初步介紹，包括 CUDA 和 OpenCL 的基本概念，以及如何將並行計算任務移植到 GPU 上執行。 並行程序調試與性能分析工具： 掌握有效的調試和性能分析工具是並行程序開發的關鍵。本書將介紹 GDB、Valgrind、TAU、Scalasca 等常用的調試和性能分析工具，並指導讀者如何使用它們來發現和解決並行程序中的錯誤和性能瓶頸。 本書的特色與目標讀者： 本書的編寫風格力求清晰易懂，理論講解與實踐操作相結閤。每個概念都配有詳細的代碼示例，方便讀者理解和實踐。我們特彆注重培養讀者獨立分析和解決並行計算問題的能力。 本書適閤以下讀者群體： 計算機科學與工程專業的學生： 為學習操作係統、分布式係統、高性能計算等課程打下堅實的基礎。 軟件工程師與係統工程師： 希望提升應用程序的性能，掌握並行編程技能，應對日益增長的數據處理和計算需求。 科學研究人員： 需要利用並行計算來解決復雜的建模、仿真和數據分析問題，加速科研進程。 對並行計算感興趣的初學者： 希望係統地瞭解並行計算的基本原理和編程方法。 通過閱讀本書，您將能夠： 深刻理解並行計算的本質與優勢。 熟練掌握共享內存和分布式內存並行編程技術。 學會設計、開發和優化高效的並行應用程序。 有效診斷和解決並行程序中的常見問題。 為進一步深入研究並行計算的各個領域打下堅實的基礎。 我們相信，《高效能計算：並行編程的基石》將成為您在並行計算學習和實踐道路上的得力助手。

評分☆☆☆☆☆

這本《並行程序設計導論》的獨特之處在於其對並行計算的“全局觀”的構建。在閱讀過程中，我感覺到作者並非隻關注某個特定技術的細節，而是更著重於讓讀者建立起對整個並行計算生態係統的宏觀理解。從底層硬件的並行特性，到上層軟件的並行模型和編程範式，書中都給予瞭恰當的篇幅和深度。我尤其欣賞其中關於並行編程中的“性能調優”這一章節，作者沒有僅僅羅列各種優化技巧，而是深入剖析瞭影響並行程序性能的根本原因，比如緩存一緻性、內存帶寬和通信開銷。這種深入的分析讓我能夠從更本質的層麵去理解性能瓶頸，並思考如何針對性地解決問題。書中關於不同並行編程模型（如共享內存模型和消息傳遞模型）的比較，也讓我對如何根據具體應用場景選擇閤適的模型有瞭更清晰的判斷。雖然某些概念的理解需要反復咀嚼，但作者始終保持著一種“由淺入深”的教學節奏，讓我能夠循序漸進地掌握知識。這本書不僅僅是一本技術書籍，更像是一本指導思想的書，它幫助我從一個全新的角度審視計算問題。

評分☆☆☆☆☆

《並行程序設計導論》這本書，我斷斷續續地讀瞭幾個月，期間穿插著一些項目開發和實際操作，總算對書中描繪的並行世界有瞭初步的認識。這本書給我最深刻的印象是它的“導論”二字，它並沒有試圖將所有復雜的並行技術一股腦地灌輸給你，而是像一位循循善誘的老師，一步一步地引導你進入這個領域。開篇對並行計算概念的闡釋，雖然看似基礎，卻為後續內容的展開打下瞭堅實的地基。作者非常注重理論與實踐的結閤，在講解抽象概念的同時，總會輔以清晰易懂的例子，這對於我這樣初次接觸並行編程的讀者來說，無疑是極大的幫助。我尤其喜歡其中關於綫程模型和進程模型對比的部分，通過生動的比喻，我很快就理解瞭它們之間的差異和各自的適用場景。書中對並行算法設計的基本原則的介紹，也讓我開始思考如何將串行思維轉化為並行思維，這是一種思維模式的轉變，非常有挑戰性，但也極具吸引力。雖然有些章節的篇幅相對較短，但它們所涵蓋的核心思想卻十分精煉，留下瞭很多讓我深入思考的空間。總而言之，這本書為我打開瞭一扇瞭解並行計算的大門，讓我看到瞭這個領域廣闊的可能性。

評分☆☆☆☆☆

這本書的語言風格非常直接和實用，沒有太多花哨的修辭，但每一句話都切中要害。對於我這種時間寶貴，希望快速掌握核心技能的讀者來說，這簡直是福音。書中對並行任務分解和通信機製的講解，我覺得非常到位。作者通過一係列生動形象的比喻，將抽象的同步和互斥概念變得異常容易理解，讓我不再對“競態條件”感到恐懼。我喜歡書中對於並行計算過程中“隱藏的開銷”的強調，比如綫程創建和銷毀的成本，以及通信的延遲，這些細節往往是導緻並行程序性能不達預期的關鍵。作者在這方麵的提醒，讓我意識到在設計並行程序時，需要考慮的因素遠比想象中要多。我對書中關於並行調試的介紹也印象深刻，作者分享瞭一些實用的調試技巧和工具，這對於解決復雜的並行問題非常有幫助。總的來說，這本書非常適閤那些想要快速入門並行程序設計，並且希望掌握實操性技能的讀者。它提供瞭一個堅實的基礎，讓你能夠自信地開始編寫你的第一個並行程序。

評分☆☆☆☆☆

《並行程序設計導論》給我的感覺是一本“有溫度”的技術書籍。作者在講解枯燥的技術概念時，並沒有讓它們顯得生硬冰冷，而是用一種引人入勝的方式呈現齣來。我尤其喜歡書中對於“並行思維”的培養的重視。作者反復強調，並行編程不僅僅是掌握一套語法或API，更是一種全新的思考方式。書中對數據並行和任務並行的區分，以及它們在不同場景下的應用，讓我對如何將問題映射到並行計算模型有瞭更深的理解。我特彆欣賞書中對並行程序性能評估和度量的講解，它讓我明白，在追求並行化的過程中，量化性能提升是至關重要的。作者提供的各種性能指標和分析方法，幫助我學會瞭如何客觀地評估一個並行程序的優劣。雖然書中涉及的一些數學公式對於我來說需要一些時間去消化，但作者總是能夠通過圖示和文字描述，讓這些公式背後的意義變得清晰可見。這本書就像是一位經驗豐富的嚮導，帶領我穿越並行計算的迷宮，讓我看到瞭清晰的路徑和遠方的風景，極大地激發瞭我對這個領域的興趣。

評分☆☆☆☆☆

這本書簡直就像是一次令人興奮的思維探險！我原本對並行程序設計抱有一種既好奇又畏懼的態度，覺得它離我遙不可及，充滿瞭各種復雜的數學公式和晦澀的理論。然而，當我翻開《並行程序設計導論》時，我發現我的顧慮完全是多餘的。作者以一種極其友好的方式，將原本看似高深的概念拆解得清晰明瞭。我特彆欣賞書中對不同並行架構的介紹，從多核處理器到分布式係統，每一部分都讓我驚嘆於計算機硬件的強大和設計的巧妙。書中對於並行化挑戰的討論，例如數據依賴、同步問題和負載均衡，也非常寫實，讓我看到瞭實際開發中可能遇到的坑，也讓我對如何避免這些問題有瞭初步的認識。最讓我印象深刻的是，作者並沒有止步於理論的講解，而是提供瞭大量的代碼示例，並且這些示例都經過精心設計，能夠有效地展示書中講解的技術。我嘗試著將其中一些代碼在自己的環境中運行，並對其進行微調，這個過程讓我對並行編程的理解更加深刻，也增強瞭我的信心。這本書讓我覺得，並行程序設計並非高不可攀，隻要掌握瞭正確的方法和思路，任何人都可以成為一名齣色的並行程序員。

評分☆☆☆☆☆

好東西好東西好東西好東西好東西

評分☆☆☆☆☆

不錯。。。。。。。。。。。。。

評分☆☆☆☆☆

挺好的，物流很快，東西也很好

評分☆☆☆☆☆

書看完瞭再來評價的，內容不錯，例子很多，還有課後題答案，邊看邊實踐，加深理解。

評分☆☆☆☆☆

對我的幫助不太大，偶爾看看

評分☆☆☆☆☆

老夫暫時沒看。。。？。。

評分☆☆☆☆☆

並行程序入門的好書，非常不錯的佳作。

評分☆☆☆☆☆

書不錯，京東垃圾.

評分☆☆☆☆☆

挺好……………