并行程序设计导论 [An Introduction to Parallel Programming] pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

[美] 帕切克 著，邓倩妮 等 译

图书标签:

• 并行程序设计
• 并行计算
• 多核处理器
• 并发编程
• OpenMP
• MPI
• CUDA
• GPU编程
• 高性能计算
• 计算机科学

出版社： 机械工业出版社

ISBN：9787111392842

版次：1

商品编码：11129425

品牌：机工出版

包装：平装

丛书名： 计算机科学丛书

外文名称：An Introduction to Parallel Programming

开本：16开

出版时间：2012-11-01

用纸：胶版纸

页数：264

正文语种

内容简介

　　《并行程序设计导论》全面涵盖了并行软件和硬件的方方面面，深入浅出地介绍如何使用MPI（分布式内存编程）、Pthreads和OpenMP（共享内存编程）编写高效的并行程序。各章节包含了难易程度不同的编程习题。《并行程序设计导论》可以用做计算机科学专业低年级本科生的专业课程的教材，也可以作为软件开发人员学习并行程序设计的专业参考书。

目录

出版者的话

译者序

本书赞誉

前言

致谢

第1章 为什么要并行计算

1.1 为什么需要不断提升的性能

1.2 为什么需要构建并行系统

1.3 为什么需要编写并行程序

1.4 怎样编写并行程序

1.5 我们将做什么

1.6 并发、并行、分布式

1.7 本书的其余部分

1.8 警告

1.9 字体约定

1.10 小结

1.11 习题

第2章 并行硬件和并行软件

2.1 背景知识

2.1.1 冯·诺依曼结构

2.1.2 进程、多任务及线程

2.2 对冯·诺依曼模型的改进

2.2.1 Cache基础知识

2.2.2 Cache映射

2.2.3 Cache和程序：一个实例

2.2.4 虚拟存储器

2.2.5 指令级并行

2.2.6 硬件多线程

2.3 并行硬件

2.3.1 SIMD系统

2.3.2 MIMD系统

2.3.3 互连网络

2.3.4 Cache一致性

2.3.5 共享内存与分布式内存

2.4 并行软件

2.4.1 注意事项

2.4.2 进程或线程的协调

2.4.3 共享内存

2.4.4 分布式内存

2.4.5 混合系统编程

2.5 输入和输出

2.6 性能

2.6.1 加速比和效率

2.6.2 阿姆达尔定律

2.6.3 可扩展性

2.6.4 计时

2.7 并行程序设计

2.8 编写和运行并行程序

2.9 假设

2.10 小结

2.10.1 串行系统

2.10.2 并行硬件

2.10.3 并行软件

2.10.4 输入和输出

2.10.5 性能

2.10.6 并行程序设计

2.10.7 假设

2.11 习题

第3章 用MPI进行分布式内存编程

3.1 预备知识

3.1.1 编译与执行

3.1.2 MPI程序

3.1.3 MPI_Init和MPI_Finalize

3.1.4 通信子、MPI_Comm_size和MPI_Comm_rank

3.1.5 SPMD程序

3.1.6 通信

3.1.7 MPI_Send

3.1.8 MPI_Recv

3.1.9 消息匹配

3.1.10 status_p参数

3.1.11 MPI_Send和MPI_Recv的语义

3.1.12 潜在的陷阱

3.2 用MPI来实现梯形积分法

3.2.1 梯形积分法

3.2.2 并行化梯形积分法

3.3 I/O处理

3.3.1 输出

3.3.2 输入

3.4 集合通信

3.4.1 树形结构通信

3.4.2 MPI_Reduce

3.4.3 集合通信与点对点通信

3.4.4 MPI_Allreduce

3.4.5 广播

3.4.6 数据分发

3.4.7 散射

3.4.8 聚集

3.4.9 全局聚集

3.5 MPI的派生数据类型

3.6 MPI程序的性能评估

3.6.1 计时

3.6.2 结果

3.6.3 加速比和效率

3.6.4 可扩展性

3.7 并行排序算法

3.7.1 简单的串行排序算法

3.7.2 并行奇偶交换排序

3.7.3 MPI程序的安全性

3.7.4 并行奇偶交换排序算法的重要内容

3.8 小结

3.9 习题

3.10 编程作业

第4章 用Pthreads进行共享内存编程

4.1 进程、线程和Pthreads

4.2 “Hello，World”程序

4.2.1 执行

4.2.2 准备工作

4.2.3 启动线程

4.2.4 运行线程

4.2.5 停止线程

4.2.6 错误检查

4.2.7 启动线程的其他方法

4.3 矩阵-向量乘法

4.4 临界区

4.5 忙等待

4.6 互斥量

4.7 生产者-消费者同步和信号量

4.8 路障和条件变量

4.8.1 忙等待和互斥量

4.8.2 信号量

4.8.3 条件变量

4.8.4 Pthreads路障

4.9 读写锁

4.9.1 链表函数

4.9.2 多线程链表

4.9.3 Pthreads读写锁

4.9.4 不同实现方案的性能

4.9.5 实现读写锁

4.10 缓存、缓存一致性和伪共享

4.11 线程安全性

4.12 小结

4.13 习题

4.14 编程作业

第5章 用OpenMP进行共享内存编程

5.1 预备知识

5.1.1 编译和运行OpenMP程序

5.1.2 程序

5.1.3 错误检查

5.2 梯形积分法

5.3 变量的作用域

5.4 归约子句

5.5 parallelfor指令

5.5.1 警告

5.5.2 数据依赖性

5.5.3 寻找循环依赖

5.5.4 π值估计

5.5.5 关于作用域的更多问题

5.6 更多关于OpenMP的循环：排序

5.6.1 冒泡排序

5.6.2 奇偶变换排序

5.7 循环调度

5.7.1 schedule子句

5.7.2 static调度类型

5.7.3 dynamic和guided调度类型

5.7.4 runtime调度类型

5.7.5 调度选择

5.8 生产者和消费者问题

5.8.1 队列

5.8.2 消息传递

5.8.3 发送消息

5.8.4 接收消息

5.8.5 终止检测

5.8.6 启动

5.8.7 atomic指令

5.8.8 临界区和锁

5.8.9 在消息传递程序中使用锁

5.8.10 critical指令、atomic指令、锁的比较

5.8.11 经验

5.9 缓存、缓存一致性、伪共享

5.10 线程安全性

5.11 小结

5.12 习题

5.13 编程作业

第6章 并行程序开发

6.1 n体问题的两种解决方法

6.1.1 问题

6.1.2 两个串行程序

6.1.3 并行化n体算法

6.1.4 关于I/O

6.1.5 用OpenMP并行化基本算法

6.1.6 用OpenMP并行化简化算法

6.1.7 评估OpenMP程序

6.1.8 用Pthreads并行化算法

6.1.9 用MPI并行化基本算法

6.1.10 用MPI并行化简化算法

6.1.11 MPI程序的性能

6.2 树形搜索

6.2.1 递归的深度优先搜索

6.2.2 非递归的深度优先搜索

6.2.3 串行实现所用的数据结构

6.2.4 串行实现的性能

6.2.5 树形搜索的并行化

6.2.6 采用Pthreads实现的静态并行化树搜索

6.2.7 采用Pthreads实现的动态并行化树搜索

6.2.8 Pthreads树搜索程序的评估

6.2.9 采用OpenMp实现的并行化树搜索程序

6.2.10 OpenMp实现的性能

6.2.11采用MPI和静态划分来实现树搜索

6.2.12 采用MPI和动态划分来实现树搜索

6.3 忠告

6.4 选择哪个API

6.5 小结

6.5.1 Pthreads和OpenMP

6.5.2 MPI

6.6 习题

6.7 编程作业

第7章 接下来的学习方向

参考文献

索引

前言/序言

《高效能计算：并行编程的基石》 在当今计算领域，处理器性能的提升已进入多核时代，单核时钟频率的增长趋于平缓，而并行计算则成为了突破性能瓶颈、解决复杂科学计算和大规模数据处理问题的关键。从高性能计算（HPC）集群到我们日常使用的多核笔记本电脑，并行性的概念已经渗透到现代计算的方方面面。本书《高效能计算：并行编程的基石》旨在为读者构建坚实的并行计算理论基础，并深入探讨实际的并行编程技术，使读者能够充分理解并驾驭并行计算的力量，从而开发出高效、可扩展的应用程序。 本书的编写旨在填补理论与实践之间的鸿沟，为渴望深入理解并行计算机制，并希望掌握与之相关编程技巧的工程师、研究人员和学生提供一本全面而实用的指南。我们避免了对枯燥数学证明的过度纠缠，而是侧重于揭示并行计算的本质原理，并通过丰富的实例和代码演示，让抽象的概念变得具体可感。 第一部分：并行计算的理论基石 在深入编程实践之前，理解并行计算的核心概念至关重要。本部分将带领读者从最基础的层面开始，逐步构建起对并行性的认知。 并行性的起源与发展： 我们将回顾并行计算的演进历程，从早期的向量机、多处理机，到如今广泛普及的多核处理器和分布式系统。了解并行计算的发展脉络，有助于我们理解当前技术格局的形成原因，以及未来可能的发展方向。 衡量并行计算性能的度量： 如何客观地评估一个并行程序的效率？本书将详细介绍 Amdahl 定律和 Gustafson 定律，这两个经典定律分别阐述了并行化对程序加速的理论极限，以及在不同问题规模下并行化的潜力。此外，我们还将探讨吞吐量、响应时间、利用率等关键性能指标，以及如何使用这些指标来分析和优化并行程序的性能。 并行体系结构概览： 不同的硬件架构提供了不同的并行计算能力。本书将简要介绍 Flynn 分类法，区分单指令流多数据流（SIMD）、多指令流单数据流（MISD）、单指令流单数据流（SISD）和多指令流多数据流（MIMD）四种计算模型，并重点讲解在现代计算机中占据主导地位的 SIMD 和 MIMD 架构。我们将探讨共享内存模型和分布式内存模型的工作原理，以及它们对并行编程带来的影响。 并行计算的挑战与机遇： 并行编程并非易事，其中存在诸多挑战，例如数据竞争、死锁、负载均衡、通信开销等。本书将提前对这些挑战进行梳理，让读者有充分的心理准备。同时，我们也强调并行计算带来的巨大机遇，它能够解决传统串行计算无法企及的问题，推动科学研究和技术创新。 第二部分：共享内存并行编程 共享内存模型是当前最普遍的并行计算模型之一，它允许多个处理器访问同一块内存空间。本部分将聚焦于共享内存并行编程的实现。 线程模型与进程模型： 我们将清晰区分线程和进程的概念，理解它们在创建、销毁、资源共享和通信方式上的差异。重点讲解线程作为轻量级进程，如何在同一个地址空间内并发执行。 POSIX Threads (Pthreads) 详解： Pthreads 是POSIX标准提供的线程接口，是许多操作系统和编程语言实现线程的基础。本书将深入剖析 Pthreads 的核心API，包括线程的创建与销毁、线程同步原语（互斥锁、条件变量、读写锁）、线程属性的设置与获取等。通过大量实际代码示例，读者将学会如何使用 Pthreads 来构建并发应用程序。 OpenMP：一种更高级的并行编程模型： OpenMP 提供了一种基于编译指令（pragmas）的并行编程方式，无需显式地管理线程，大大简化了并行程序的开发。本书将系统介绍 OpenMP 的各个方面，包括并行区域的划分、循环的并行化、任务并行、数据共享与私有化、同步机制、工作共享等。我们将通过对比 Pthreads，展示 OpenMP 在易用性和开发效率上的优势。 内存模型与数据竞争： 在共享内存系统中，对共享数据的并发访问可能导致数据不一致。本书将详细讲解内存一致性模型，并重点阐述数据竞争的产生原因和检测方法。我们将深入探讨如何利用锁、原子操作等同步机制来避免数据竞争，确保程序的正确性。 死锁与活锁： 并行程序中的同步问题常常会引入死锁和活锁等棘手难题。本书将清晰定义死锁和活锁，分析其发生的条件和场景，并提供一套系统性的策略来预防和诊断这些问题，例如资源排序、超时机制、避免嵌套锁等。 第三部分：分布式内存并行编程 当计算规模超出单台机器的内存容量，或者需要利用多台机器的计算资源时，分布式内存模型便应运而生。本部分将深入探讨分布式内存并行编程。 消息传递接口 (MPI)： MPI 是分布式内存并行计算事实上的标准。本书将从 MPI 的基本概念入手，逐步讲解其核心通信操作，包括点对点通信（send/recv）、集体通信（broadcast, scatter, gather, allreduce等）。我们将深入分析不同通信模式的性能特点，并指导读者如何根据具体问题选择合适的通信方式。 MPI 中的拓扑与通信模式： 为了更有效地组织通信，MPI 提供了丰富的拓扑结构（如笛卡尔拓扑）和多种通信模式（如同步、非同步、缓冲通信）。本书将详细讲解这些高级特性，并结合实际案例，展示如何利用它们来优化分布式程序的通信效率。 分布式内存并行程序的设计原则： 在分布式内存环境中，数据的分布和任务的划分是至关重要的。本书将介绍域分解、模型并行等常用的并行化策略，并讨论如何进行负载均衡，以确保所有节点都能高效地利用计算资源。 性能分析与优化： 分布式内存程序的性能瓶颈往往出现在通信和同步环节。本书将提供一系列的分析工具和技巧，帮助读者识别性能瓶颈，并指导如何通过优化通信模式、减少通信次数、调整数据分布等手段来提升程序的整体性能。 第四部分：并行算法与高级主题 在掌握了基本的并行编程技术后，本书将进一步探讨一些重要的并行算法和高级主题，以帮助读者解决更复杂的问题。 常见的并行算法： 我们将介绍几种在科学计算和数据处理中广泛应用的并行算法，例如并行排序（如并行归并排序、并行快速排序）、并行搜索、图算法（如并行广度优先搜索）、矩阵乘法等。通过对这些算法的并行实现分析，读者将能够更好地理解并行化的设计思路。 并行 I/O： 在处理大规模数据集时，并行 I/O 的效率对整体性能至关重要。本书将介绍如何利用 MPI-IO 等技术实现高效的并行文件读写，并讨论文件格式的选择与优化。 GPU 计算简介（可选）： 随着 GPU 计算能力的飞速发展，它已成为并行计算的重要组成部分。本书将对 GPU 计算进行初步介绍，包括 CUDA 和 OpenCL 的基本概念，以及如何将并行计算任务移植到 GPU 上执行。 并行程序调试与性能分析工具： 掌握有效的调试和性能分析工具是并行程序开发的关键。本书将介绍 GDB、Valgrind、TAU、Scalasca 等常用的调试和性能分析工具，并指导读者如何使用它们来发现和解决并行程序中的错误和性能瓶颈。 本书的特色与目标读者： 本书的编写风格力求清晰易懂，理论讲解与实践操作相结合。每个概念都配有详细的代码示例，方便读者理解和实践。我们特别注重培养读者独立分析和解决并行计算问题的能力。 本书适合以下读者群体： 计算机科学与工程专业的学生： 为学习操作系统、分布式系统、高性能计算等课程打下坚实的基础。 软件工程师与系统工程师： 希望提升应用程序的性能，掌握并行编程技能，应对日益增长的数据处理和计算需求。 科学研究人员： 需要利用并行计算来解决复杂的建模、仿真和数据分析问题，加速科研进程。 对并行计算感兴趣的初学者： 希望系统地了解并行计算的基本原理和编程方法。 通过阅读本书，您将能够： 深刻理解并行计算的本质与优势。 熟练掌握共享内存和分布式内存并行编程技术。 学会设计、开发和优化高效的并行应用程序。 有效诊断和解决并行程序中的常见问题。 为进一步深入研究并行计算的各个领域打下坚实的基础。 我们相信，《高效能计算：并行编程的基石》将成为您在并行计算学习和实践道路上的得力助手。

评分☆☆☆☆☆

《并行程序设计导论》给我的感觉是一本“有温度”的技术书籍。作者在讲解枯燥的技术概念时，并没有让它们显得生硬冰冷，而是用一种引人入胜的方式呈现出来。我尤其喜欢书中对于“并行思维”的培养的重视。作者反复强调，并行编程不仅仅是掌握一套语法或API，更是一种全新的思考方式。书中对数据并行和任务并行的区分，以及它们在不同场景下的应用，让我对如何将问题映射到并行计算模型有了更深的理解。我特别欣赏书中对并行程序性能评估和度量的讲解，它让我明白，在追求并行化的过程中，量化性能提升是至关重要的。作者提供的各种性能指标和分析方法，帮助我学会了如何客观地评估一个并行程序的优劣。虽然书中涉及的一些数学公式对于我来说需要一些时间去消化，但作者总是能够通过图示和文字描述，让这些公式背后的意义变得清晰可见。这本书就像是一位经验丰富的向导，带领我穿越并行计算的迷宫，让我看到了清晰的路径和远方的风景，极大地激发了我对这个领域的兴趣。

评分☆☆☆☆☆

这本书的语言风格非常直接和实用，没有太多花哨的修辞，但每一句话都切中要害。对于我这种时间宝贵，希望快速掌握核心技能的读者来说，这简直是福音。书中对并行任务分解和通信机制的讲解，我觉得非常到位。作者通过一系列生动形象的比喻，将抽象的同步和互斥概念变得异常容易理解，让我不再对“竞态条件”感到恐惧。我喜欢书中对于并行计算过程中“隐藏的开销”的强调，比如线程创建和销毁的成本，以及通信的延迟，这些细节往往是导致并行程序性能不达预期的关键。作者在这方面的提醒，让我意识到在设计并行程序时，需要考虑的因素远比想象中要多。我对书中关于并行调试的介绍也印象深刻，作者分享了一些实用的调试技巧和工具，这对于解决复杂的并行问题非常有帮助。总的来说，这本书非常适合那些想要快速入门并行程序设计，并且希望掌握实操性技能的读者。它提供了一个坚实的基础，让你能够自信地开始编写你的第一个并行程序。

评分☆☆☆☆☆

《并行程序设计导论》这本书，我断断续续地读了几个月，期间穿插着一些项目开发和实际操作，总算对书中描绘的并行世界有了初步的认识。这本书给我最深刻的印象是它的“导论”二字，它并没有试图将所有复杂的并行技术一股脑地灌输给你，而是像一位循循善诱的老师，一步一步地引导你进入这个领域。开篇对并行计算概念的阐释，虽然看似基础，却为后续内容的展开打下了坚实的地基。作者非常注重理论与实践的结合，在讲解抽象概念的同时，总会辅以清晰易懂的例子，这对于我这样初次接触并行编程的读者来说，无疑是极大的帮助。我尤其喜欢其中关于线程模型和进程模型对比的部分，通过生动的比喻，我很快就理解了它们之间的差异和各自的适用场景。书中对并行算法设计的基本原则的介绍，也让我开始思考如何将串行思维转化为并行思维，这是一种思维模式的转变，非常有挑战性，但也极具吸引力。虽然有些章节的篇幅相对较短，但它们所涵盖的核心思想却十分精炼，留下了很多让我深入思考的空间。总而言之，这本书为我打开了一扇了解并行计算的大门，让我看到了这个领域广阔的可能性。

评分☆☆☆☆☆

这本《并行程序设计导论》的独特之处在于其对并行计算的“全局观”的构建。在阅读过程中，我感觉到作者并非只关注某个特定技术的细节，而是更着重于让读者建立起对整个并行计算生态系统的宏观理解。从底层硬件的并行特性，到上层软件的并行模型和编程范式，书中都给予了恰当的篇幅和深度。我尤其欣赏其中关于并行编程中的“性能调优”这一章节，作者没有仅仅罗列各种优化技巧，而是深入剖析了影响并行程序性能的根本原因，比如缓存一致性、内存带宽和通信开销。这种深入的分析让我能够从更本质的层面去理解性能瓶颈，并思考如何针对性地解决问题。书中关于不同并行编程模型（如共享内存模型和消息传递模型）的比较，也让我对如何根据具体应用场景选择合适的模型有了更清晰的判断。虽然某些概念的理解需要反复咀嚼，但作者始终保持着一种“由浅入深”的教学节奏，让我能够循序渐进地掌握知识。这本书不仅仅是一本技术书籍，更像是一本指导思想的书，它帮助我从一个全新的角度审视计算问题。

评分☆☆☆☆☆

这本书简直就像是一次令人兴奋的思维探险！我原本对并行程序设计抱有一种既好奇又畏惧的态度，觉得它离我遥不可及，充满了各种复杂的数学公式和晦涩的理论。然而，当我翻开《并行程序设计导论》时，我发现我的顾虑完全是多余的。作者以一种极其友好的方式，将原本看似高深的概念拆解得清晰明了。我特别欣赏书中对不同并行架构的介绍，从多核处理器到分布式系统，每一部分都让我惊叹于计算机硬件的强大和设计的巧妙。书中对于并行化挑战的讨论，例如数据依赖、同步问题和负载均衡，也非常写实，让我看到了实际开发中可能遇到的坑，也让我对如何避免这些问题有了初步的认识。最让我印象深刻的是，作者并没有止步于理论的讲解，而是提供了大量的代码示例，并且这些示例都经过精心设计，能够有效地展示书中讲解的技术。我尝试着将其中一些代码在自己的环境中运行，并对其进行微调，这个过程让我对并行编程的理解更加深刻，也增强了我的信心。这本书让我觉得，并行程序设计并非高不可攀，只要掌握了正确的方法和思路，任何人都可以成为一名出色的并行程序员。

评分☆☆☆☆☆

考研复试拿来用的 很好

评分☆☆☆☆☆

书是好书，二星扣给翻译，翻译非常不负责任非常垃圾，得对照英文版才不会被带沟里。

评分☆☆☆☆☆

很快

评分☆☆☆☆☆

挺好的挺好的挺好的挺好的挺好的

评分☆☆☆☆☆

很用用，对工作帮助很大

评分☆☆☆☆☆

不错的书，讲得很基础，推荐

评分☆☆☆☆☆

课本。

评分☆☆☆☆☆

不错的图书，发货速度快，学习中。挺喜欢的。?

评分☆☆☆☆☆

不错非常好，物流很快