高性能计算的问题解决之道：Linux态势感知方法、实用工具及实践技巧 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

[美] 伊戈尔·卢布希斯（Igor Ljubuncic） 著，张文力译 译

图书标签:

• 高性能计算
• Linux
• 态势感知
• 系统监控
• 性能分析
• 故障排除
• 实用工具
• 运维技巧
• 服务器管理
• 集群计算

出版社： 机械工业出版社

ISBN：9787111589785

版次：1

商品编码：12319524

品牌：机工出版

包装：平装

丛书名： 高性能计算技术丛书

开本：16开

出版时间：2018-02-01

用纸：胶版纸

页数：253

内容简介

本书由Intel架构师撰写，创造性地采用Linux态势感知方法来解决高性能计算的问题，涵盖技术、监控和配置管理等多个方面。书中针对大规模数据中心、云平台架构和高性能计算环境，建立了一套基于统计工程和实验设计的方法论，从识别问题和理解问题，到再现问题和解决问题，一步一步地排除故障，形成了一套高效的工作流程。书中包含大量实战案例和代码，并介绍了不同工具的使用技巧，适合从事高性能计算相关工作的技术人员和管理人员参考。

目录

Contents 目　　录
译者序
前　言
致　谢
引言　数据中心与高端计算 1
数据中心一览 1
现代数据中心布局 1
欢迎来到BORG，抵抗是徒劳的 2
那就是力量 2
企业与Linux 2
经典的办公室 2
Linux计算环境 3
Linux云 3
10000个1不等于10000 3
问题的非线性扩展 3
大数定律 4
同质化 4
企业的当务之急 4
7天24小时全天候开放 5
任务危急 5
停机时间等于金钱 5
千里之堤溃于蚁穴 5
参考文献 5
第1章　你有问题吗 6
问题的识别 6
如果森林里有一棵树倒下，没人能听到 6
一步一步地识别 7
总是优先使用简单工具 7
过多的知识导致误区 9
问题的定义 9
当前发生或可能的问题 10
停机规模和严重性与业务需求 11
已知与未知 13
问题的再现 13
你能隔离问题吗 13
偶发性问题需要特殊处理 14
计划如何控制混乱 14
放手是最难的事 15
因与果 16
不要流连于症状 16
先有鸡还是先有蛋 16
严格控制环境改变，直到你理解了问题的本质 18
如果改变，确保你知道预期结果是什么 18
结论 19
参考文献 19
第2章　开始研究 20
隔离问题 20
推动从生产到测试 20
重新运行获得结果所需的最小集 21
忽略偏见信息，避免假设 21
与健康系统和已知参考的比较 22
那不是程序错误，而是一个特性 22
将预期结果与正常系统作比较 23
性能和行为的参考是必需的 24
对变化的线性与非线性响应 24
一次一个变量 25
线性复杂度的问题 25
非线性问题 25
响应可能会延迟或掩盖 25
Y到X而不是X到Y 26
组件搜索 26
结论 26
第3章　基础研究 27
刻画系统状态 27
环境监控 27
机器可访问性、响应性和正常
运行时间 27
本地和远程登录以及管理控制台 29
喊狼来了的监控 29
读取系统信息和日志 30
使用ps和top 30
系统日志 36
进程记账 39
检查命令执行的模式 40
与问题表现相关 41
避免快速的结论 41
统计作为辅助 41
vmstat 41
iostat 43
系统活动报告（SAR） 47
结论 49
参考文献 50
第4章　深入探讨系统 51
使用/proc 51
层次 52
每个进程的变量 52
内核数据 56
进程空间 60
检查内核可调参数 63
sys子系统 63
内存管理 64
文件系统管理 65
网络管理 65
SunRPC 66
内核 67
sysctl 69
结论 70
参考文献 70
第5章　变身极客——跟踪和调试应用 72
使用strace和ltrace 72
strace 72
ltrace 86
结合两种工具获得最佳结果 87
其他工具 90
使用perf 93
介绍 93
为什么不用OProfile 94
前提 94
基本使用 94
基础实例 99
高级实例 103
小结 107
使用gdb 107
介绍 107
前提 108
简单实例 108
不那么简单的实例 113
其他有用的命令 122
结论 124
参考文献 124
第6章　极客进级——应用和内核核心、内核调试器 126
收集应用核心 126
如何转储应用核心 127
收集内核核心（Kdump） 132
Kdump服务概览 133
Kdump配置 137
测试配置 143
Kdump网络转储功能 145
Kdump使用 146
小结 147
崩溃分析（crash） 147
前提 147
运行crash 148
内核崩溃核心分析 156
超级极客技能：C代码分析 167
小例子 168
中级例子 172
困难的例子 176
内核崩溃的bug报告 182
崩溃分析结果 184
内核bug与硬件错误 185
小结 186
内核调试器 186
内核编译 186
进入调试器 187
基本命令 187
小结 189
结论 189
参考文献 189
第7章　问题的解决方案 191
如何处理收集到的数据 191
文档 191
数据的杂乱 193
最佳实践 195
搜索引擎、邮件列表以及供应商支持 202
找到根本原因 203
消除问题 204
实现和跟踪 206
结论 207
参考文献 208
第8章　监控和预防 209
监控什么数据 209
过多的数据比没有数据更糟 209
Y到X将定义你所需要的监控 210
不要害怕改变 210
如何监控和分析趋势 211
设置你关心的监控 211
监控不等于报告 212
不监控随机指标 212
定义数学趋势 213
如何应对趋势 215
当它来得太晚 216
内务管理 217
预防是解决问题的关键 217
配置审核 218
为什么审核有用 218
控制环境的变化 219
安全方面 219
系统数据收集工具 219
定制工具 220
商业支持 220
结论 221
参考文献 221
第9章　让你的环境更安全、更健壮 222
版本控制 222
为什么需要版本控制 222
Subversion、Git及相关软件 223
简单回滚 223
配置管理 223
变懒：自动化 224
大环境下的熵 225
掌控混乱 225
配置管理软件 225
环境中引入变化的正确方法 226
一次一个变化 226
不要急着冲到截止时间 227
理解影响 228
没报告问题意味着什么都没有 228
连锁反应 228
结论 229
参考文献 229
第10章　微调系统性能 230
日志大小与日志轮转 230
系统日志会一直增长 230
慢点，倒带 232
确定消息的内容 232
文件系统调优 234
Ext3/4文件系统 234
XFS文件系统 235
sysfs文件系统 236
层次 236
blo

前言/序言

前　　言?Preface我花了大部分的Linux职业生涯在数着成千上万的服务器，就像一个音乐家盯着乐谱能看到在和声中隐藏的波形。过了一段时间，我开始了解数据中心的工作模式和行为。它们就像活着、会呼吸一般，有自己的跌宕起伏、周期和不同寻常。它们远不止是简单的叠加，当你把人作为元素添加到方程中，更是变得不可预知。
在诸如大型数据中心、云平台架构和高性能的环境中，大型部署管理是一项非常微妙的任务。它需要大量的经验、努力和对技术的理解来创造一个成功而高效的工作流程。未来的愿景和经营战略也是需要的。但在相当多的时候，其中某一个重要部分是缺失的。
在解决问题时，没有通盘战略。
本书是我的一个创造性尝试。那些年，在我设计解决方案和产品致力于使我掌控的数据中心变得更好、更强大且更高效的时候，也暴露了我在解决问题上的根本差距。人们很难完全理解这意味着什么。是的，它涉及工具和非法侵入系统。你可能会编写一些脚本，或者花很长时间盯着日志在屏幕上滚动。你可能会绘制图表来显示数据趋势。你可能会向同事请教他们领域的问题。你可能会参与或领导特别工作组试图解决危急问题和恢复供电。但在最后，就像拼图一样，没有一个统一的方法能解决所有的问题。
态势感知的问题解决方法借鉴自科学领域，它试图用数学来代替人的直觉。我们将使用统计工程和实验设计以对抗混乱。我们会慢慢地、系统地、一步一步地工作，努力找到一种统一的方法用于解决同类问题。我们关注打破数据神话，摆脱一些波及数据中心的偏见和传统。然后，我们将把系统故障排除的艺术转化为产品。这可能听起来很残酷，艺术将按重量出售，但当你深入阅读本书的时候，其中的必要性就变得显而易见。你的那些不自在，在原本无论接触监控、变化控制和管理、自动化以及其他哪怕是最好的实践都会有的不自在，统统将会慢慢融入现代数据中心。
最后同样重要的是，请不要忘记我们尽一切努力去研究和解决问题的初衷——乐趣和好奇心，这正是让我们成为工程师和科学家的真正原因，正是让我们热爱数据中心技术编织的混乱、忙碌而又疯狂的世界的原因。
快来和我们一路同行吧。
Igor Ljubuncic致　　谢?Acknowledgements写这本书的时候，我会偶尔离开办公桌，四处与人交谈。他们的意见和建议帮助塑造了这本书，使它拥有更漂亮的形式。因此，我要感谢Patrick Hauke确保这个项目最终完成，感谢David Clark编辑书稿并调整句子段落，感谢Avikam Rozenfeld提供有用的技术反馈和理念，感谢Tom Litterer在正确的方向上做正确的引导，最后同样重要的是，感谢其他那些在英特尔的聪明而又努力工作的人。
女士们，先生们，请允许我脱帽致敬。
Igor Ljubuncic

驰骋数字疆域：从底层视角洞悉系统脉络与效率精进 在这个由海量数据和复杂计算驱动的时代，如何驾驭庞杂的系统，确保其稳定、高效地运行，已成为一项至关重要的挑战。本书并非旨在提供一套固定不变的“标准答案”，也非罗列繁琐的指令集。它致力于构建一种底层思维模式，一种深刻理解系统运作机制的视角，并在此基础上，训练您敏锐地察觉系统“异样”的能力，掌握应对潜在问题的“工具箱”，并积累久经考验的“实践智慧”。 我们并非教授您如何“解决”一个已经发生的“问题”，而是引导您如何“预见”问题的萌芽，如何“诊断”问题的根源，并最终如何“优化”系统的整体表现。这更像是一场在数字世界中的“侦探”之旅，您将学会如何观察蛛丝马迹，如何解读系统发出的“信号”，如何剥离表象，直击核心。 本书的核心在于建立一套系统性的分析框架。我们从计算机系统最基本的组成单元——硬件资源——出发，探究CPU、内存、磁盘I/O、网络等各个环节是如何协同工作的。您将深入了解，当某个资源出现瓶颈时，它会对整个系统的性能产生何种连锁反应。我们将打破“黑箱”思维，让您看到指令在CPU中如何被执行，数据如何在内存中流转，I/O请求如何穿越存储控制器，以及网络数据包如何在驱动和协议栈中被处理。这种对硬件层面的细致理解，是后续一切分析的基础。 接下来，我们将目光投向操作系统内核。这是连接硬件与应用程序的桥梁，也是性能的“心脏”。您将学习如何理解操作系统的调度策略，是如何分配CPU时间的；内存管理机制，是如何高效利用物理内存并处理虚拟内存的；进程与线程模型，是如何实现并发与并行；以及文件系统如何组织和访问数据。我们不会止步于理论概念，而是深入挖掘这些机制在实际运行中是如何体现的，例如，为什么会有上下文切换的开销，为什么内存碎片化会影响性能，为什么锁竞争会导致死锁。 在此基础上，本书将重点关注如何“感知”系统的“态势”。这里的“态势感知”并非简单的监控指标收集，而是一种主动的、动态的、多维度的洞察力。您将学会如何从多个角度审视系统的健康状况，包括： 资源利用率的深层解读：不仅仅是“CPU使用率多少”，而是要理解 CPU 利用率高是源于单核瓶颈还是多核负载不均，是CPU密集型任务还是I/O等待。内存使用率高是由于内存泄漏，还是应用程序本身需要大量内存。磁盘I/O等待时间长，是由于机械硬盘的限制，还是由于文件系统的锁争用，亦或是网络存储的延迟。 进程行为的细致分析：了解进程的生命周期，如何监控异常进程的出现，如何分析进程的CPU、内存、I/O、网络等资源的消耗模式。识别出哪些进程在“默默地”消耗资源，哪些进程的行为异常，可能预示着潜在的问题。 系统调用的意义：每一条系统调用都是应用程序与内核交互的窗口。您将学习如何追踪系统调用，理解它们的功能，以及异常或频繁的系统调用可能暗示着什么。例如，过多的read/write调用可能意味着文件I/O的瓶颈，过多的mmap调用可能影响内存管理。 网络通信的剖析：理解网络协议栈的工作原理，如何监控网络流量，识别网络延迟、丢包、连接数过多等问题。深入分析TCP/IP握手过程、拥塞控制机制，以及应用程序层面的网络交互。 事件与日志的智慧：系统会产生大量的日志信息，而这些信息往往是解决问题的关键。您将学会如何高效地过滤、分析和关联日志，从中提取有用的信息，追踪问题的发生轨迹。 为了实现这种深度的态势感知，本书将为您装备一系列强大的“实用工具”。这些工具并非新近开发的“炫酷”软件，而是经过实践检验、久经考验的“利器”。您将深入了解： 性能分析的基础工具：如 `top`、`htop`、`vmstat`、`iostat`、`sar` 等，但我们将重点讲解它们的进阶用法，如何解读它们的输出，如何通过参数调整获取更精细的信息。 进程与线程的深入洞察工具：如 `ps`、`pstree`、`strace`、`ltrace`、`gdb` 等，如何利用它们追踪进程的调用链，观察程序的执行流程，甚至在运行时进行调试。 文件系统与磁盘I/O的剖析工具：如 `df`、`du`、`lsof`、`iotop`、`blktrace` 等，如何了解磁盘的空间使用情况，查找大文件，识别哪些进程正在访问哪些文件，以及底层磁盘I/O的详细活动。 网络通信的监控与分析工具：如 `netstat`、`ss`、`tcpdump`、`wireshark`、`ping`、`traceroute` 等，如何查看网络连接状态，抓包分析网络通信细节，诊断网络故障。 系统调用的追踪工具：如 `strace`、`ltrace`，理解应用程序与内核之间的交互，发现潜在的系统调用瓶颈。 内存分析的利器：如 `valgrind`，如何检测内存泄漏、内存越界等常见的内存错误。 容器化环境下的工具运用：在容器化部署日益普及的今天，您还将学习如何在 Docker、Kubernetes 等环境中，运用类似的工具进行性能分析和问题诊断。 然而，仅仅掌握工具是远远不够的。真正的精通在于“实践技巧”和“思维模式”的沉淀。本书将通过大量精心设计的场景和案例，引导您将理论知识和工具运用相结合。您将学习： 如何建立性能基线：了解正常系统运行时的表现，以便快速识别异常。 如何运用“二分法”定位问题：通过逐步缩小排查范围，高效地找到问题的症结。 如何解读“异常”数据：理解哪些指标的异常是“正常”的，哪些是需要警惕的。 如何从“现象”推断“本质”：例如，看到高 CPU 使用率，您需要分析是程序计算量大，还是因为频繁的锁竞争导致的忙等待。 如何针对不同的应用场景进行优化：Web服务器、数据库、大数据处理平台、科学计算任务等，它们对系统资源的需求和性能瓶颈是不同的。 如何进行预防性维护：通过持续的监控和分析，在问题发生之前将其扼杀在摇篮里。 如何与其他团队协同解决问题：理解不同角色的责任，以及如何清晰有效地沟通技术问题。 本书将引导您摆脱“头痛医头，脚痛医脚”的被动局面，培养一种主动、系统、深入的解决问题的能力。您将不再仅仅是执行指令的“操作员”，而是能够洞悉系统本质、掌控系统命运的“架构师”和“诊断师”。无论您是系统管理员、开发工程师、运维工程师，还是对底层系统运作充满好奇的技术爱好者，本书都将成为您在这片数字疆域中，提升效率、保障稳定、实现性能突破的得力助手。我们相信，通过本书的学习，您将能够以更加从容、自信的姿态，面对日益复杂和严峻的技术挑战。

评分☆☆☆☆☆

这本书的封面设计就透露着一种专业和实用的气息，深邃的蓝色调配合着简洁有力的书名，瞬间就吸引了我这个长期在高性能计算领域摸爬滚打的读者。我一直苦恼于如何在复杂的 HPC 环境中快速定位和解决问题，尤其是在大规模集群出现性能瓶颈时，那种束手无策的感觉真是令人沮丧。这本书的标题“问题解决之道”以及“Linux态势感知”的关键词，立刻点燃了我探索的希望。我特别期待书中能够深入讲解如何利用 Linux 内核提供的各种监控工具，例如 `perf`、`strace`、`bpftrace` 等，去深入剖析 CPU、内存、I/O、网络等各个层面的性能指标。我希望作者能够提供一套系统性的方法论，指导我们如何从宏观到微观，层层递进地分析问题，而不是仅仅列举一些零散的命令和技巧。书中的“实用工具”和“实践技巧”也让我看到了希望，如果能有实际案例分析，展示作者是如何一步步诊断并解决某个棘手的 HPC 性能难题，那将是无价的学习资源。毕竟，理论再好，不如实战经验来得真切。我希望这本书能够成为我工作中的得力助手，让我在面对 HPC 挑战时，能够更加自信和从容。

评分☆☆☆☆☆

我一直认为，在高性能计算领域，解决问题的能力是衡量一个工程师水平的重要标准，而这种能力往往建立在对系统底层运行机制的深刻理解之上。这本书的题目“高性能计算的问题解决之道”和副标题“Linux态势感知方法、实用工具及实践技巧”完美地契合了我长久以来的学习目标。我希望书中能够深入探讨 Linux 内核在调度、内存管理、文件系统、网络栈等方面的精妙设计，以及这些设计如何影响 HPC 应用的性能。尤其期待书中能够详细介绍如何利用 eBPF 等现代化的工具进行细粒度的性能剖析，不仅仅是简单的性能指标监控，而是能够深入到内核函数的调用、系统调用的延迟、锁的竞争等微观层面。我希望作者能够分享一些独到的“态势感知”理念，帮助读者建立一种“预见性”思维，在问题发生之前就能够识别出潜在的风险点。这本书如果能够提供丰富的案例，展示如何从模糊的现象出发，通过层层深入的分析，最终定位并解决隐藏在庞大 HPC 系统中的疑难杂症，那将是对我最大的帮助。

评分☆☆☆☆☆

这本书的标题本身就非常有吸引力，对于我这种长期在高性能计算领域摸索的工程师来说，“问题解决之道”这几个字直接戳中了痛点。“Linux态势感知”更是让我眼前一亮，我一直觉得，对底层系统的深入理解是解决高性能计算问题的关键，而态势感知恰恰是实现这一目标的重要手段。我希望这本书不仅仅是罗列一些命令和工具，更重要的是能够提供一套系统的思维框架和方法论。我希望作者能够详细阐述如何在 HPC 环境下，通过观察和分析 Linux 系统的各种运行指标，来建立对整个集群状态的“感知能力”。这可能包括对 CPU 调度、内存分配、I/O 访问、网络通信等方面的深入剖析，以及如何利用 `perf`、`strace`、`bpftrace` 等工具进行精细化的性能诊断。如果书中还能分享一些作者在实际 HPC 项目中，如何一步步定位并解决复杂性能问题的经典案例，那将是无比宝贵的学习经验，能够极大地提升我解决实际问题的能力。我期待这本书能帮助我从“知道问题”升级到“理解问题”并最终“解决问题”。

评分☆☆☆☆☆

我在大型科学计算项目中扮演着技术支持的角色，经常需要面对来自不同团队用户提交的性能报告和问题反馈。这些问题千奇百怪，从单节点 CPU 占用过高，到跨节点通信延迟剧增，再到存储 I/O 成为瓶颈，可谓是应有尽有。过去，我更多的是依赖经验和直觉，尝试一些常规的排查手段，但效果往往不尽如人意，甚至有时会误诊。这本书的出现，就像一盏指路明灯，给了我系统学习 HPC 问题解决方法的希望。“Linux态势感知”这个概念尤其吸引我，我渴望能够掌握一套科学的方法论，来理解 HPC 集群在各种负载下的运行状态，从而能够更准确、更高效地进行故障诊断。我希望书中能够详细介绍各种 Linux 系统性能监控工具的原理、用法和优缺点，并提供清晰的使用指南。更重要的是，我希望能够从中学习到如何将这些工具有机地结合起来，形成一套完整的分析流程，能够应对不同类型的性能问题。如果书中还能包含一些作者在实际 HPC 环境中遇到的典型案例，并展示其解决过程，那对我来说将是无价的财富。

评分☆☆☆☆☆

作为一名刚接触高性能计算不久的初学者，我常常被各种各样的术语和复杂的概念弄得晕头转向。尤其是在遇到性能问题时，我感觉自己就像一个无头苍蝇，不知道从何处下手。偶然间看到了这本书的介绍，它的书名“高性能计算的问题解决之道”立刻吸引了我，让我看到了学习的希望。“Linux态势感知”这个概念更是让我眼前一亮，我一直觉得理解操作系统层面的运行状况对于解决问题至关重要，但苦于没有系统性的学习途径。我希望这本书能够用通俗易懂的语言，为我打开 Linux 态势感知的大门，让我理解 CPU 的调度机制、内存的管理策略、进程间的通信方式等等。同时，我非常期待书中能够介绍一些简单易学的实用工具，例如 `top`、`htop`、`vmstat` 这些基础命令的进阶用法，以及一些更专业的工具，例如 `sar`、`iostat` 等，并且能够指导我如何解读这些工具输出的数据。我希望这本书能够帮助我建立起一套解决 HPC 性能问题的基本框架，让我能够逐步掌握分析和定位问题的能力，为我未来的学习和工作打下坚实的基础。