具体描述
编辑推荐
百度资深Hadoop技术专家和高级算法工程师撰写，结合百度大数据实践，直击企业痛点，多位大数据技术专家联袂推荐！从使用、原理、运维和开发4个方面深度讲解Hadoop核心的技术
内容简介
《Hadoop核心技术》是一本技术深度与企业实践并重的著作，由百度的Hadoop技术工程师撰写，是百度Hadoop技术实践经验的总结。本书从使用、实现原理、运维和开发4个方面对Hadoop的核心技术进行了深入的讲解。使用：详细讲解了HDFS存储系统、MapReduce计算框架，以及HDFS的命令系统；
原理：结合源代码，深度分析了MapReduce、HDFS、Streaming、Pipes、Hadoop作业调度系统等重要技术和组件的架构设计、工作机制和实现原理；
运维：结合百度的实际生产环境，详细讲解了Hadoop集群的安装、配置、测试以及管理和运维；
开发：详细讲解了HadoopStreaming、Pipes的使用和开发实践，以及MapReduce的编程实践和常见问题。
作者简介
翟周伟，就职于百度，资深Hadoop技术专家，专注于Hadoop&大数据、数据挖掘、自然语言处理等领域。2009年便开始利用Hadoop构建商业级大数据系统，是国内该领域最早的一批人之一，负责设计过多个基于Hadoop的大数据平台和分析系统。2011年合著出版《Hadoop开源云计算平台》。在自然语言处理领域申请过一项发明专利。精彩书评
★互联网与传统行业结合， 加速了大规模数据的生成和积累。这些数据蕴含了大量有价值的信息，及时有效地挖掘这些信息可以进一步促进行业健康、快速发展。Hadoop是处理大规模数据的有力工具， 在多个行业中被广泛使用，显示出巨大的威力。本书作者在百度长期使用Hadoop处理超大规模的数据， 有着丰富的理论基础和实战经验。 本书是作者经验的结晶， 从基础、高级，实战三个角度，逐步深入地讲解了Hadoop核心技术原理和应用，对于hadoop技术使用者和开发者而言是一本不可多得的学习参考书。—— 百度网页搜索部技术总监 沈抖
★本书主要对Hadoop的基本原理和优化配置由浅入深进行了详细分析，最后通过实战案例进一步讲解分析。本书对HDFS、MapReduce以及Hadoop Streaming 和 Pipes的实现机制进行了深度分析；对Hadoop调度作了详细说明，特别是对公平调度器（FairScheduler）的设计理念和配置优化做了详细剖析，无论是对于初学者还是熟悉Hadoop的同学本书都非常适合，特别适合MapReduce的开发人员、Hadoop集群运维人员、分布式计算工程师以及做数据挖掘的工程师和架构师。
—— 大数据资深专家和AdMaster技术副总裁 卢亿雷
★作为目前使用广泛的大数据处理平台，把Hadoop用起来很容易，但是要“用好”很难。“用好”要充分发挥平台的能力，解决各种复杂的业务需求，高效稳定地将Hadoop应用于生产系统。本书从Hadoop的基本使用开始讲解，逐步深入到实现机制分析，最后回归到实战级的应用开发，对Hadoop的开发、运维人员来说，是“用好”Hadoop的一本不可多得的参考书。
—— 腾讯高级工程师 蔡斌
★Hadoop很好地解决了大规模数据的存储和计算问题，在百度广泛使用，是核心基础平台之一。本书深入浅出，循序渐进地介绍Hadoop的核心技术，非常适合大家学习参考。
—— 百度网页搜索部Rank主任架构师 朱文佳
目录
前 言基 础 篇
第1章 认识Hadoop
1.1 缘于搜索的小象
1.1.1 Hadoop的身世
1.1.2 Hadoop简介
1.1.3 Hadoop发展简史
1.2 大数据、Hadoop和云计算
1.2.1 大数据
1.2.2 大数据、Hadoop和云计算的关系
1.3 设计思想与架构
1.3.1 数据存储与切分
1.3.2 MapReduce模型
1.3.3 MPI和MapReduce
1.4 国外Hadoop的应用现状
1.5 国内Hadoop的应用现状
1.6 Hadoop发行版
1.6.1 Apache Hadoop
1.6.2 Cloudera Hadoop
1.6.3 Hortonworks Hadoop发行版
1.6.4 MapR Hadoop发行版
1.6.5 IBM Hadoop发行版
1.6.6 Intel Hadoop发行版
1.6.7 华为Hadoop发行版
1.7 小结
第2章 Hadoop使用之初体验
2.1 搭建测试环境
2.1.1 软件与准备
2.1.2 安装与配置
2.1.3 启动与停止
2.2 算法分析与设计
2.2.1 Map设计
2.2.2 Reduce设计
2.3 实现接口
2.3.1 Java API实现
2.3.2 Streaming接口实现
2.3.3 Pipes接口实现
2.4 编译
2.4.1 基于Java API实现的编译
2.4.2 基于Streaming实现的编译
2.4.3 基于Pipes实现的编译
2.5 提交作业
2.5.1 基于Java API实现作业提交
2.5.2 基于Streaming实现作业提交
2.5.3 基于Pipes实现作业提交
2.6 小结
第3章 Hadoop存储系统
3.1 基本概念
3.1.1 NameNode
3.1.2 DateNode
3.1.3 客户端
3.1.4 块
3.2 HDFS的特性和目标
3.2.1 HDFS的特性
3.2.2 HDFS的目标
3.3 HDFS架构
3.3.1 Master/Slave架构
3.3.2 NameNode和Secondary NameNode通信模型
3.3.3 文件存取机制
3.4 HDFS核心设计
3.4.1 Block大小
3.4.2 数据复制
3.4.3 数据副本存放策略
3.4.4 数据组织
3.4.5 空间回收
3.4.6 通信协议
3.4.7 安全模式
3.4.8 机架感知
3.4.9 健壮性
3.4.10 负载均衡
3.4.11 升级和回滚机制
3.5 HDFS权限管理
3.5.1 用户身份
3.5.2 系统实现
3.5.3 超级用户
3.5.4 配置参数
3.6 HDFS配额管理
3.7 HDFS的缺点
3.8 小结
第4章 HDFS的使用
4.1 HDFS环境准备
4.1.1 HDFS安装配置
4.1.2 HDFS格式化与启动
4.1.3 HDFS运行检查
4.2 HDFS命令的使用
4.2.1 fs shell
4.2.2 archive
4.2.3 distcp
4.2.4 fsck
4.3 HDFS Java API的使用方法
4.3.1 Java API简介
4.3.2 读文件
4.3.3 写文件
4.3.4 删除文件或目录
4.4 C接口libhdfs
4.4.1 libhdfs介绍
4.4.2 编译与部署
4.4.3 libhdfs接口介绍
4.4.4 libhdfs使用举例
4.5 WebHDFS接口
4.5.1 WebHDFS REST API简介
4.5.2 WebHDFS配置
4.5.3 WebHDFS使用
4.5.4 WebHDFS错误响应和查询参数
4.6 小结
第5章 MapReduce计算框架
5.1 Hadoop MapReduce简介
5.2 MapReduce模型
5.2.1 MapReduce编程模型
5.2.2 MapReduce实现原理
5.3 计算流程与机制
5.3.1 作业提交和初始化
5.3.2 Mapper
5.3.3 Reducer
5.3.4 Reporter和OutputCollector
5.4 MapReduce的输入/输出格式
5.4.1 输入格式
5.4.2 输出格式
5.5 核心问题
5.5.1 Map和Reduce数量
5.5.2 作业配置
5.5.3 作业执行和环境
5.5.4 作业容错机制
5.5.5 作业调度
5.6 有用的MapReduce特性
5.6.1 计数器
5.6.2 DistributedCache
5.6.3 Tool
5.6.4 IsolationRunner
5.6.5 Prof?iling
5.6.6 MapReduce调试
5.6.7 数据压缩
5.6.8 优化
5.7 小结
第6章 Hadoop命令系统
6.1 Hadoop命令系统的组成
6.2 用户命令
6.3 管理员命令
6.4 测试命令
6.5 应用命令
6.6 Hadoop的streaming命令
6.6.1 streaming命令
6.6.2 参数使用分析
6.7 Hadoop的pipes命令
6.7.1 pipes命令
6.7.2 参数使用分析
6.8 小结
高 级 篇
第7章 MapReduce深度分析
7.1 MapReduce总结构分析
7.1.1 数据流向分析
7.1.2 处理流程分析
7.2 MapTask实现分析
7.2.1 总逻辑分析
7.2.2 Read阶段
7.2.3 Map阶段
7.2.4 Collector和Partitioner阶段
7.2.5 Spill阶段
7.2.6 Merge阶段
7.3 ReduceTask实现分析
7.3.1 总逻辑分析
7.3.2 Shuffle阶段
7.3.3 Merge阶段
7.3.4 Sort阶段
7.3.5 Reduce阶段
7.4 JobTracker分析
7.4.1 JobTracker服务分析
7.4.2 JobTracker启动分析
7.4.3 JobTracker核心子线程分析
7.5 TaskTracker分析
7.5.1 TaskTracker启动分析
7.5.2 TaskTracker核心子线程分析
7.6 心跳机制实现分析
7.6.1 心跳检测分析
7.6.2 TaskTracker.transmitHeart-Beat()
7.6.3 JobTracker.heartbeat()
7.6.4 JobTracker.processHeartbeat()
7.7 作业创建分析
7.7.1 初始化分析
7.7.2 作业提交分析
7.8 作业执行分析
7.8.1 JobTracker初始化
7.8.2 TaskTracker.startNewTask()
7.8.3 TaskTracker.localizeJob()
7.8.4 TaskRunner.run()
7.8.5 MapTask.run()
7.9 小结
第8章 Hadoop Streaming和Pipes原理与实现
8.1 Streaming原理浅析
8.2 Streaming实现架构
8.3 Streaming核心实现机制
8.3.1 主控框架实现
8.3.2 用户进程管理
8.3.3 框架和用户程序的交互
8.3.4 PipeMapper和PiperReducer
8.4 Pipes原理浅析
8.5 Pipes实现架构
8.6 Pipes核心实现机制
8.6.1 主控类实现
8.6.2 用户进程管理
8.6.3 PipesMapRunner
8.6.4 PipesReducer
8.6.5 C++端HadoopPipes
8.7 小结
第9章 Hadoop作业调度系统
9.1 作业调度概述
9.1.1 相关概念
9.1.2 作业调度流程
9.1.3 集群资源组织与管理
9.1.4 队列控制和权限管理
9.1.5 插件式调度框架
9.2 FIFO调度器
9.2.1 基本调度策略
9.2.2 FIFO实现分析
9.2.3 FIFO初始化与停止
9.2.4 作业监听控制
9.2.5 任务分配算法
9.2.6 配置与使用
9.3 公平调度器
9.3.1 产生背景
9.3.2 主要功能
9.3.3 基本调度策略
9.3.4 FairScheduler实现分析
9.3.5 FairScheduler启停分析
9.3.6 作业监听控制
9.3.7 资源池管理
9.3.8 作业更新策略
9.3.9 作业权重和资源量的计算
9.3.10 任务分配算法
9.3.11 FairScheduler配置参数
9.3.12 使用与管理
9.4 容量调度器
9.4.1 产生背景
9.4.2 主要功能
9.4.3 基本调度策略
9.4.4 CapacityScheduler实现分析
9.4.5 CapacityScheduler启停分析
9.4.6 作业监听控制
9.4.7 作业初始化分析
9.4.8 任务分配算法
9.4.9 内存匹配机制
9.4.10 配置与使用
9.5 调度器对比分析
9.5.1 调度策略对比
9.5.2 队列和优先级
9.5.3 资源分配保证
9.5.4 作业限制
9.5.5 配置管理
9.5.6 扩展性支持
9.5.7 资源抢占和延迟调度
9.5.8 优缺点分析
9.6 其他调度器
9.6.1 HOD调度器
9.6.2 LATE调度器
9.7 小结
实 战 篇
第10章 Hadoop集群搭建
10.1 Hadoop版本的选择
10.2 集群基础硬件需求
10.2.1 内存
10.2.2 CPU
10.2.3 磁盘
10.2.4 网卡
10.2.5 网络拓扑
10.3 集群基础软件需求
10.3.1 操作系统
10.3.2 JVM和SSH
10.4 虚拟化需求
10.5 事前准备
10.5.1 创建安装用户
10.5.2 安装Java
10.5.3 安装SSH并设置
10.5.4 防火墙端口设置
10.6 安装Hadoop
10.6.1 安装HDFS
10.6.2 安装MapReduce
10.7 集群配置
10.7.1 配置管理
10.7.2 环境变量配置
10.7.3 核心参数配置
10.7.4 HDFS参数配置
10.7.5 MapReduce参数配置
10.7.6 masters和slaves配置
10.7.7 客户端配置
10.8 启动和停止
10.8.1 启动/停止HDFS
10.8.2 启动/停止MapReduce
10.8.3 启动验证
10.9 集群基准测试
10.9.1 HDFS基准测试
10.9.2 MapReduce基准测试
10.9.3 综合性能测试
10.10 集群搭建实例
10.10.1 部署策略
10.10.2 软件和硬件环境
10.10.3 Hadoop安装
10.10.4 配置core-site.xml
10.10.5 配置hdfs-site.xml
10.10.6 配置mapred-site.xml
10.10.7 SecondaryNameNode和Slave
10.10.8 配置作业队列
10.10.9 配置第三方调度器
10.10.10 启动与验证
......
精彩书摘
认识Hadoop认识并掌握一项技术往往需要采用先从整体学习了解再到局部深入的基本方法，在学习Hadoop之前至少需要从宏观上搞清楚两个基本问题：第一，Hadoop是什么；第二，Hadoop可以用来做什么。首先，Hadoop是一个分布式基础架构系统，是Google的云计算基础架构系统的开源实现，Google底层基础设施最核心的组件包括Google FileSystem和MapReduce计算框架，相应的Hadoop最核心的设计就是HDFS和MapReduce，这个系统就像一个集群操作系统一样，可以使廉价的通用硬件形成资源池从而组成威力强大的分布式集群系统，用户可以在不了解分布式底层细节的情况下开发分布式程序。那么Hadoop可以用来做什么呢，Hadoop既然是Google基础设施的开源实现，自然可以做支撑搜索引擎的基础架构，由于又是一个通用的分布式框架，因此可以处理很多和大数据相关的分布式应用。
本章将从整体上介绍Hadoop，包括Hadoop的发展渊源、基本思想架构，以及Hadoop的发展应用现状，从而使读者对Hadoop有一个基本的认识，为进一步深入学习夯实基础。
1.1 缘于搜索的小象
追本溯源，Hadoop起源于Nutch，因此学习Hadoop就有必要了解一下这种渊源及Hadoop的发展简史。
1.1.1 Hadoop的身世
首先我们介绍一下Nutch的发展情况，Nutch是一个以Lucene为基础实现的搜索引擎系统，Lucene为Nutch提供了文本检索和索引的API，Nutch不仅仅有检索的功能，还有网页数据采集的功能。Mike Cafarella和Doug Cutting在2002年开始研发Nutch系统，然而他们很快发现他们的架构很难扩展到数十亿级别的网页规模，因为这样规模的搜索引擎系统要涉及网页的分布式存储问题及分布式建立索引的问题。恰在此时，Google公布了支撑其搜索引擎服务的文件系统架构设计——Google's Distributed Filesystem，这种被称为GFS的基础架构很快引起了他们的注意，并被成功引入Nutch系统中，在Nutch中被命名为Nutch分布式文件系统——NDFS，正是NDFS解决了Nutch搜索引擎系统中网页等海量数据的存储问题。2004年，Google又公布了一种并行计算模型MapReduce的设计论文，紧接着在2005年Nutch就已经实现了这种高效的并行计算模型来解决数十亿级别以上网页的分布式采集及索引构建。很快他们就发现这种NDFS和MapReduce模型不仅可以用来解决搜索引擎中的海量网页问题，同时还具有通用性，可以用来构建一种分布式的集群系统，然后在2006年这两个模块就从Nutch中独立出来，并被命名为Hadoop，因此在Nutch-0.8.0版本之前，Hadoop其实还属于Nutch的一部分，而从Nutch-0.8.0开始，将其实现的NDFS和MapReduce剥离出来成立一个新的开源项目，这就是我们目前所熟知的Hadoop平台。
1.1.2 Hadoop简介
上一节讲述了Hadoop和Nutch的关系，从这种渊源上来讲，Hadoop本质上起源于Google的集群系统，Google的数据中心使用廉价的Linux PC机组成集群，用其运行各种应用。即使是分布式开发的新手也可以迅速使用Google的基础设施。Google采集系统的核心的组件有两个：第一个就是GFS（Google FileSystem），一个分布式文件系统，隐藏下层负载均衡，冗余复制等细节，对上层程序提供一个统一的文件系统API接口；第二个是MapReduce计算模型，Google发现大多数分布式运算可以抽象为MapReduce操作。Map是把输入Input分解成中间的Key/Value对，Reduce把Key/Value合成最终输出Output。这两个函数由程序员提供给系统，下层设施把Map和Reduce操作分布在集群上运行，并把结果存储在GFS上。
而Hadoop就是Google集群系统的一个Java开源实现，是一个项目的总称，主要是由HDFS、MapReduce组成。其中HDFS是Google File System（GFS）的开源实现；MapReduce是Google MapReduce的开源实现。这个分布式框架很有创造性，而且有极大的扩展性，使Google在系统吞吐量上有很大的竞争力。在2006年时Hadoop就受到了Yahoo的支持，目前Yahoo内部已经使用Hadoop代替了原来的分布式系统并拥有了世界上最大的Hadoop集群。
Hadoop实现了HDFS文件系统和MapReduce，使Hadoop成为一个分布式的计算平台。用户只要分别实现Map和Reduce，并注册Job即可自动分布式运行。因此，Hadoop并不仅仅是一个用于存储的分布式文件系统，而是用于由通用计算设备组成的大型集群上执行分布式应用的框架。一般来讲，狭义的Hadoop就是指HDFS和MapReduce，是一种典型的Master-Slave架构，如图1-1所示。
……
前言/序言
为什么要写这本书如今是一个数据爆炸的时代，个人的图片、视频、文档等数据很容易就可达到数百GB的规模，而企业的数据规模增长得更快，以互联网搜索引擎公司为例，往往需要存储爬虫获取的所有站点的原始网页数据，同时还需要记录数以亿计网民的搜索点击行为及日志等重要数据，这些数据的规模可以达到PB，甚至是EB级别。为了解决这些数据的存储和相关计算问题就必须构建一个强大且稳定的分布式集群系统来作为搜索引擎的基础架构支撑平台，但是对大多数的互联网公司而言，研发一个这样的高效能系统往往要支付高昂的费用。然而值得庆幸的是Google在2004年公布了关于其基础架构的两篇核心论文GFS（The Google File System）和MapReduce（MapReduce: SimplifiedData Processing on Large Clusters），正是这两篇论文奠定了Hadoop的理论和实践基础，而后顶级工程师Doug Cutting将Google的GFS分布式文件系统和MapReduce并行计算模型实现且命名为Hadoop，并将Hadoop开放源代码贡献给开源世界。经过多年的发展，如今已经形成了以Hadoop为核心的大数据生态系统，开创了通用海量数据处理基础架构平台的先河。
Hadoop是一个非常优秀的分布式计算系统，利用通用的硬件就可以构建一个强大、稳定、简单，并且高效的分布式集群计算系统，完全可以满足互联网公司基础架构平台的需求，付出相对低廉的代价就可以轻松处理超大规模的数据。如今Hadoop已经被国内外各大公司广泛使用，在国内以百度、腾讯、阿里等为代表的著名互联网公司也都利用Hadoop构建底层的大数据基础架构平台，而移动、联通、电信等电信企业，以及电力、银行等国内传统企业也在大规模使用Hadoop。因此学习并掌握Hadoop技术已经是进入这些企业的基本技能之一。相应地，学习和使用Hadoop技术的爱好者和开发者也越来越多。本书正是在这样的背景下创作出来的，希望可以帮助更多的人学习并掌握Hadoop技术，从而推动Hadoop技术在中国的推广，进而推动中国信息产业的发展。
Hadoop如今已经发行了多个版本，并且产生了各种以Hadoop为基础的应用系统，但是就核心技术而言Hadoop主要有两个重要版本：第一个就是以MapReduce模型为核心技术的版本，目前开源稳定版本为Hadoop-1.X（包括Hadoop-0.20.X，Hadoop-0.21.X，Hadoop-0.22.X等）；第二个就是以YARN计算框架为核心技术的新版本，目前最新版本为Hadoop-2.X（包括Hadoop-0.23.X等）。目前以MapReduce模型为核心技术的Hadoop版本已经在工业界的商业系统运行多年，不论是在稳定性还是高效性方面都已经得到了认可，而YARN计算框架虽然有更好的计算模式，但是在稳定性方面还没有真正被大规模的商业系统所证实，更多的是作为实验系统或者新特性被调研使用。因此将本书以MapReduce模型为核心技术的版本Hadoop-1.X作为研究和讲解对象，分为三大部分由浅入深进行讲解，包括基础篇、高级篇和实战篇。为了使读者更好地理解并掌握Hadoop核心技术，本书对核心实现机制都结合了源代码进行深入分析，并在实战篇中结合实际应用讲解了如何使用Hadoop。
读者对象
（1）Hadoop技术学习者和爱好者
Hadoop作为一个分布式计算框架已经成为了互联网公司基础架构系统的标配，也吸引了越来越多的开发者和爱好者的关注。本书在写作上由纲及目、由浅入深，一步一步带领读者从Hadoop技术的入门开始，逐步到核心原理的实现机制以及Hadoop的实战应用，因此本书可以帮助Hadoop技术学习者和爱好者快速入门，对Hadoop的学习起到一个比较全面、深入而又不乏实战性的导向作用。
（2）Hadoop MapReduce并行应用开发者
Hadoop可以说是一个复杂而又简单的系统，说其复杂是因为Hadoop同时实现了分布式文件系统和并行计算框架，在实现机制上考虑了各种容错情况，因此不可谓不复杂；说其简单是因为Hadoop向并行应用开发者提供了非常简单的编程接口——Map和Reduce函数操作，因此，应用开发者只需要会使用这两个编程接口就可以很方便地编写处理大规模数据的并行应用程序。但是如果开发者想要编写高质量的并行程序，而只懂得基本的MapReduce编程方法肯定是不够的，这相当于知其然而不知其所以然，因此开发人员还需要知其所以然——必须理解Hadoop的核心实现机制，需要对Hadoop框架有一个全面而又深入的认识和理解，只有这样Hadoop应用开发者才能编写出高效而又简洁的MapReduce应用程序。
（3）Hadoop集群运维人员
Hadoop运维工程师可以说是复合型人才，因为Hadoop的运维不仅需要熟悉Linux系统的运维方法，还需要非常熟悉Hadoop的各种管理命令，不仅如此，还要了解Hadoop集群搭建、权限管理、作业调度管理与维护等。本书在Hadoop命令系统和集群搭建方面专门编排了章节进行讲解，因此可以作为Hadoop运维工程师的工具书。Hadoop运维工程师的主要职责虽然是通过集群运维保证Hadoop的高可靠性和高可用性，但是仍然需要对Hadoop的核心实现机制，甚至是某些实现细节进行深入理解，只有这样才可以在集群出现异常时快速找出问题，起到锦上添花的作用，因此本书对Hadoop运维工程来说也是一本值得精读的参考书。
（4）分布式系统的相关研发人员
Hadoop可以说是分布式系统领域中的经典之作，分布式文件系统和分布式计算系统中的核心理论方法都在Hadoop中有很好的实现。因此，通过对Hadoop的学习不但可以理解分布式系统中的理论方法，而且还可以深入理解这些理论方法具体的实现机制。
（5）大数据技术学习者和大数据工程师
如果从大数据的角度来讲，Hadoop无疑是目前使用最为广泛的大数据平台。特别是在互联网领域，Hadoop数据平台作为底层基础架构系统支撑着大多数的数据统计分析应用，因此对于大数据技术学习者和大数据工程师而言，学习Hadoop技术是进入大数据领域的一个很好的切入点。
如何阅读本书
本书分为三篇。
第一篇为基础篇（第1～6章），从认识Hadoop开始，讲解Hadoop的前世今生以及使用领域，然后正式介绍Hadoop的基本使用，帮助读者了解Hadoop的背景知识和简单使用方法，接着通过HDFS分布式文件系统和MapReduce并行计算模型从理论和实现机制的角度对Hadoop核心技术进行讲解，最后对Hadoop的命令系统进行了系统的介绍。对于初级和中级读者而言，第一篇的内容需要重点阅读和学习，这篇是Hadoop核心技术的基础，只有基础知识扎实后才能更好地掌握Hadoop的高级功能和精髓。
第二篇为高级篇（第7～9章），从原理与实现的角度对Hadoop的核心功能进行了深入的研究，涵盖MapReduce深度分析、Hadoop Streaming和Pipes原理解析，以及Hadoop作业调度器系统的深入研究和讲解。本篇内容适合在阅读了基础篇的基础上或者已经对Hadoop的核心原理有了一定理解的基础上进行阅读。
第三篇为实战篇（第10～12章），从实战的角度进行讲解，首先讲述Hadoop集群搭建技术，然后对Streaming和Pipes编程进行了实战级的应用讲解，Streaming编程接口是一个非常简单且高效的MapReduce编程方式，由于不限制编程语言，因此Streaming的使用比Java原生接口应用得还要广泛，由此可见，学习并掌握Streaming编程技术非常有助于软件工程师的Hadoop应用技术的提高。第12章讲解了Hadoop MapReduce应用开发实战，从整体的并行应用开发角度进行讲解，对实际开发过程中的常用功能使用和常见问题解决都进行了介绍。这部分内容适合在实际工作中使用Hadoop开发应用的工程师阅读和学习。
勘误和支持
由于作者的水平有限且编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。为此，特意创建一个在线支持与应急方案的二级网站。读者可以将书中的错误发布在Bug勘误表页面中，此外如果你遇到任何问题，也可以访问Q&A;页面，我将尽量在线上为读者提供最满意的解答。如果你有更多的宝贵意见，也欢迎发送邮件至邮箱，期待能够得到你们的真挚反馈。
致谢
感谢北京邮电大学吕玉琴教授、刘刚博士、侯斌博士、李威海博士等老师，是他们在我读研的时候悉心指导我进入大数据以及统计挖掘领域，并使我能在2009年就开始学习并使用Hadoop技术，才使得本书今日的出版成为可能。特别感谢百度网页搜索部技术总监沈抖博士在百忙之中抽出时间对本书进行通读并指正，在多个章节提出了非常专业的指导建议。在此真心的感谢他们。
感谢机械工业出版社华章公司的杨福川老师和姜影老师，从本书的初期策划到最终的出版过程中始终支持我的写作，是他们的鼓励和帮助引导我能顺利完成全部书稿。
最后感谢我的爸爸、妈妈等家人，感谢他们给我的鼓励并时刻给予我信心和力量！感谢我的夫人欧阳茹给我生活上的悉心照顾以及在琐碎事情上的宽容大度。
谨以此书献给我最亲爱的家人、同事，以及众多热爱Hadoop的朋友们！
翟周伟
用户评价
拿到《Hadoop核心技术》这本书，我第一时间翻开的，就是关于HDFS的部分。毕竟，数据存储是整个大数据体系的基石，如果连这个都搞不明白，后面的处理就无从谈起。我比较好奇的是，它怎么解决单点故障的问题？NameNode的冗余备份机制到底是怎么实现的？还有，DataNode之间的数据复制策略，是不是有不同的模式，分别适用于什么场景？我希望书中能有详细的图解和案例，让我能直观地理解这些概念，而不是干巴巴的文字描述。 接着，我迫不及待地想深入了解MapReduce。我一直对它的“分而治之”的思想感到着迷，但总觉得在实际运行过程中，会遇到很多性能瓶颈。比如，Map阶段和Reduce阶段的数据shuffle过程，是怎么进行的？有没有办法去优化这个过程，减少网络IO？还有，Combiner和Partitioner的作用，到底有多大？我希望书中能提供一些实用的代码示例，让我能够亲手实践，感受MapReduce的魅力，并学到一些调优的诀窍，让我的MapReduce程序跑得更快，更高效。 当然，Hadoop的生态系统也是我非常关注的。除了MapReduce，还有Hive，它让SQL查询大数据成为可能，这对我来说非常方便。我希望这本书能详细讲解Hive的架构，以及它和HDFS、MapReduce之间的关系。还有，HBase，作为HBase，它的列式存储方式，和传统的关系型数据库有什么根本区别？什么时候应该选择HBase，什么时候应该选择其他存储方案？这些都是我非常想知道的。 我希望这本书能不仅仅是停留在理论层面，更重要的是，它能为我提供解决实际问题的思路和方法。比如，在处理海量日志数据时，如何利用Hadoop进行高效的ETL？如何构建一个实时数据处理平台？如何监控Hadoop集群的健康状况，并进行故障排除？如果这本书能给出这些问题的答案，那它就不仅仅是一本书，更是一个宝贵的实践指南。 我非常期待这本书能给我带来一些“顿悟”的时刻。我希望它能将那些分散的、零碎的Hadoop知识点串联起来，形成一个完整的知识体系。我渴望在读完这本书后，能够自信地说：“我懂Hadoop了！”，并且能够运用所学的知识，去解决实际工作中遇到的各种大数据挑战。
评分这本书，嗯，拿到手的时候，我心里还是挺期待的。你知道，现在大数据这个词儿都快被说烂了，但真正能深入了解背后技术的，又有多少呢？我之前也看过一些零散的文章和教程，总觉得像是隔靴搔痒，抓不住重点。这本《Hadoop核心技术》，光听名字就很有分量，感觉能把我一直以来对Hadoop的一些模糊概念给理清楚。 我尤其想知道的是，它到底是怎么把那些海量的数据分散到不同的节点上去存储和处理的？MapReduce的那个模型，听起来挺精妙的，但实际操作起来是怎么回事？难道就是简单地分割任务然后合并结果吗？我更关心的是，在实际的集群环境中，怎么去优化这个过程，让它跑得更快，更稳定。还有，HDFS的文件存储原理，它又是怎么做到高可用和容错的？我总觉得这里面有很多学问，可能关系到数据的一致性和可靠性，这对于我们这些做实际应用的人来说，太重要了。 而且，除了Hadoop本身，我觉得它可能还会涉及到一些周边生态系统的东西。现在大数据领域的发展太快了，Hadoop早就不是孤军奋战了，像Spark、Hive、HBase这些，它们跟Hadoop是怎么整合在一起的？它们各自解决了Hadoop的哪些不足？如果这本书能把这些关系讲清楚，那就真的太有价值了。我希望它不仅仅是讲解Hadoop的基础知识，更能展示如何在实际项目中，利用Hadoop及其生态系统构建一个完整的大数据解决方案。 我最近在做一个数据分析的项目，需要处理的数据量越来越大，用传统的方法已经有点吃力了。很多时候，我们只是听说Hadoop很强大，但具体怎么用，怎么才能发挥出它的最大价值，心里都没底。所以，我希望这本书能给我提供一些实际的指导，不仅仅是理论上的解释，更重要的是，它能告诉我们，在实际操作中，有哪些常见的坑需要避免，有哪些最佳实践可以借鉴。 我希望这本书能像一本武功秘籍一样，把Hadoop的独门绝技毫无保留地传授给我。我渴望了解那些能够让数据处理效率翻倍的参数调优技巧，那些能够让集群稳定运行的运维经验，以及那些能够将复杂问题简单化的架构设计思想。如果它能给我打开一扇通往大数据世界的大门，让我能够自信地驾驭Hadoop，那么，这本书的价值就无可估量了。
评分拿到《Hadoop核心技术》这本书，我的目光首先被其厚度和严谨的排版所吸引。作为一个对大数据技术充满好奇的学习者，我渴望在这本书中找到对Hadoop分布式存储和计算模型最深入的解读。我希望它能清晰地阐述HDFS的架构设计，特别是NameNode和DataNode之间如何协同工作，以及如何通过多副本机制来保证数据的可靠性和可用性。 我特别关注书中关于MapReduce编程模型的部分。我希望能理解其“Map”和“Reduce”两个阶段的精髓，以及如何通过编写自定义的Mapper和Reducer来处理各种复杂的数据转换任务。我期待书中能提供一些关于如何优化MapReduce作业的技巧，例如如何选择合适的分区器（Partitioner）和合并器（Combiner），以及如何调整JVM参数来提升作业的执行效率。 除了Hadoop的核心组件，我同样对Hadoop生态系统中的其他关键技术感兴趣。我希望这本书能介绍如Hive、HBase、ZooKeeper等技术是如何与Hadoop协同工作的。例如，Hive如何将SQL语句转化为MapReduce作业，HBase如何实现低延迟的随机读写，以及ZooKeeper在Hadoop集群中的协调和管理作用。 作为一个实践者，我最看重的是书中的案例分析和项目实战指导。我希望这本书能提供一些真实的应用场景，展示如何利用Hadoop解决实际的大数据问题，例如构建数据仓库、实时数据流处理，或是进行大规模的机器学习模型训练。我渴望通过这些案例，学习到如何将理论知识转化为实际的解决方案。 总而言之，我期望《Hadoop核心技术》能够为我提供一套系统、深入、实用的Hadoop学习体系。我希望通过阅读这本书，能够全面掌握Hadoop的核心技术，理解其工作原理，并能够灵活运用它来解决实际工作中的大数据挑战。
评分收到《Hadoop核心技术》这本厚重的书，我的第一反应是，终于可以系统地了解 Hadoop 的底层运作机制了。我一直对它如何处理PB级别的数据感到好奇，尤其是 HDFS 的分布式文件存储。我希望书中能够详细解释 NameNode 的元数据管理、DataNode 的数据块存储，以及它们之间如何通过 RPC 进行通信。更重要的是，我期待能了解 HDFS 的容错机制，比如数据丢失时是如何恢复的，以及 NameNode 的高可用方案是如何设计的。 紧接着，我迫不及待地想深入研究 MapReduce 的编程模型。虽然我接触过一些 MapReduce 的入门教程，但总感觉在理解其内在逻辑上还差一点火候。我希望书中能深入剖析 Map 和 Reduce 两个阶段的执行流程，特别是 Shuffle 过程是如何将 Map 的输出分发给 Reduce 的。我对如何编写高效的 MapReduce 程序有浓厚的兴趣，比如如何自定义序列化和反序列化，如何利用 Combiner 预聚合中间结果，以及如何选择合适的 Partitioner 来均衡 Reduce 任务的负载。 除了 Hadoop 本身，我非常关心它与周边生态系统的整合。我希望这本书能详细介绍 YARN（Yet Another Resource Negotiator）作为集群资源管理器的作用，它是如何管理和调度 MapReduce 作业的。同时，我也想了解其他重要组件，如 Hive 和 HBase，它们是如何构建在 Hadoop 之上的，以及它们各自的适用场景和技术特点。我希望书中能解释 Hive 的 SQL 查询是如何被翻译成 MapReduce 作业的，以及 HBase 的列族存储模型和它的优势。 我对书中能否提供实际操作指导非常期待。我希望书中不仅仅是理论的讲解，更能包含一些实用的代码示例、配置说明，以及常见问题的排查方法。例如，如何搭建一个 Hadoop 集群，如何提交一个 MapReduce 作业，以及如何监控集群的运行状态。如果书中能包含一些性能调优的技巧和经验，那将对我非常有帮助。 最终，我希望通过阅读《Hadoop核心技术》，能够构建起一个完整、扎实的 Hadoop 技术知识体系。我渴望能够理解 Hadoop 的核心理念，掌握其关键技术，并能自信地将其应用于实际的大数据处理场景中，解决复杂的问题。
评分拿到《Hadoop核心技术》这本书，我直奔着它关于分布式计算的核心内容而去。我希望它能深入浅出地解释 MapReduce 框架的设计理念，尤其是其“分而治之”的思想是如何在分布式环境中实现的。我特别想了解 Map 阶段和 Reduce 阶段的数据流转机制，以及它们是如何通过网络进行高效传输的。 我特别关注书中关于任务调度和容错处理的部分。我知道 Hadoop 集群可能面临节点宕机等问题，我希望书中能详细阐述 MapReduce 是如何在这种情况下保证计算的完整性的，比如任务的重试机制和数据冗余的策略。另外，我也想知道 YARN 作为资源管理器，是如何有效地分配计算资源，并支持不同类型的计算框架在 Hadoop 之上运行的。 除了计算部分，HDFS 的存储原理也是我非常好奇的。我希望能理解它如何将海量数据分散存储在多个节点上，以及 NameNode 如何管理所有的数据块信息。我期待书中能有关于 HDFS 的高可用性设计，比如 NameNode 的 Pair-wise 架构和 ZooKeeper 的配合，这些都让我觉得非常精妙。 同时，我希望这本书能更进一步，介绍 Hadoop 生态系统中一些重要的组件，比如 HBase 和 Hive。我希望了解 HBase 是如何实现高性能的随机读写，以及它和传统数据库有什么根本性的区别。对于 Hive，我更想知道它如何将高级的 SQL 查询转化为底层的 MapReduce 或 Spark 作业，从而简化大数据分析的过程。 总的来说，我希望《Hadoop核心技术》这本书能给我带来一次彻底的“解惑”之旅。我渴望它能将那些零散的、抽象的大数据概念变得具体、清晰，让我能够真正理解 Hadoop 的强大之处，并为我日后在大数据领域的工作打下坚实的基础。
评分书不错，挺好的
评分字数补丁字数补丁字数补丁字数补丁字数补丁字数补丁
评分正版书，还没看呢啊，不知道内容咋样
评分很好很好很好，支持京东
评分内容不错，适合进阶提高。
评分这本书真的挺适合刚接触hadoop的人学习
评分帮女朋友买的，还不错，深入浅出吧
评分培训学习用，物有所值。
评分还没有读完，版本有点老
相关图书
![安全技术经典译丛：信息安全原理与实践（第2版） [Information Security: Principles and Practice, 2nd Edition] pdf epub mobi 电子书 下载](https://pic.qciss.net/11259792/rBEhVFH_eq8IAAAAAAj-Kc4Weu0AABwCgN0IxQACP5B156.jpg)
![SQL Server 2012 T-SQL基础教程 [Microsoft SQL Server 2012 T-SQL Fundamentals] pdf epub mobi 电子书 下载](https://pic.qciss.net/11362891/rBEhVVKdQm4IAAAAAAIhEedU3tkAAGXyAAojWMAAiEp460.jpg)
![图灵程序设计丛书·Python数据分析基础教程：NumPy学习指南（第2版） [NumPy beginner’s guide,second edition] pdf epub mobi 电子书 下载](https://pic.qciss.net/11383765/55092450Ncc458790.jpg)
![计算机体系结构：量化研究方法（英文版·第5版） [Computer Architecture:A Quantitative Approach,Fifth Edition] pdf epub mobi 电子书 下载](https://pic.qciss.net/10889597/39ea54fb-5f32-47c4-afaa-01713812a708.jpg)
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 book.teaonline.club All Rights Reserved. 图书大百科 版权所有