Hadoop高级数据分析 使用Hadoop生态系统设计和构建大数据系统/大数据应用与技术丛书 下载 mobi epub pdf 电子书 2024

产品特色

编辑推荐

　　大数据类型多样、数量庞大、变化快速，这些特征对大数据分析师提出了新挑战。作为一种应对方案，大数据分析技术广泛应用于物联网、云计算等新兴领域，能够帮助企业用户在合理时间内处理海量数据，并为改善经营决策提供有效帮助。目前，存在多种大数据分析工具，相关技术正在不断走向成熟。Hadoop 作为一种优秀的开源框架，基于该架构的数据分析应用具有显著技术优势和应用前景，目前与Hadoop 大数据分析相关的出版物中，大多偏重于理论和技术介绍，有关具体应用实践方面的书籍相对偏少。

　　为了满足应用需求，《Hadoop 高级数据分析 使用Hadoop 生态系统设计和构建大数据系统》以设计并实现用于获取、分析、可视化大数据集的软件系统为目标，以应用案例为背景，系统地介绍利用Hadoop 及其生态系统进行大数据分析的各种工具和方法；本书讲述Hadoop 大数据分析的基本原理，呈现构建分析系统时所使用的标准架构、算法和技术，对应用案例进行了深入浅出的剖析，为读者掌握大数据分析基础架构及实施方法提供了详明实用的方案。

　　《Hadoop 高级数据分析 使用Hadoop 生态系统设计和构建大数据系统》在注重Hadoop 数据分析理论的同时，与大数据分析案例实践相结合，以生物、电信、资源勘查等行业真实案例为主线，详细讲解Hadoop 高级数据分析的过程。使读者可以自己动手实践，亲自体会开发的乐趣及大数据分析的强大魅力。通过本书的学习，读者能够更加快速且有效地掌握Hadoop 数据分析方法并积累实践经验。阅读《Hadoop 高级数据分析 使用Hadoop 生态系统设计和构建大数据系统》，可以帮助读者了解并掌握Hadoop 高级数据分析技术的具体操作方法，让读者真正理解其核心概念和基本原理。

内容简介

　　掌握Hadoop高级数据分析技术

　　学习高级分析技术，并利用现有工具包使分析应用更加强大、精确和高效！《Hadoop高级数据分析使用Hadoop生态系统设计和构建大数据系统》将架构、设计及实现信息恰当地融为一体，将指导你创建*基础方法(SF分类、聚类、推荐)的分析系统。

　　在《Hadoop高级数据分析使用Hadoop生态系统设计和构建大数据系统》中，*佳实践强调“确保连贯、高效的开发”。将使用包含工具箱、库、可视化组件和报表代码在内的标准第三方组件，借助集成“组合件”开发一个可运行的、可扩展的、端到端的完整示例系统。

　　《Hadoop高级数据分析使用Hadoop生态系统设计和构建大数据系统》强调以下四点：

　　●具有分析组件及合理可视化结果的完整、灵活、可配置、高性能数据管道系统的重要性。深入探讨的主题包括Spark、H2O、VopalWabbit(NLP)、StanfordNLP、ApacheMahout，以及其他适用的工具包、库和插件。

　　●*佳实践和结构化设计原则。包括重要主题及示例部分。

　　●用混合搭配或混合系统实现应用目标的重要性。你在学习深度示例时可体会到混合方法的重要性。

　　●使用现有第三方库是有效开发的关键。在开发示例系统时，深度示例将展示一些第三方工具包的功能。

作者简介

　　Kerry Koitzsch在计算机科学、图像处理和软件工程等领域拥有超过二十年的工作经验，致力于研究Apache Hadoop和Apache Spark技术。Kerry擅长软件咨询，精通一些定制的大数据应用，包括分布式搜索、图像分析、立体视觉和智能图像检索系统。Kerry目前就职于Kildane软件技术股份有限公司，该公司是加州桑尼维尔市的一个机器人系统和图像分析软件提供商。

目录

目录

第Ⅰ部分概念

第1章概述：用Hadoop构建数据分析系统3

1.1构建DAS的必要性4

1.2HadoopCore及其简史4

1.3Hadoop生态系统概述5

1.4AI技术、认知计算、深度学习以及BDA6

1.5自然语言处理与BDAS6

1.6SQL与NoSQL查询处理6

1.7必要的数学知识7

1.8设计及构建BDAS的循环过程7

1.9如何利用Hadoop生态系统实现BDA10

1.10“图像大数据”(IABD)基本思想10

1.10.1使用的编程语言12

1.10.2Hadoop生态系统的多语言组件12

1.10.3Hadoop生态系统架构13

1.11有关软件组合件与框架的注意事项13

1.12ApacheLucene、Solr及其他：开源搜索组件14

1.13建立BDAS的架构15

1.14你需要了解的事情15

1.15数据可视化与报表17

1.15.1使用EclipseIDE作为开发环境18

1.15.2本书未讲解的内容19

1.16本章小结21

第2章Scala及Python进阶23

2.1动机：选择正确的语言定义应用23

2.2Scala概览24

2.3Python概览29

2.4错误诊断、调试、配置文件及文档31

2.4.1Python的调试资源32

2.4.2Python文档33

2.4.3Scala的调试资源33

2.5编程应用与示例33

2.6本章小结34

2.7参考文献34

第3章Hadoop及分析的标准工具集35

3.1库、组件及工具集：概览35

3.2在评估系统中使用深度学习方法38

3.3使用Spring框架及SpringData44

3.4数字与统计库：R、Weka及其他44

3.5分布式系统的OLAP技术44

3.6用于分析的Hadoop工具集：ApacheMahout及相关工具45

3.7ApacheMahout的可视化46

3.8ApacheSpark库与组件46

3.8.1可供选择的不同类型的shell46

3.8.2ApacheSpark数据流47

3.8.3SparklingWater与H2O机器学习48

3.9组件使用与系统建立示例48

3.10封包、测试和文档化示例系统50

3.11本章小结51

3.12参考文献51

第4章关系、NoSQL及图数据库53

4.1图查询语言：Cypher及Gremlin55

4.2Cypher示例55

4.3Gremlin示例56

4.4图数据库：ApacheNeo4J58

4.5关系数据库及Hadoop生态系统59

4.6Hadoop以及UA组件59

4.7本章小结63

4.8参考文献64

第5章数据管道及其构建方法65

5.1基本数据管道66

5.2ApacheBeam简介67

5.3ApacheFalcon简介68

5.4数据源与数据接收：使用ApacheTika构建数据管道68

5.5计算与转换70

5.6结果可视化及报告71

5.7本章小结74

5.8参考文献74

第6章Hadoop、Lucene、Solr与高级搜索技术75

6.1Lucene/Solr生态系统简介75

6.2Lucene查询语法76

6.3使用Solr的编程示例79

6.4使用ELK栈(Elasticsearch、Logstash、Kibana)85

6.5Solr与Elasticsearch：特点与逻辑93

6.6应用于Elasticsearch和Solr的SpringData组件95

6.7使用LingPipe和GATE实现定制搜索99

6.8本章小结108

6.9参考文献108

第Ⅱ部分架构及算法

第7章分析技术及算法概览111

7.1算法类型综述111

7.2统计/数值技术112

7.3贝叶斯技术113

7.4本体驱动算法114

7.5混合算法：组合算法类型115

7.6代码示例116

7.7本章小结119

7.8参考文献119

第8章规则引擎、系统控制与系统编排121

8.1规则系统JBossDrools介绍121

8.2基于规则的软件系统控制124

8.3系统协调与JBossDrools125

8.4分析引擎示例与规则控制126

8.5本章小结129

8.6参考文献129

第9章综合提升：设计一个完整的分析系统131

9.1本章小结136

9.2参考文献136

第Ⅲ部分组件与系统

第10章数据可视化：可视化与交互分析139

10.1简单的可视化139

10.2AngularJS和Friends简介143

10.3使用JHipster集成SpringXD

和AngularJS143

10.4使用d3.js、sigma.js及其他

工具152

10.5本章小结153

10.6参考文献153

第Ⅳ部分案例研究与应用

前言/序言

　　前 言

　　Apache Hadoop软件库逐渐受到重视。它是许多公司、政府机构、科研设施进行高级分布式开发的基础。Hadoop生态系统现在包含几十个组件用于搜索引擎、数据库和数据仓库进行图像处理、深度学习及自然语言处理。随着Hadoop2的出现，不同的资源管理器可用于提供更高级别的复杂性和控制力。竞争对手、替代品以及Hadoop技术和架构的继承/变种比比皆是，包括Apache Flink、Apache Spark等。软件专家和评论员多次宣布“Hadoop的死亡”。

　　我们必须正视一个问题：Hadoop死了吗？这取决于Hadoop本身的感知界限。我们是否认为Apache Spark是Hadoop批处理文件方法的内存继承者，是Hadoop家族的一部分，仅仅因为Apache Spark也使用了Hadoop文件系统HDFS？存在很多“灰色区域”的其他例子，其中较新的技术取代或增强了原有的“Hadoop经典”功能。分布式计算是一个不断移动的目标，是Hadoop和Hadoop生态系统的分界线，在短短几年间已经发生了显著变化。在本书中，我们试图展示Hadoop及其相关生态系统的一些多样的、动态的方面，并试图说服你，尽管Hadoop发生变化，但它依然非常活跃、与当前的软件开发相关并且使数据分析程序员特别感兴趣。

单位一起定购的书，一次买了一千多的图书，快递超级快，不影响看书时间，大家的学习热情很高，一会儿都借走了。棒棒哒小伙伴们，棒棒哒京东！

那候选人的高度呢？自1948年杜鲁门(其身材矮小，但比杜威高)当选之后，只有卡特击败福特和布什打败克里是较为矮小的候选人赢得普选的两次选举。在2000年的选举中，如果我们假设模式是与赢得普选而非选举人票相关，那么戈尔的6英尺1英寸对布什总统的6英尺还是符合该模式。在2008年，打篮球的奥巴马击败了较为矮小的麦凯恩。高度看上去与当总统这份工作毫不相关。然而，我们的语言展示了“身高歧视”：我们把仰视看成是表示尊敬的姿态，而俯视表示蔑视。身高与更好的童年营养相关，其反过来会提高智商以及其他社会成功的指标。

京东的送货没得说。书的质量很好，工作中用得到，还是要支持下正版，电子书看起来很累。赞一个

还没有开始看，作为储备吧。等用的时候再看。希望能学好

　　◆对ETL系统和设计思考的总结

东西很好，送货很快，非常满意，好评！！

金宝大神写的书，内容很实用。印刷精美，用纸比其他书好，很厚。提升理论水平是不错的，但还需要自己融会贯通

送货快，书看起来不错。顺应时代的发展，工作要转型了，从做硬件转向软件和数据分析，顺不顺利就靠你们了！

单位一起定购的书，一次买了一千多的图书，快递超级快，不影响看书时间，大家的学习热情很高，一会儿都借走了。棒棒哒小伙伴们，棒棒哒京东！