具体描述
内容简介
本书以新的Spark2.0为技术基础，重点讲解了如何构建机器学习系统以及如何实现机器学习流程的标准化，这两点都是目前同类书中没有的。第1～7章从概念、架构、算法等角度介绍了机器学习的基本概念；第8～12章以实例为主，详细讲解了机器学习流程标准化涉及的关键技术；第13章主要以在线数据或流式数据为主介绍了流式计算框架SparkStreaming；第14章重点讲解了深度学习的框架TensorFlowOnSprak。此外，附录部分提供了线性代数、概率统计及Scala的基础知识，帮助读者更好地学习和掌握机器学习的相关内容。目录
目 录?Contents前言
第1章 了解机器学习 1
1.1 机器学习的定义 1
1.2 大数据与机器学习 2
1.3 机器学习、人工智能及深度学习 2
1.4 机器学习的基本任务 3
1.5 如何选择合适算法 4
1.6 Spark在机器学习方面的优势 5
1.7 小结 5
第2章 构建Spark机器学习系统 6
2.1 机器学习系统架构 6
2.2 启动集群 7
2.3 加载数据 9
2.4 探索数据 10
2.4.1 数据统计信息 10
2.4.2 数据质量分析 11
2.4.3 数据特征分析 12
2.4.4 数据的可视化 17
2.5 数据预处理 19
2.5.1 数据清理 20
2.5.2 数据变换 21
2.5.3 数据集成 22
2.5.4 数据归约 23
2.6 构建模型 25
2.7 模型评估 26
2.8 组装 30
2.9 模型选择或调优 30
2.9.1 交叉验证 31
2.9.2 训练–验证切分 32
2.10 保存模型 32
2.11 小结 33
第3章 ML Pipeline原理与实战 34
3.1 Pipeline简介 34
3.2 DataFrame 35
3.3 Pipeline组件 36
3.4 Pipeline原理 37
3.5 Pipeline实例 38
3.5.1 使用Estimator、Transformer和Param的实例 38
3.5.2 ML使用Pipeline的实例 40
3.6 小结 41
第4章 特征提取、转换和选择 42
4.1 特征提取 42
4.1.1 词频—逆向文件
频率（TF-IDF） 42
4.1.2 Word2Vec 43
4.1.3 计数向量器 44
4.2 特征转换 45
4.2.1 分词器 45
4.2.2 移除停用词 46
4.2.3 n-gram 47
4.2.4 二值化 48
4.2.5 主成分分析 48
4.2.6 多项式展开 50
4.2.7 离散余弦变换 50
4.2.8 字符串—索引变换 51
4.2.9 索引—字符串变换 53
4.2.10 独热编码 54
4.2.11 向量—索引变换 57
4.2.12 交互式 58
4.2.13 正则化 59
4.2.14 规范化 60
4.2.15 最大值—最小值缩放 60
4.2.16 最大值—绝对值缩放 61
4.2.17 离散化重组 62
4.2.18 元素乘积 63
4.2.19 SQL转换器 64
4.2.20 向量汇编 65
4.2.21 分位数离散化 66
4.3 特征选择 67
4.3.1 向量机 67
4.3.2 R公式 69
4.3.3 卡方特征选择 70
4.4 小结 71
第5章 模型选择和优化 72
5.1 模型选择 72
5.2 交叉验证 73
5.3 训练验证拆分法 75
5.4 自定义模型选择 76
5.5 小结 78
第6章 Spark MLlib基础 79
6.1 Spark MLlib简介 80
6.2 Spark MLlib架构 81
6.3 数据类型 82
6.4 基础统计 84
6.4.1 摘要统计 84
6.4.2 相关性 84
6.4.3 假设检验 85
6.4.4 随机数据生成 85
6.5 RDD、Dataframe和Dataset 86
6.5.1 RDD 86
6.5.2 DatasetDataFrame 87
6.5.3 相互转换 88
6.6 小结 89
第7章 构建Spark ML推荐模型 90
7.1 推荐模型简介 91
7.2 数据加载 92
7.3 数据探索 94
7.4 训练模型 94
7.5 组装 95
7.6 评估模型 96
7.7 模型优化 96
7.8 小结 98
第8章 构建Spark ML分类模型 99
8.1 分类模型简介 99
8.1.1 线性模型 100
8.1.2 决策树模型 101
8.1.3 朴素贝叶斯模型 102
8.2 数据加载 102
8.3 数据探索 103
8.4 数据预处理 104
8.5 组装 109
8.6 模型优化 110
8.7 小结 113
第9章 构建Spark ML回归模型 114
9.1 回归模型简介 115
9.2 数据加载 115
9.3 探索特征分布 117
9.4 数据预处理 120
9.4.1 特征选择 121
9.4.2 特征转换 121
9.5 组装 122
9.6 模型优化 124
9.7 小结 126
第10章 构建Spark ML聚类模型 127
10.1 K-means模型简介 128
10.2 数据加载 129
10.3 探索特征的相关性 129
10.4 数据预处理 131
10.5 组装 132
10.6 模型优化 134
10.7 小结 136
第11章 PySpark 决策树模型 137
11.1 PySpark 简介 138
11.2 决策树简介 139
11.3 数据加载 140
11.3.1 原数据集初探 140
11.3.2 PySpark的启动 142
11.3.3 基本函数 142
11.4 数据探索 143
11.5 数据预处理 143
11.6 创建决策树模型 145
11.7 训练模型进行预测 146
11.8 模型优化 149
11.8.1 特征值的优化 149
11.8.2 交叉验证和网格参数 152
11.9 脚本方式运行 154
11.9.1 在脚本中添加配置信息 154
11.9.2 运行脚本程序 154
11.10 小结 154
第12章 SparkR朴素贝叶斯模型 155
12.1 SparkR简介 156
12.2 获取数据 157
12.2.1 SparkDataFrame数据结构
说明 157
12.2.2 创建SparkDataFrame 157
12.2.3 SparkDataFrame的常用操作 160
12.3 朴素贝叶斯分类器 162
12.3.1 数据探查 162
12.3.2 对原始数据集进行转换 163
12.3.3 查看不同船舱的生还率差异 163
12.3.4 转换成SparkDataFrame格式的数据 165
12.3.5 模型概要 165
12.3.6 预测 165
12.3.7 评估模型 166
12.4 小结 167
第13章 使用Spark Streaming构建在线学习模型 168
13.1 Spark Streaming简介 168
13.1.1 Spark Streaming常用术语 169
13.1.2 Spark Streaming处理流程 169
13.2 Dstream操作
前言/序言
Preface?前 言为什么写这本书大数据、人工智能正在改变或颠覆各行各业，包括我们的生活。大数据、人工智能方面的人才已经供不应求，但作为人工智能的核心——机器学习，因涉及的知识和技能比较多，除了需要具备一定的数学基础、相关业务知识外，还要求有比较全面的技术储备，如操作系统、数据库、开发语言、数据分析工具、大数据计算平台等，无形中提高了机器学习的门槛。如何降低机器学习的门槛，让更多有志于机器学习、人工智能的人能更方便或顺畅地使用、驾驭机器学习？很多企业也正在考虑和处理这方面的问题，本书也希望借Spark技术在这方面做一些介绍或总结。如何使原本复杂、专业性强的工作或操作简单化？封装是一个有效方法。封装降低了我们操作照相机的难度、降低了我们维护各种现代设备的成本，同时也提升了我们使用这些设备的效率。除封装外，过程的标准化、流程化同样是目前现代企业用于提升生产效率，降低成本，提高质量的有效方法。
硬件如此，软件行业同样如此。目前很多机器学习的开发语言或平台，正在这些方面加大力度，比如：对特征转换、特征选择、数据清理、数据划分、模型评估及优化等算法的封装；对机器学习过程的进行流程化、标准化、规范化；给大家比较熟悉的语言或工具提供API等方法或措施，以简化机器学习中间过程，缩短整个开发周期，使我们能更从容地应对市场的变化。Spark在这方面可谓后来居上，尤其是最近发布的版本，明显加大了这方面的力度，我们可以从以下几个方面看出这种趋势：
1）Spark机器学习的API，正在由基于RDD过渡到基于Dataset或DataFrame，基于RDD的API在Spark2.2后处于维护阶段，Spark3.0后将停止使用（来自Spark官网）；2）建议大家使用Spark ML，尤其是它的Pipeline；3）增加大量特征选择、特征转换、模型选择和优化等算法；4）丰富、增强Spark与Java、Python、R的API，使其更通用。
SKLearn、Spark等机器学习平台或工具在这方面都处于领先的地位，我们也希望借助本书，把Spark在这方面的有关内容介绍给大家，使大家可以少走些弯路。
此外，Spark目前主要涉及常用机器学习算法，缺乏对一般神经网络的支持，更不用说深度学习了，这好像也是目前Spark的一个不足。不过好消息是：雅虎把深度学习框架TensorFlow与Spark整合在一起，而且开源了这些代码。为弥补广大Spark爱好者的上述缺憾，本书介绍了TensorFlowOnSpark，其中包括深度学习框架TensorFlow的基础知识及使用卷积神经网络、循环神经网络等的一些实际案例。
另外，我们提供了与本书环境完全一致的免费云操作环境，这样一来是希望节约您的宝贵时间，二来是希望能通过真正的实战，给您不一样的体验和收获！总之，我们希望能使更多有志于大数据、人工智能的朋友加入这个充满生机、前景广阔的行业中来。
本书特色本书最大特点就是注重实战！或许有读者会问，能从哪几个方面体现出来？1）介绍了目前关于机器学习的新趋势，并分析了如何使用Pipeline使机器学习过程流程化。
2）简介了机器学习的一般框架Spark、深度学习框架Tensorflow及把两者整合在一起的框架TensorflowOnSpark。
3）提供可操作、便执行及具有实战性的项目及其详细代码。
4）提供与书完全一致的云操作环境，而且这个环境可以随时随地使用实操环境，登录地址为httpwww.feiguyun.comsparksupport。
5）除了代码外，还附有一些必要的架构或原理说明，便于大家能从一个更高的角度来理解把握相关问题。
总之，希望你通过阅读本书，不但可以了解很多内容或代码，更可以亲自运行或调试这些代码，从而带来新的体验和收获！
读者对象对大数据、机器学习感兴趣的广大在校、在职人员。
对Spark机器学习有一定基础，欲进一步提高开发效率的人员。
熟悉Python、R等工具，希望进一步拓展到Spark机器学习的人。
对深度学习框架TensorFlow及其拓展感兴趣的读者。
如何阅读本书本书正文共14章，从内容结构来看，可以分为四部分。
第一部分为第1～7章，主要介绍了机器学习的一些基本概念，包括如何构建一个Spark机器学习系统，Spark ML主要特点，Spark ML中流水线（Pipeline），ML中大量特征选取、特征转换、特征选择等函数或方法，同时简单介绍了Spark MLlib的一些基础知识。
第二部分为第8～12章，主要以实例为主，具体说明如何使用Spark ML中Pipeline的Stage，以及如何把这Stage组合到流水线上，最后通过评估指标，优化模型。
第三部分即第13章，与之前的批量处理不同，这一章主要以在线数据或流式数据为主，介绍Spark的流式计算框架Spark Streaming。
第四部分即第14章，为深度学习框架，主要包括TensorFlow的基础知识及它与Spark的整合框架TensorFlowOnSpark。
此外，书中的附录部分还提供了线性代数、概率统计及Scala的基础知识，以帮助读者更好地掌握机器学习的相关内容。
勘误和支持除封面署名外，参加本书编写、环境搭建的人还有杨本法、张魁、刘未昕等、杨本法负责第12章 Spark R的编写，张魁、刘未昕负责后台环境的搭建和维护。由于笔者水平有限，加之编写时间仓促，书中难免出现错误或不准确的地方。恳请读者批评指正，你可以通过访问httpwww.feiguyun.com留下宝贵意见。也可以通过微信（wumg3000）或QQ（1715408972）给我们反馈。非常感谢你的支持和帮助。
致谢在本书编写过程中，得到很多在校老师和同学的支持！感谢上海大学机电工程与自动化学院的王佳寅老师及黄文成、杨中源、熊奇等同学，上海理工管理学院的张帆老师，上海师大数理学院的田红炯、李昭祥老师，华师大的王旭同学，博世王冬，飞谷云小伙伴等提供的支持和帮助。
感谢机械工业出版社的杨福川、李艺老师给予本书的大力支持和帮助。
感谢参与本书编写的其他作者及提供支持的家人们，谢谢你们！
用户评价
这本书的封面和书名《深度实践Spark机器学习》给我的第一印象是专业且充满力量。我是一位在数据科学领域摸爬滚打多年的从业者，深知技术更新迭代的速度之快，尤其是在大数据和人工智能领域，Spark作为分布式计算的翘楚，其机器学习库MLlib更是成为了处理海量数据的关键工具。我一直关注着Spark的最新发展，也尝试过阅读一些相关的技术文档和教程，但总觉得缺乏一个系统性的、能够真正引导我深入理解和实践的资源。当我看到这本书时，我立刻感受到了一种“命中注定”的感觉。我猜测这本书一定能够解答我长期以来的一些困惑，比如如何在高并发、大数据量的环境下，高效地构建和训练机器学习模型；如何针对Spark的分布式特性，对模型进行调优，以达到最佳的性能；又或者，如何在实际项目中，巧妙地结合Spark的流处理能力与批处理能力，实现实时机器学习的应用。我非常有信心，这本书的作者一定是一位经验丰富的技术专家，他能够以一种清晰、透彻的方式，将Spark机器学习的理论知识转化为可执行的代码和实际的解决方案。我特别期待书中能够有关于Spark MLlib中各种算法的底层实现原理的讲解，以及如何根据具体的业务场景，选择最合适的算法和参数。这本书对我来说，不只是学习一本技术书籍，更像是一次与一位经验丰富的导师的深度交流。
评分关于《深度实践Spark机器学习》这本书，尽管我还未曾细细品读，但其名 already 散发出一种强大的吸引力。它传递出的“深度”和“实践”两个关键词，无疑是任何一位致力于掌握Spark机器学习技术的学习者所渴望的。我一直认为，对于像Spark这样复杂的分布式计算框架，仅仅停留在表面理解是远远不够的，必须深入其核心，才能真正驾驭它。而“实践”二字，则点明了这本书的核心价值——它并非纸上谈兵，而是要带领读者走向真实的战场，用代码去验证、去解决问题。我推测，书中一定涵盖了Spark机器学习的整个生命周期，从数据预处理的各种技巧，到特征工程的精妙设计，再到模型训练、评估和优化的详细步骤。我尤其期待书中能够提供一些关于Spark如何处理大规模、高维度数据的实用方法，以及如何针对Spark的分布式特性，设计出高性能的机器学习算法。我很好奇，它会如何讲解Spark MLlib中那些复杂的算法，是否会涉及一些底层的实现细节，例如其内部如何进行数据分片、任务调度和通信。此外，我也希望这本书能提供一些在实际项目中，如何将Spark与Hadoop、Kafka等其他大数据技术相结合的经验分享，从而构建出更加健壮和可扩展的机器学习解决方案。对我而言，这本书的价值在于它能帮助我从“知道Spark是什么”跃升到“懂得如何用Spark解决实际的机器学习问题”。
评分这本书的书名——《深度实践Spark机器学习》，让我对它充满了好奇和期待，尽管我还没有打开它细细品读，但从书名本身传递出的信息，就足以勾勒出它在我心中的大致轮廓。我个人一直以来都对“实践”这两个字情有独钟，因为我坚信，知识只有在实践中才能真正落地生根，开花结果。而“深度”二字，则暗示了这本书并非泛泛而谈，而是深入挖掘Spark机器学习的方方面面。我脑海中浮现的画面是，这本书不仅仅会讲解Spark的基本原理和API，更会通过大量的案例和项目，展示如何在真实的业务场景中应用Spark进行机器学习。我渴望能够看到作者是如何一步步地构建一个完整的机器学习流程，从数据预处理、特征工程，到模型选择、训练、评估，再到模型部署和优化，每一个环节都能得到细致的剖析。特别是那些能够体现“深度”的内容，例如如何处理大规模不平衡数据集，如何进行分布式特征选择，如何设计和实现自定义的Spark机器学习算法，这些都是我非常感兴趣的挑战。我期待这本书能够提供一些“独门秘籍”，帮助我突破一些在实际工作中遇到的瓶颈。我希望它能让我看到Spark在处理诸如自然语言处理、图像识别、推荐系统等复杂机器学习任务时的强大能力，并教会我如何有效地利用Spark的分布式特性来加速这些任务的完成。总而言之，这本书在我眼中，就是通往Spark机器学习精通之路的一把金钥匙。
评分《深度实践Spark机器学习》这本书，光是名字就有一种令人振奋的魔力。我虽然还没有翻开它，但它在我脑海中勾勒出的画面，却充满了探索和发现的乐趣。我想象着，这本书就像一张藏宝图，里面描绘着Spark机器学习的各种宝藏。我期待着它能带领我深入了解Spark这个强大的分布式计算引擎，了解它是如何在集群环境中进行高效的数据处理和计算的。更重要的是，我希望能通过这本书，解锁Spark在机器学习领域的全部潜能。我很好奇，它会如何详细地介绍Spark MLlib库中的各种算法，从基础的线性回归、逻辑回归，到复杂的深度学习模型，是否都能在书中找到详尽的讲解和实战案例。我希望它能教会我如何将海量数据喂给Spark，让它帮我训练出强大的机器学习模型。我也期待它能为我揭示一些在实际应用中遇到的常见问题，比如如何解决分布式训练中的数据倾斜问题，如何优化模型以适应内存限制，或者如何利用Spark的生态系统，构建一个端到端的机器学习流水线。我设想，这本书的内容一定会非常丰富，包含大量的代码示例、架构图和性能调优的技巧，让我能够从理论到实践，全面掌握Spark机器学习的技术。我迫不及待地想要成为这本书的读者，去开启这场激动人心的技术探索之旅。
评分拿到《深度实践Spark机器学习》这本书，我最先被吸引的并不是它“深度实践”的承诺，而是它那份对于“Spark”这个名字本身自带的强大吸引力。我一直对大数据处理和分布式计算领域抱有浓厚的兴趣，而Spark无疑是这个领域最耀眼的名字之一。它以其卓越的性能和灵活的应用场景，早已在我心中占据了重要地位。因此，当看到这本书时，我几乎是毫不犹豫地就将其收入囊中。虽然我至今尚未深入阅读书中的具体内容，但我可以想象，这本书一定如同一位经验丰富的向导，带领读者穿越Spark这片广袤而深邃的知识海洋。从初识Spark的安装配置，到理解其核心架构，再到掌握各种常用API的使用，这本书似乎都将一一铺陈。我期待着它能以一种循序渐进的方式，将复杂的分布式计算原理化繁为简，让我能够真正理解Spark是如何在集群中高效运作的。更重要的是，我希望能通过这本书，触及Spark在机器学习领域的核心应用。毕竟，在大数据时代，机器学习的威力已经毋庸置疑，而Spark作为大数据处理的利器，与机器学习的结合必将产生出惊人的化学反应。我好奇它会如何讲解Spark MLlib库，如何利用Spark处理海量数据进行模型训练，如何优化模型以适应分布式环境的挑战。这本书的名字就如同一个承诺，我期待着它能兑现这份承诺，让我真正掌握Spark在机器学习领域的实操能力，而不是停留在理论的层面。
评分很好的一本书，值得学习和钻研，好好读一下
评分深度实践Spark机器学习………………
评分很好的一本书，值得学习和钻研，好好读一下
评分此用户未填写评价内容
评分此用户未填写评价内容
评分此用户未填写评价内容
评分很好的一本书，值得学习和钻研，好好读一下
评分书不错，挺实用。
评分仔细看了，没有什么所谓的深度，都是骗人的，都是为他们公司的培训打广告，没什么实际性的内容，把#发挥的真好。读者请慎重，能不购买就不要购买。
相关图书
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 book.teaonline.club All Rights Reserved. 图书大百科 版权所有