Python+Spark 2.0+Hadoop机器学习与大数据实战 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

林大贵 著

图书标签:

• Python
• Spark
• Hadoop
• 机器学习
• 大数据
• 数据分析
• 实战
• Python编程
• 数据挖掘
• 分布式计算

出版社： 清华大学出版社

ISBN：9787302490739

版次：1

商品编码：12276775

包装：平装

开本：16开

出版时间：2017-12-01

用纸：胶版纸

页数：519

字数：864000

正文语种：中文

产品特色

编辑推荐

适读人群 ：正在学习大数据理论和技术的人员作为上机实践用的教材

1.Hadoop集群安装与分散式运算和存储介绍
通过实机操作，学会如何安装Virtual Box、Ubuntu Linux、Hadoop单机与多台机器集群安装，并学会使用HDFS分散式存储与MapReduce分散式运算。
2.Python Spark 2.0安装
通过实机操作，学会安装Spark 2.0，并在本机与多台机器集群执行Python Spark应用程序。同时介绍如何在iPython Notebook互动界面执行Python Spark指令。安装eclipse整合开发界面，开发Python Spark应用程序，大幅提升程序开发生产力。
3.Python Spark SQL、DataFrame数据统计与数据可视化
Spark SQL 即使非程序设计人员，只需要懂得SQL语法，就可以使用。DataFrame API 可使用类SQL的方法，如select()、groupby()、count()，很容易进行统计，大幅降低大数据分析的学习门槛。Spark DataFrame可转换为Pandas DataFrame，运用Python丰富的数据可视化组件（例如matplotlib）进行数据可视化。
4.Python Spark MLlib机器学习
以大数据分析实际案例MoiveLens、StumbleUpon、CovType、BikeSharing介绍如何使用Python Spark运用机器学习演算法进行数据处理、训练、建立模型、训练验证找出*佳模型、预测结果。
5.Python Spark ML Pipeline机器学习流程
以大数据实际案例示范使用Python Spark ML Pipeline机器学习流程进行二元分类、多元分类、回归分析，将机器学习的每一个步骤建立成Pipeline流程：数据处理 →运算法训练数据→建立模型→找出*佳模型→预测结果。Spark ML Pipeline 通过内建数据处理模块与机器学习运算法，减轻数据分析师在程序设计上的负担。

内容简介

《Python+Spark 2.0+Hadoop机器学习与大数据实战》从浅显易懂的“大数据和机器学习”原理说明入手，讲述大数据和机器学习的基本概念，如分类、分析、训练、建模、预测、机器学习（推荐引擎）、机器学习（二元分类）、机器学习（多元分类）、机器学习（回归分析）和数据可视化应用等。书中不仅加入了新近的大数据技术，还丰富了“机器学习”内容。
为降低读者学习大数据技术的门槛，书中提供了丰富的上机实践操作和范例程序详解，展示了如何在单机Windows系统上通过Virtual Box虚拟机安装多机Linux虚拟机，如何建立Hadoop集群，再建立Spark开发环境。《Python+Spark 2.0+Hadoop机器学习与大数据实战》中介绍搭建的上机实践平台并不限制于单台实体计算机。对于有条件的公司和学校，参照书中介绍的搭建过程，同样可以实现将自己的平台搭建在多台实体计算机上，以便更加接近于大数据和机器学习真实的运行环境。
《Python+Spark 2.0+Hadoop机器学习与大数据实战》非常适合于学习大数据基础知识的初学者阅读，更适合正在学习大数据理论和技术的人员作为上机实践用的教材。

作者简介

林大贵,从事IT行业多年，在系统设计、网站开发、数字营销、商业智慧、大数据、机器学习等领域具有丰富的实战经验。

目录

目 录


第1章 Python Spark机器学习与Hadoop大数据 1
1.1 机器学习的介绍 2
1.2 Spark的介绍 5
1.3 Spark数据处理 RDD、DataFrame、Spark SQL 7
1.4 使用Python开发 Spark机器学习与大数据应用 8
1.5 Python Spark 机器学习 9
1.6 Spark ML Pipeline机器学习流程介绍 10
1.7 Spark 2.0的介绍 12
1.8 大数据定义 13
1.9 Hadoop 简介 14
1.10 Hadoop HDFS分布式文件系统 14
1.11 Hadoop MapReduce的介绍 17
1.12 结论 18
第2章 VirtualBox虚拟机软件的安装 19
2.1 VirtualBox的下载和安装 20
2.2 设置VirtualBox存储文件夹 23
2.3 在VirtualBox创建虚拟机 25
2.4 结论 29
第3章 Ubuntu Linux 操作系统的安装 30
3.1 Ubuntu Linux 操作系统的安装 31
3.2 在Virtual设置Ubuntu虚拟光盘文件 33
3.3 开始安装Ubuntu 35
3.4 启动Ubuntu 40
3.5 安装增强功能 41
3.6 设置默认输入法 45
3.7 设置“终端”程序 48
3.8 设置“终端”程序为白底黑字 49
3.9 设置共享剪贴板 50
3.10 设置最佳下载服务器 52
3.11 结论 56
第4章 Hadoop Single Node Cluster的安装 57
4.1 安装JDK 58
4.2 设置SSH无密码登录 61
4.3 下载安装Hadoop 64
4.4 设置Hadoop环境变量 67
4.5 修改Hadoop配置设置文件 69
4.6 创建并格式化HDFS目录 73
4.7 启动Hadoop 74
4.8 打开Hadoop Resource-Manager Web界面 76
4.9 NameNode HDFS Web界面 78
4.10 结论 79
第5章 Hadoop Multi Node Cluster的安装 80
5.1 把Single Node Cluster复制到data1 83
5.2 设置VirtualBox网卡 84
5.3 设置data1服务器 87
5.4 复制data1服务器到data2、data3、master 94
5.5 设置data2服务器 97
5.6 设置data3服务器 100
5.7 设置master服务器 102
5.8 master连接到data1、data2、data3 创建HDFS目录 107
5.9 创建并格式化NameNode HDFS目录 110
5.10 启动Hadoop Multi Node Cluster 112
5.11 打开Hadoop ResourceManager Web界面 114
5.12 打开NameNode Web界面 115
5.13 停止Hadoop Multi Node Cluster 116
5.14 结论 116
第 6 章 Hadoop HDFS命令 117
6.1 启动Hadoop Multi-Node Cluster 118
6.2 创建与查看HDFS目录 120
6.3 从本地计算机复制文件到HDFS 122
6.4 将HDFS上的文件复制到本地计算机 127
6.5 复制与删除HDFS文件 129
6.6 在Hadoop HDFS Web用户界面浏览HDFS 131
6.7 结论 134
第7章 Hadoop MapReduce 135
7.1 简单介绍WordCount.java 136
7.2 编辑WordCount.java 137
7.3 编译WordCount.java 141
7.4 创建测试文本文件 143
7.5 运行WordCount.java 145
7.6 查看运行结果 146
7.7 结论 147
第8章 Python Spark的介绍与安装 148
8.1 Scala的介绍与安装 150
8.2 安装Spark 153
8.3 启动pyspark交互式界面 156
8.4 设置pyspark显示信息 157
8.5 创建测试用的文本文件 159
8.6 本地运行pyspark程序 161
8.7 在Hadoop YARN运行pyspark 163
8.8 构建Spark Standalone Cluster运行环境 165
8.9 在Spark Standalone运行pyspark 171
8.10 Spark Web UI界面 173
8.11 结论 175

前言/序言

前 言


机器学习是近二十来年兴起的多领域学科，机器学习算法可从数据中建立模型，并利用模型对未知数据进行预测。机器学习技术不断进步，应用相当广泛，例如推荐引擎、定向广告、需求预测、垃圾邮件过滤、医学诊断、自然语言处理、搜索引擎、诈骗侦测、证券分析、视觉辨识、语音识别、手写识别等。
近年来Google、Facebook、Microsoft、IBM等大公司全力投入机器学习研究与应用。以Google 为例，Google 已经将机器学习运用到垃圾邮件判断、自动回复、照片分类与搜索、翻译、语音识别等功能上。同时，各大主流Hadoop发行版公司加强了对机器学习的投入，比如Cloudera对spark ml的完整支持、星环科技基于Spark自主研发的机器学习产品Discover。在不知不觉中，机器学习已经让日常生活更为便利。
为什么近年来机器学习变得如此热门，各大公司都争相投入？因为机器学习需要大量数据进行训练。大数据的兴起带来了大量的数据以及可存储大量数据的分布式存储技术，例如Hadoop HDFS、NoSQL……还有分布式计算可进行大量运算，例如 Spark 基于内存的分布式计算框架/架构，可以大幅提升性能。
本书的主题是Python+Spark+Hadoop 机器学习与大数据分析。使用Python 开发Spark 应用程序，具有多重优势：不仅可以享有Python 语言特性所带来的好处，即程序代码简明、较易学习、高生产力等，再加上Spark 基于内存的分布式计算框架/架构，还可以大幅提升性能，非常适合需要多次重复运算的机器学习算法，并且Spark 还可以存取 Hadoop HDFS 分布式存储的大量数据。
本书希望能够用浅显易懂的原理介绍和说明以及上机实践操作、范例程序来降低机器学习与大数据技术的学习门槛，带领读者进入机器学习和大数据的领域。当然，整个机器学习与大数据的生态系统非常庞大，需要学习的东西很多。读者通过本书学习，对机器学习和数据有了基本的概念后就比较容易踏入这个领域了，以便深入研究其他的相关技术。


林大贵

探索数据驱动的智能：Python、Spark、Hadoop与机器学习的深度融合 在这个数据爆炸的时代，如何有效地从海量信息中挖掘价值，构建出具备智能决策能力的系统，已经成为个人和企业面临的核心挑战。我们正处于一个技术快速迭代的时期，机器学习的进步如同燎原之火，而大数据技术的成熟则为这团火焰提供了生长的土壤。本书并非仅停留在理论的层面，而是聚焦于如何将这些强大的工具融会贯通，实实在在地解决现实世界中的大数据和机器学习问题。 本书的核心在于构建一个坚实的技术栈，让你能够驾驭当下最受欢迎和最具影响力的三大技术：Python、Apache Spark 和 Apache Hadoop。Python 以其简洁的语法、丰富的库生态和强大的社区支持，早已成为数据科学和机器学习领域的首选语言。而 Apache Spark，作为新一代的大数据处理引擎，以其内存计算的优势，极大地提升了数据处理的速度和效率，尤其在迭代式算法和交互式数据分析方面表现出色。Apache Hadoop，作为大数据领域的基石，提供了分布式存储（HDFS）和分布式计算（MapReduce）的强大能力，是处理PB级别数据的可靠选择。 本书将带领你深入理解这三者是如何协同工作的，形成一个强大而灵活的数据处理和分析平台。我们将从 Python 的数据处理基础讲起，逐步过渡到 Spark 的核心概念，包括 RDD、DataFrame 和 Spark SQL，理解其分布式计算的原理和优化策略。接着，我们将探讨 Hadoop 的 HDFS 文件系统和 MapReduce 编程模型，了解其在大规模数据存储和批处理方面的优势。更重要的是，本书将重点阐述如何在 Spark 和 Hadoop 的环境中，高效地运用 Python 来实现复杂的机器学习算法。 机器学习的奥秘：从理论到实践 机器学习是本书另一条重要的主线。我们不仅仅会介绍各种经典的机器学习算法，更重要的是，我们将关注如何在真实的大数据集上应用它们。本书将覆盖从监督学习到无监督学习，再到深度学习等不同范式下的关键算法。 在监督学习方面，我们将深入讲解： 线性回归与逻辑回归： 理解模型是如何学习数据中的线性关系和分类边界的，并学习如何在 Spark MLlib 中高效地训练和应用这些模型。 决策树与随机森林： 掌握如何构建解释性强的决策树模型，以及如何通过集成学习（随机森林）来提升模型的鲁棒性和准确性，并了解其在 Spark MLlib 中的实现。 支持向量机 (SVM)： 探索 SVM 如何通过核函数将数据映射到高维空间以实现非线性分类，以及在分布式环境下训练 SVM 的策略。 集成学习方法（如 Gradient Boosting）： 深入理解 Boosting 的原理，以及 XGBoost、LightGBM 等在实际大数据场景中表现优异的算法，并学习如何在 Spark 上集成和使用这些工具。 在无监督学习方面，我们将重点关注： 聚类算法（如 K-Means、DBSCAN）： 学习如何发现数据中的隐藏模式和分组，理解不同聚类算法的优缺点，以及如何在 Spark 中实现高效的分布式聚类。 降维技术（如 PCA）： 探索如何在高维数据中提取关键特征，降低数据维度，提升模型效率和可视化能力，并学习其在 Spark MLlib 中的应用。 关联规则挖掘（如 Apriori）： 理解如何在海量交易数据中发现项之间的关联性，例如“购买了 A 的顾客也很可能购买 B”，并学习其在大数据平台上的实现。 深度学习的前沿探索 随着深度学习的崛起，本书也将为你开启通往这一激动人心领域的大门。我们将介绍深度学习的基本概念，包括神经网络的构建、反向传播算法、激活函数、损失函数等。重点在于如何利用 Python 生态中最强大的深度学习框架，如 TensorFlow 和 PyTorch，并结合 Spark 来处理海量数据并训练复杂的深度神经网络。 神经网络基础： 从感知机到多层感知机，逐步理解神经网络的构成和工作原理。 卷积神经网络 (CNN)： 重点介绍 CNN 在图像识别和处理领域的强大能力，并学习如何在分布式环境下训练 CNN 模型。 循环神经网络 (RNN) 及其变种（LSTM, GRU）： 探索 RNN 如何处理序列数据，如文本和时间序列，并在 Spark 集群上进行训练。 分布式深度学习： 学习如何利用 Spark 将深度学习模型的训练任务分解到多个节点上，以处理无法在单机上容纳的巨大数据集，并加速训练过程。 实战为王：贯穿全书的案例分析 理论学习固然重要，但真正掌握一项技术，离不开大量的实践。本书将贯穿一系列精心设计的实战案例，涵盖了大数据和机器学习在不同领域的应用。这些案例不仅仅是代码的堆砌，更注重问题的建模、数据的预处理、模型的选择与调优，以及最终的评估和部署。 用户行为分析与个性化推荐： 利用 Spark 分析海量用户日志数据，构建用户画像，并实现基于协同过滤或内容推荐的个性化推荐系统。 欺诈检测： 运用机器学习算法，在海量交易数据中识别异常模式，构建高效的欺诈检测模型。 文本情感分析： 结合自然语言处理技术和机器学习，分析用户评论、社交媒体内容等文本数据，判断其情感倾向。 图像识别与分类： 利用深度学习模型，对海量图片数据进行训练，实现图像的自动分类和识别。 日志分析与故障预测： 通过对系统日志的分析，利用机器学习技术提前预测潜在的系统故障，提高系统的稳定性和可用性。 技术栈的深度融合与优化 本书的独特之处在于，它不仅仅是简单地介绍 Python、Spark 和 Hadoop 的各自特性，更在于深入探讨它们如何有机地结合，形成一个强大的解决方案。 Python 生态与 Spark 的集成： 学习如何利用 PySpark API，在 Spark 中无缝调用 Python 的机器学习库（如 Scikit-learn），以及如何利用 Pandas UDFs 来提升 DataFrame 的处理效率。 Spark SQL 与大数据查询： 深入理解 Spark SQL 的查询优化器，以及如何利用 SQL 语言在分布式环境下高效地查询和分析海量数据。 Hadoop 生态中的 Spark： 了解 Spark 如何运行在 Hadoop YARN 集群上，并利用 HDFS 进行数据存储，实现端到端的大数据处理流程。 性能优化与调优： 针对大数据处理和机器学习模型的训练，本书将提供一系列性能优化和调优的技巧，包括数据分区、缓存、Shuffle 调优、模型参数调优等，帮助你构建更高效、更具扩展性的系统。 部署与监控： 探讨在实际生产环境中如何部署 Spark 和 Hadoop 集群，以及如何进行有效的监控和故障排除。 谁适合阅读本书？ 本书适合以下人群： 数据科学家和机器学习工程师： 希望将机器学习技术应用于大规模数据集，并掌握分布式计算技能的专业人士。 大数据开发工程师： 想要深入理解 Spark 和 Hadoop 的工作原理，并学习如何在这些平台上进行高效的开发。 有一定编程基础，希望转向大数据和机器学习领域的开发者。 对数据驱动的智能解决方案充满好奇，并希望掌握核心技术的学生和研究人员。 通过本书的学习，你将不仅能够理解这些前沿技术的工作原理，更能掌握将它们转化为实际业务价值的动手能力。你将能够自信地构建、训练和部署复杂的机器学习模型，处理和分析海量数据，从而在数据驱动的智能时代脱颖而出。

评分☆☆☆☆☆

刚拿到这本《Python+Spark 2.0+Hadoop机器学习与大数据实战》，还没来得及深入翻阅，但光是目录和前言就足以让我对这本书充满了期待。作为一名在数据领域摸爬滚打了几年，但总感觉在大数据和机器学习的实战方面还不够扎实的从业者，我一直在寻找一本能够将理论与实践紧密结合，并且紧跟技术潮流的书籍。市面上关于Python和机器学习的书籍不在少数，但真正能将Spark 2.0和Hadoop的生态系统融会贯通，并将其应用于实际机器学习项目中的，却凤毛麟角。这本《Python+Spark 2.0+Hadoop机器学习与大数据实战》似乎正好填补了这一空白。从目录上看，它涵盖了从基础的环境搭建，到Spark的核心概念，再到各种经典的机器学习算法在Spark上的实现，最后还涉及到了模型部署和性能优化等实战环节。我尤其对其中关于如何利用Spark进行分布式特征工程和模型训练的部分感到兴奋，这正是我工作中经常遇到的瓶颈。此外，书中提到的一些案例，比如推荐系统和异常检测，都是我非常感兴趣的应用场景。我预感，这本书将成为我接下来一段时间内最常翻阅的技术参考书，它有望帮助我真正突破技术瓶颈，提升在大数据机器学习领域的实战能力。

评分☆☆☆☆☆

我最近一直在思考如何将我现有的Python数据分析能力提升到一个新的高度，特别是如何应对日益增长的数据规模和越来越复杂的分析需求。市面上关于Python机器学习的书籍很多，但往往缺乏对分布式计算和大规模数据处理的深入探讨。而《Python+Spark 2.0+Hadoop机器学习与大数据实战》这本书的出现，恰好满足了我对这一领域的需求。我之所以对此书抱有如此高的期望，是因为它不仅整合了Python、Spark 2.0和Hadoop这三个当下最热门的技术栈，更重要的是，它将这些技术与“机器学习”和“大数据实战”紧密结合。我非常关注书中关于如何利用Spark的分布式特性，对海量数据进行高效的特征工程和模型训练的章节。如果书中能够提供一些实际生产环境中常见的机器学习场景，例如用户画像构建、欺诈检测等，并详细展示如何使用Spark来解决这些问题，那么这本书的价值将是巨大的。我希望通过这本书，能够建立起一套完整的，从数据采集、预处理到模型构建、部署的大数据机器学习解决方案，从而在工作中能够更加从容地应对各种数据挑战。

评分☆☆☆☆☆

我是一名即将毕业的研究生，目前正在撰写关于大数据分析与机器学习的毕业论文。在文献调研的过程中，我发现《Python+Spark 2.0+Hadoop机器学习与大数据实战》这本书的内容与我的研究方向高度契合。特别是书中关于Spark 2.0的介绍，对我而言至关重要，因为Spark的内存计算和分布式处理能力，正是解决大规模数据分析问题的关键。我非常期待书中能够详细讲解Spark的API，以及如何利用Python语言与Spark进行交互，从而实现高效的数据处理和特征提取。同时，书中对于机器学习算法在Spark上的实现，我也充满了好奇。我希望能够学习到如何在分布式环境下，高效地训练各种机器学习模型，例如逻辑回归、决策树、支持向量机以及深度学习模型等。如果书中还能提供一些关于模型评估、调优以及部署的实践指导，那就更完美了。我相信，这本书将为我的毕业论文提供重要的理论支持和实践指导，帮助我更好地理解和掌握大数据机器学习的核心技术。

评分☆☆☆☆☆

说实话，刚看到这本书的书名，我有点担心它会不会过于理论化，毕竟“大数据”和“机器学习”这两个词汇往往伴随着海量的概念和复杂的数学公式。然而，当我打开它，第一眼看到的便是作者团队在序言中强调的“实战”二字，以及书中大量贴近实际业务场景的案例分析，我悬着的心顿时放了下来。我曾参加过一些短期的培训课程，虽然学到了一些零散的知识点，但总是缺乏一个系统性的框架来串联，更别提在实际工作中落地了。这本《Python+Spark 2.0+Hadoop机器学习与大数据实战》似乎就提供了一个非常清晰的蓝图。我特别关注到它在讲解Spark的RDD、DataFrame和Dataset API时，并非简单罗列API功能，而是通过具体的代码示例，演示如何在分布式环境下高效地处理海量数据。更让我惊喜的是，书中还深入探讨了机器学习算法在Spark上的并行化策略，这对于处理规模庞大的数据集至关重要。读完这本书，我希望能真正理解Spark是如何将复杂的机器学习任务分解、并行计算并最终整合结果的，从而在工作中能够更自信地运用这些工具解决实际问题，而不是停留在“知其然”的层面。

评分☆☆☆☆☆

对于我这样一名对大数据技术怀揣着浓厚兴趣，但又苦于无从下手的初学者而言，《Python+Spark 2.0+Hadoop机器学习与大数据实战》无疑是一盏指路的明灯。我之前尝试过阅读一些关于Spark和Hadoop的入门书籍，但往往因为过于关注底层原理或概念的晦涩难懂而半途而废。这本书的独特之处在于，它将Python这一易于上手的编程语言作为载体，将Spark 2.0和Hadoop这两个强大的大数据处理框架有机地结合起来，并在此基础上引入了机器学习这一极具吸引力的应用领域。我非常期待书中能够详细介绍如何搭建Spark和Hadoop的开发环境，这对于我来说是至关重要的一步。同时，书中关于如何利用Spark进行数据预处理、特征提取以及模型训练的讲解，如果能结合生动形象的案例，那就再好不过了。我希望通过这本书，我能够循序渐进地掌握大数据处理的基本流程，理解机器学习算法的原理，并能够独立完成一些简单的大数据机器学习项目，真正从“零基础”迈向“实战派”。

评分☆☆☆☆☆

框架很好，但细节不敢恭维。举个例子，alexnet，第五层卷积层relu的输入居然写成了第二层的输出，接下来池化后reshape应该是6*6*256写成13*13*256，其他错误地方也很多。我怀疑作者究竟认真校对了多少。不过瑕不掩瑜，对于初学者了解tf还是不错的

评分☆☆☆☆☆

比较坑的一点是，该书博客网址里只到了第五章，没有第六章及以后的内容。。。

评分☆☆☆☆☆

东西不错，很快就收到货了，也不是第一次购买了，选择京东主要还是速度快。东西还不错，就是价格变动挺大的，所以一定要等活动的时候购买。

评分☆☆☆☆☆

内容不错，入门学elasticsearch挺好的，天咯啦咯啦咯啦咯啦咯啦咯啦咯啦咯啦咯啦咯啦咯啦咯啦咯啦咯啦咯

评分☆☆☆☆☆

好书很有帮助，不断学习才能进步

评分☆☆☆☆☆

我们的生活方式都在家吃饭了没有什么时候能睡个觉了？我在外面等你们回来没有？我在外面吃饭了没有。我也不想你的人说的不是你说你不知道自己是否真的爱过的

评分☆☆☆☆☆

入门可以 两天看完 随便研究下

评分☆☆☆☆☆

可作为小白入门资料，讲解简单明了，但部分内容未做深入阐述，按照书中一步一步操作，体会更深。

评分☆☆☆☆☆

书包装完好无损，内容讲解很细致，需要好好研究学习，很棒的书