发表于2024-11-27
1.Hadoop集群安装与分散式运算和存储介绍
通过实机操作,学会如何安装Virtual Box、Ubuntu Linux、Hadoop单机与多台机器集群安装,并学会使用HDFS分散式存储与MapReduce分散式运算。
2.Python Spark 2.0安装
通过实机操作,学会安装Spark 2.0,并在本机与多台机器集群执行Python Spark应用程序。同时介绍如何在iPython Notebook互动界面执行Python Spark指令。安装eclipse整合开发界面,开发Python Spark应用程序,大幅提升程序开发生产力。
3.Python Spark SQL、DataFrame数据统计与数据可视化
Spark SQL 即使非程序设计人员,只需要懂得SQL语法,就可以使用。DataFrame API 可使用类SQL的方法,如select()、groupby()、count(),很容易进行统计,大幅降低大数据分析的学习门槛。Spark DataFrame可转换为Pandas DataFrame,运用Python丰富的数据可视化组件(例如matplotlib)进行数据可视化。
4.Python Spark MLlib机器学习
以大数据分析实际案例MoiveLens、StumbleUpon、CovType、BikeSharing介绍如何使用Python Spark运用机器学习演算法进行数据处理、训练、建立模型、训练验证找出*佳模型、预测结果。
5.Python Spark ML Pipeline机器学习流程
以大数据实际案例示范使用Python Spark ML Pipeline机器学习流程进行二元分类、多元分类、回归分析,将机器学习的每一个步骤建立成Pipeline流程:数据处理 →运算法训练数据→建立模型→找出*佳模型→预测结果。Spark ML Pipeline 通过内建数据处理模块与机器学习运算法,减轻数据分析师在程序设计上的负担。
《Python+Spark 2.0+Hadoop机器学习与大数据实战》从浅显易懂的“大数据和机器学习”原理说明入手,讲述大数据和机器学习的基本概念,如分类、分析、训练、建模、预测、机器学习(推荐引擎)、机器学习(二元分类)、机器学习(多元分类)、机器学习(回归分析)和数据可视化应用等。书中不仅加入了新近的大数据技术,还丰富了“机器学习”内容。
为降低读者学习大数据技术的门槛,书中提供了丰富的上机实践操作和范例程序详解,展示了如何在单机Windows系统上通过Virtual Box虚拟机安装多机Linux虚拟机,如何建立Hadoop集群,再建立Spark开发环境。《Python+Spark 2.0+Hadoop机器学习与大数据实战》中介绍搭建的上机实践平台并不限制于单台实体计算机。对于有条件的公司和学校,参照书中介绍的搭建过程,同样可以实现将自己的平台搭建在多台实体计算机上,以便更加接近于大数据和机器学习真实的运行环境。
《Python+Spark 2.0+Hadoop机器学习与大数据实战》非常适合于学习大数据基础知识的初学者阅读,更适合正在学习大数据理论和技术的人员作为上机实践用的教材。
林大贵,从事IT行业多年,在系统设计、网站开发、数字营销、商业智慧、大数据、机器学习等领域具有丰富的实战经验。
目 录
第1章 Python Spark机器学习与Hadoop大数据 1
1.1 机器学习的介绍 2
1.2 Spark的介绍 5
1.3 Spark数据处理 RDD、DataFrame、Spark SQL 7
1.4 使用Python开发 Spark机器学习与大数据应用 8
1.5 Python Spark 机器学习 9
1.6 Spark ML Pipeline机器学习流程介绍 10
1.7 Spark 2.0的介绍 12
1.8 大数据定义 13
1.9 Hadoop 简介 14
1.10 Hadoop HDFS分布式文件系统 14
1.11 Hadoop MapReduce的介绍 17
1.12 结论 18
第2章 VirtualBox虚拟机软件的安装 19
2.1 VirtualBox的下载和安装 20
2.2 设置VirtualBox存储文件夹 23
2.3 在VirtualBox创建虚拟机 25
2.4 结论 29
第3章 Ubuntu Linux 操作系统的安装 30
3.1 Ubuntu Linux 操作系统的安装 31
3.2 在Virtual设置Ubuntu虚拟光盘文件 33
3.3 开始安装Ubuntu 35
3.4 启动Ubuntu 40
3.5 安装增强功能 41
3.6 设置默认输入法 45
3.7 设置“终端”程序 48
3.8 设置“终端”程序为白底黑字 49
3.9 设置共享剪贴板 50
3.10 设置最佳下载服务器 52
3.11 结论 56
第4章 Hadoop Single Node Cluster的安装 57
4.1 安装JDK 58
4.2 设置SSH无密码登录 61
4.3 下载安装Hadoop 64
4.4 设置Hadoop环境变量 67
4.5 修改Hadoop配置设置文件 69
4.6 创建并格式化HDFS目录 73
4.7 启动Hadoop 74
4.8 打开Hadoop Resource-Manager Web界面 76
4.9 NameNode HDFS Web界面 78
4.10 结论 79
第5章 Hadoop Multi Node Cluster的安装 80
5.1 把Single Node Cluster复制到data1 83
5.2 设置VirtualBox网卡 84
5.3 设置data1服务器 87
5.4 复制data1服务器到data2、data3、master 94
5.5 设置data2服务器 97
5.6 设置data3服务器 100
5.7 设置master服务器 102
5.8 master连接到data1、data2、data3 创建HDFS目录 107
5.9 创建并格式化NameNode HDFS目录 110
5.10 启动Hadoop Multi Node Cluster 112
5.11 打开Hadoop ResourceManager Web界面 114
5.12 打开NameNode Web界面 115
5.13 停止Hadoop Multi Node Cluster 116
5.14 结论 116
第 6 章 Hadoop HDFS命令 117
6.1 启动Hadoop Multi-Node Cluster 118
6.2 创建与查看HDFS目录 120
6.3 从本地计算机复制文件到HDFS 122
6.4 将HDFS上的文件复制到本地计算机 127
6.5 复制与删除HDFS文件 129
6.6 在Hadoop HDFS Web用户界面浏览HDFS 131
6.7 结论 134
第7章 Hadoop MapReduce 135
7.1 简单介绍WordCount.java 136
7.2 编辑WordCount.java 137
7.3 编译WordCount.java 141
7.4 创建测试文本文件 143
7.5 运行WordCount.java 145
7.6 查看运行结果 146
7.7 结论 147
第8章 Python Spark的介绍与安装 148
8.1 Scala的介绍与安装 150
8.2 安装Spark 153
8.3 启动pyspark交互式界面 156
8.4 设置pyspark显示信息 157
8.5 创建测试用的文本文件 159
8.6 本地运行pyspark程序 161
8.7 在Hadoop YARN运行pyspark 163
8.8 构建Spark Standalone Cluster运行环境 165
8.9 在Spark Standalone运行pyspark 171
8.10 Spark Web UI界面 173
8.11 结论 175
Python+Spark 2.0+Hadoop机器学习与大数据实战 下载 mobi pdf epub txt 电子书 格式 2024
Python+Spark 2.0+Hadoop机器学习与大数据实战 下载 mobi epub pdf 电子书第二遍,精读(跳读)。这时候就需要带上笔和笔记本了。一般我的做法是先从最近需要掌握的技术点开始读起,边读边把一些重要的概念用笔画起来,自己认为重要的知识点就直接摘抄在笔记本。读完之后,再把写在笔记本上的笔记写在电脑的印象笔记或为知笔记上(这里相当复习了一次),然后在自己的手机上也下载一个这样的笔记app,把笔记同步下来。我都是在上班坐车的十来分钟里,用手机看看自己的笔记(又复习了一次)。这样多次的复习,怎样都会记得了吧。
评分清华大学的《tensorflow深度学习应用实践》,看了目录就知道且实是我需要的书,赞一个
评分好好好。。。。。。
评分跟踪一下当前热点,人工智能
评分书的内容像是博客文,没有一些关键操作的解读,适合有一点经验的人阅读。使用的软件也比较老,用的是python2。不过每一个步骤都很详细书的印刷和排版很好。
评分东西不错,很快就收到货了,也不是第一次购买了,选择京东主要还是速度快。东西还不错,就是价格变动挺大的,所以一定要等活动的时候购买。
评分使用方便,京东购物速度快,一直相信京东!
评分凑单有的,暂时还没时间细读。
评分书挺厚的,粗略翻了翻,很多配图,跟着操作练习一下还是可以的
Python+Spark 2.0+Hadoop机器学习与大数据实战 mobi epub pdf txt 电子书 格式下载 2024