发表于2024-12-26
图书基本信息 | |
图书名称 | spark streaming 实时流处理入门与精通 |
作者 | (美)Sumit Gupta(苏密特·古普塔),韩燕波 |
定价 | 39.00元 |
出版社 | 电子工业出版社 |
ISBN | 9787121310492 |
出版日期 | 2017-04-01 |
字数 | |
页码 | |
版次 | 1 |
装帧 | 平装-胶订 |
开本 | 16开 |
商品重量 | 0.4Kg |
内容简介 | |
本书主要对Spark和Spark的安装、配置、主要架构和组件进行介绍,并介绍如何利用SparkStreaming进行实时数据的处理,讨论利用Spark Streaming的多种API和操作进行近实时的分布式日志流的处理。本书要求读者对Scala有很好的认识和理解,以便能够利用核心组件和应用进行高效编程。 |
作者简介 | |
Sumit Gupta从事设计、管理并提供各种业务领域(如酒店业务,医疗保健,风险管理,保险业务等)的企业解决方案将近9年以上,是业内经验丰富的专家、技术创新者和传播者。他热爱技术,在软件行业拥有14年的实践经验。在过去4~5年中一直使用大数据和云计算技术来解决复杂的业务问题。 现任北方工业大学教授、北方工业大学云计算研究中心主任。现兼任中国计算机学会服务计算专业委员会副主任、中国电子学会云计算专家委员会委员、计算机学报编委。曾就职于德国国家计算机研究中心、德国弗郎霍夫软件技术研究所和美国大规模分布系统实验室等机构。2000年被聘为中科院计算技术研究所研究员,入选中科院海外杰出人才计划(中科院百人计划,2001期)。曾任中科院研究生院教授、博士生导师、中科院计算技术研究所网格与服务计算研究中心主任、软件集成与服务计算研究分中心主任、中德软件集成技术联合实验室主任。在数据库、工作流、分布对象中间件、移动计算、网格计算等多个领域主持完成了863重点项目、国家基金重点项目、973子项等30项研究课题,发表论文140余篇,出版专著4部。申报或合作申报发明和软件登记50项,其中已向工业界转化5项。是目前国内关于云计算方面研究的*科学家。 |
目录 | |
目录 第1章Spark和Spark Streaming的安装与配置1 安装Spark2 硬件需求2 软件需求4 安装Spark扩展——Spark Streaming7 配置和运行Spark集群8 你的个Spark程序11 用Scala编码Spark作业12 用Java开发Spark作业15 管理员/开发者工具18 集群管理 18 提交Spark作业19 故障定位 20 配置端口号 20 类路径问题——类没有发现 20 其他常见异常20 总结21 第2章Spark和Spark Streaming的体系结构与组件23 批处理和实时数据处理的比较24 批处理24 实时数据处理26 Spark的体系结构28 Spark对比Hadoop28 Spark的层次化结构29 Spark Streaming的体系结构31 Spark Streaming是什么32 Spark Streaming的上层体系结构32 你的个Spark Streaming程序34 用Scala编码Spark Streaming作业34 用Java编码Spark Streaming作业37 客户端程序39 打包和部署一个Spark Streaming作业41 总结43 第3章实时处理分布式日志文件45 Spark的封装结构和客户端API46 Spark内核48 Spark库及扩展54 弹性分布式数据集及离散流58 弹性分布式数据集59 离散流63 从分布的、多样的数据源中加载数据65 Flume 框架67 Flume的安装和配置69 配置Spark以接收Flume事件73 封装和部署Spark Streaming作业77 分布式日志文件处理的总体架构77 总结78 第4章在流数据中应用Transformation79 理解并应用Transformation功能80 模拟日志流80 功能操作82 转换操作89 窗口操作91 性能调优94 分块和并行化94 序列化94 Spark内存调优95 总结97 第5章日志分析数据的持久化99 Spark Streaming的输出操作100 集成Cassandra110 安装和配置Apache Cassandra110 配置Spark112 通过编写Spark作业将流式网页日志存入Cassandra113 总结120 第6章与Spark高级库集成121 实时查询流数据122 了解Spark SQL122 集成Spark SQL与流数据129 图的分析——Spark GraphX135 GraphX API介绍137 集成Spark Streaming140 总结147 第7章产品部署149 Spark部署模式150 部署在Apache Mesos上151 部署在Hadoop或者YARN上156 高可用性和容错性160 单机模式下的高可用性160 Mesos或者YARN下的高可用性162 容错性162 Streaming 作业的监听166 应用程序UI界面/作业UI界面166 与其他监控工具的集成169 总结170 |
编辑推荐 | |
文摘 | |
暂无相关内容 |
序言 | |
暂无相关内容 |
正版书籍 spark streaming 实时流处理入门与精通 下载 mobi pdf epub txt 电子书 格式 2024
正版书籍 spark streaming 实时流处理入门与精通 下载 mobi epub pdf 电子书正版书籍 spark streaming 实时流处理入门与精通 mobi epub pdf txt 电子书 格式下载 2024