Spark最佳實踐

Spark最佳實踐 下載 mobi epub pdf 電子書 2024


簡體網頁||繁體網頁
陳歡,林世飛 著



點擊這裡下載
    

想要找書就要到 圖書大百科
立刻按 ctrl+D收藏本頁
你會得到大驚喜!!

發表於2024-12-24

類似圖書 點擊查看全場最低價


圖書介紹

齣版社: 人民郵電齣版社
ISBN:9787115422286
版次:1
商品編碼:11923673
包裝:平裝
叢書名: 圖靈原創
開本:16開
齣版時間:2016-05-01
用紙:膠版紙
頁數:210
正文語種:中文


相關圖書





圖書描述

編輯推薦

  1.UCloud季昕華、Databricks連城,阿裏鬍熠,棒米科技武澤勝,騰訊肖磊靳誌輝徐羽等聯袂推薦!
  2.騰訊專傢首次分享Spark實踐,作者均為騰訊一綫員工,擁有豐富的實戰經驗
  3.基於真實數據,用案例分析全麵解讀大數據應用設計
  4.騰訊傑齣研發者的Spark實踐,揭秘廣告和推薦係統核心技術

內容簡介

  本書是Spark實戰指南,全書共分8章。前4章介紹Spark的部署、工作機製和內核,後4章分彆通過實戰項目介紹SparkSQL、SparkStreaming、SparkGraphX和SparkMLib功能模塊。此外,本書詳細介紹瞭常見的實戰問題,比如大數據環境下的配置設置、程序調優等。本書附帶的一鍵安裝腳本,更能為初學者提供很大幫助。

作者簡介

  陳歡,騰訊傑齣程序員,15年編碼經驗,曾任職網絡安全、互聯網金融等部門,親手從零建設瞭財付通業務的Spark集群,並使之同時支持SQL、實時計算、機器學習等多種數據計算場景。他目前就職於騰訊社交與效果廣告部,從事大數據分析工作。

  林世飛,騰訊傑齣研究員,2005年加入騰訊,先後在無綫産品、安全中心、搜索平颱、開放平颱、社交與效果廣告部等部門從事開發和團隊管理工作。他對網絡安全、搜索引擎、數據挖掘、機器學習有一定瞭解,熱衷知識傳播和分享,曾獲騰訊學院2009年年度傑齣講師。目前,他就職於社交與效果廣告部,負責廣告係統相關的研發工作。

目錄

第1 章 Spark 與大數據 1
1.1 大數據的發展及現狀 1
1.1.1 大數據時代所麵臨的問題 1
1.1.2 榖歌的大數據解決方案 2
1.1.3 Hadoop 生態係統 3
1.2 Spark 應時而生 4
1.2.1 Spark 的起源 4
1.2.2 Spark 的特點 5
1.2.3 Spark 的未來發展 6
第2 章 Spark 基礎 8
2.1 Spark 本地單機模式體驗 8
2.1.1 安裝虛擬機 8
2.1.2 安裝JDK 19
2.1.3 下載Spark 預編譯包 21
2.1.4 本地體驗Spark 22
2.2 高可用Spark 分布式集群部署 25
2.2.1 集群總覽 26
2.2.2 集群機器的型號選擇 28
2.2.3 初始化集群機器環境 29
2.2.4 部署ZooKeeper 集群 33
2.2.5 編譯Spark 35
2.2.6 部署Spark Standalone 集群 37
2.2.7 高可用Hadoop 集群 40
2.2.8 讓Spark 運行在YARN 上 40
2.2.9 一鍵部署高可用Hadoop +
Spark 集群 42
2.3 Spark 編程指南 43
2.3.1 交互式編程 43
2.3.2 RDD 創建 44
2.3.3 RDD 操作 47
2.3.4 使用其他語言開發Spark 程序 54
2.4 打包和提交 54
2.4.1 編譯、鏈接、打包 54
2.4.2 提交 56
第3 章 Spark 工作機製 58
3.1 調度管理 58
3.1.1 集群概述及名詞解釋 58
3.1.2 Spark 程序之間的調度 60
3.1.3 Spark 程序內部的調度 63
3.2 內存管理 65
3.2.1 RDD 持久化 65
3.2.2 共享變量 66
3.3 容錯機製 67
3.3.1 容錯體係概述 67
3.3.2 Master 節點失效 68
3.3.3 Slave 節點失效 69
3.4 監控管理 69
3.4.1 Web 界麵 69
3.4.2 REST API 72
3.4.3 Metrics 指標體係 73
3.4.4 其他監控工具 73
3.5 Spark 程序配置管理 73
3.5.1 Spark 程序配置加載過程 74
3.5.2 環境變量配置 74
3.5.3 Spark 屬性項配置 74
3.5.4 查看當前的配置 76
3.5.5 配置Spark 日誌 76
第4 章 Spark 內核講解 77
4.1 Spark 核心數據結構RDD 77
4.1.1 RDD 的定義 78
4.1.2 RDD 的Transformation 80
4.1.3 RDD 的Action 82
4.1.4 Shuffle 83
4.2 SparkContext 84
4.2.1 SparkConf 配置 84
4.2.2 初始化過程 85
4.2.3 其他功能接口 87
4.3 DAG 調度 87
4.3.1 DAGScheduler 87
4.3.2 TaskScheduler 90
第5 章 Spark SQL 與數據倉庫 92
5.1 Spark SQL 基礎 93
5.1.1 分布式SQL 引擎 93
5.1.2 支持的SQL 語法 97
5.1.3 支持的數據類型 98
5.1.4 DataFrame 99
5.1.5 DataFrame 數據源 103
5.1.6 性能調優 104
5.2 Spark SQL 原理和運行機製 104
5.2.1 Spark SQL 整體架構 105
5.2.2 Catalyst 執行優化器 105
5.3 應用場景:基於淘寶數據建立電商
數據倉庫 110
5.3.1 電商數據倉庫場景 111
5.3.2 數據準備和錶設計 111
5.3.3 用Spark SQL 來完成日常運營
數據分析 115
5.3.4 Spark SQL 在大規模數據下的
性能錶現 120
第6 章 Spark 流式計算 122
6.1 Spark Streaming 基礎知識 123
6.1.1 入門簡單示例 123
6.1.2 基本概念 124
6.1.3 高級操作 129
6.2 深入理解Spark Streaming 132
6.2.1 DStream 的兩類操作 132
6.2.2 容錯處理 134
6.2.3 性能調優 136
6.2.4 與Storm 的對比 137
6.3 應用場景:一個類似百度統計的流式
實時係統 139
6.3.1 Web log 實時統計場景 139
6.3.2 日誌實時采集 140
6.3.3 流式分析係統實現 140
第7 章 Spark 圖計算 149
7.1 什麼是圖計算 149
7.1.1 圖的基本概念 149
7.1.2 圖計算的應用 150
7.2 Spark GraphX 簡介 151
7.2.1 GraphX 實現 151
7.2.2 GraphX 常用API 介紹 152
7.3 應用場景:基於新浪微博數據的社交
網絡分析 153
7.3.1 社交網絡分析的主要應用 153
7.3.2 社區發現算法簡介 154
7.3.3 用GraphX 實現Louvain
算法 156
7.3.4 小試牛刀:誰是你的閨蜜 162
7.3.5 真實的場景:新浪微博關係
分析 164
第8 章 Spark MLlib 169
8.1 機器學習簡介 169
8.1.1 什麼是機器學習 169
8.1.2 機器學習示例 171
8.1.3 機器學習的基本方法 172
8.1.4 機器學習的常見技巧 173
8.1.5 機器學習參考資料 174
8.2 MLlib 庫簡介 174
8.2.1 基礎數據類型 174
8.2.2 主要的庫 175
8.2.3 附帶的示例程序 176
8.3 應用場景:搜索廣告點擊率
預估係統 178
8.3.1 應用場景 178
8.3.2 邏輯迴歸 179
8.3.3 學習算法 181
8.3.4 模型評估 184
8.3.5 數據準備 186
8.3.6 模型訓練 187
8.3.7 模型調優 195
附錄 Scala 語言參考 197

前言/序言


Spark最佳實踐 下載 mobi epub pdf txt 電子書 格式

Spark最佳實踐 mobi 下載 pdf 下載 pub 下載 txt 電子書 下載 2024

Spark最佳實踐 下載 mobi pdf epub txt 電子書 格式 2024

Spark最佳實踐 下載 mobi epub pdf 電子書
想要找書就要到 圖書大百科
立刻按 ctrl+D收藏本頁
你會得到大驚喜!!

用戶評價

評分

本書介紹瞭Spark的基礎知識,從利用Spark API來載入和處理數據,到將數據作為多種機器學習模型的輸入。此外還通過詳細的例子和現實應用講解瞭常見的機器學習模型,包括推薦係統、分類、迴歸、聚類和降維。另外還介紹瞭一些高階內容,如大規模文本數據的處理,以及Spark Streaming下的在綫機器學習和模型評估方法。

評分

快遞一如既往的快,快遞小哥服務很好,好評,書本適閤入門,不錯,贊一個

評分

一般一般而已

評分

書保護措施不錯,有塑料膜抱著,沒有破損

評分

書不錯,給單位買的,挺好的,值得推薦

評分

昨天買的,今天就到瞭,京東就是快,書的質量很好,不過這些書真是貴呀。

評分

內容精悍,實用!

評分

就這樣,還行,自己研究吧

評分

發貨很快,書的質量不錯,簡單易懂,一天就看瞭幾章,不過要掌握還是難度大點

類似圖書 點擊查看全場最低價

Spark最佳實踐 mobi epub pdf txt 電子書 格式下載 2024


分享鏈接




相關圖書


本站所有內容均為互聯網搜索引擎提供的公開搜索信息,本站不存儲任何數據與內容,任何內容與數據均與本站無關,如有需要請聯繫相關搜索引擎包括但不限於百度google,bing,sogou

友情鏈接

© 2024 book.teaonline.club All Rights Reserved. 圖書大百科 版權所有