Spark SQL入門與實踐指南 下載 mobi epub pdf 電子書 2024

☆☆☆☆☆
簡體網頁||繁體網頁



點擊這裡下載

類似圖書 點擊查看全場最低價

---

産品特色

編輯推薦

適讀人群 ：Spark初學者、Spark數據分析人員以及Spark程序開發人員

(1)講解Spark SQL背景知識、編程基礎
(2)通過一個工程實例讓讀者領略Spark SQL強大簡便的分析能力
(3)學習構建一個大數據實際應用的方法，加強工程思維
(4)洞悉Spark的調優方式及其思想，讓Spark SQL程序高效運行

內容簡介

Spark SQL是 Spark大數據框架的一部分，支持使用標準SQL查詢和HiveQL來讀寫數據，可用於結構化數據處理，並可以執行類似SQL的Spark數據查詢，有助於開發人員更快地創建和運行Spark程序。
全書分為4篇，共9章，第一篇講解瞭Spark SQL 發展曆史和開發環境搭建。第二篇講解瞭Spark SQL 實例，使得讀者掌握Spark SQL的入門操作，瞭解Spark RDD、DataFrame和DataSet，並熟悉 DataFrame 各種操作。第三篇講解瞭基於WiFi探針的商業大數據分析項目，實例中包含數據采集、預處理、存儲、利用Spark SQL 挖掘數據，一步一步帶領讀者學習Spark SQL強大的數據挖掘功能。第四篇講解瞭Spark SQL 優化的知識。
本書適閤Spark初學者、Spark數據分析人員以及Spark程序開發人員，也適閤高校和培訓學校相關專業的師生教學參考。

作者簡介

紀 涵，數據挖掘、雲計算愛好者，曾負責多個中小型網站的開發維護工作，曾參與開發設計多款麵嚮校園服務的App，參與開發設計過多個基於Hadoop、Spark平颱的大數據應用，有著豐富的流數據、結構化數據處理經驗，現主要研究方嚮為機器學習、數據挖掘。

目錄

第一部分 入門篇
第1章 初識Spark SQL 3
1.1 Spark SQL的前世今生 3
1.2 Spark SQL能做什麼 4
第2章 Spark安裝、編程環境搭建以及打包提交 6
2.1 Spark的簡易安裝 6
2.2 準備編寫Spark應用程序的IDEA環境 10
2.3 將編寫好的Spark應用程序打包成jar提交到Spark上 18
第二部分 基礎篇
第3章 Spark上的RDD編程 23
3.1 RDD基礎 24
3.1.1 創建RDD 24
3.1.2 RDD轉化操作、行動操作 24
3.1.3 惰性求值 25
3.1.4 RDD緩存概述 26
3.1.5 RDD基本編程步驟 26
3.2 RDD簡單實例—wordcount 27
3.3 創建RDD 28
3.3.1 程序內部數據作為數據源 28
3.3.2 外部數據源 29
3.4 RDD操作 33
3.4.1 轉化操作 34
3.4.2 行動操作 37
3.4.3 惰性求值 38
3.5 嚮Spark傳遞函數 39
3.5.1 傳入匿名函數 39
3.5.2 傳入靜態方法和傳入方法的引用 40
3.5.3 閉包的理解 41
3.5.4 關於嚮Spark傳遞函數與閉包的總結 42
3.6 常見的轉化操作和行動操作 42
3.6.1 基本RDD轉化操作 43
3.6.2 基本RDD行動操作 48
3.6.3 鍵值對RDD 52
3.6.4 不同類型RDD之間的轉換 56
3.7 深入理解RDD 57
3.8 RDD 緩存、持久化 59
3.8.1 RDD緩存 59
3.8.2 RDD持久化 61
3.8.3 持久化存儲等級選取策略 63
3.9 RDD checkpoint容錯機製 64
第4章 Spark SQL編程入門 66
4.1 Spark SQL概述 66
4.1.1 Spark SQL是什麼 66
4.1.2 Spark SQL通過什麼來實現 66
4.1.3 Spark SQL 處理數據的優勢 67
4.1.4 Spark SQL數據核心抽象——DataFrame 67
4.2 Spark SQL編程入門示例 69
4.2.1 程序主入口：SparkSession 69
4.2.2 創建 DataFrame 70
4.2.3 DataFrame基本操作 70
4.2.4 執行SQL查詢 72
4.2.5 全局臨時錶 73
4.2.6 Dataset 73
4.2.7 將RDDs轉化為DataFrame 75
4.2.8 用戶自定義函數 78
第5章 Spark SQL的DataFrame操作大全 82
5.1 由JSON文件生成所需的DataFrame對象 82
5.2 DataFrame上的行動操作 84
5.3 DataFrame上的轉化操作 91
5.3.1 where條件相關 92
5.3.2 查詢指定列 94
5.3.3 思維開拓：Column的巧妙應用 99
5.3.4 limit操作 102
5.3.5 排序操作：order by和sort 103
5.3.6 group by操作 106
5.3.7 distinct、dropDuplicates去重操作 107
5.3.8 聚閤操作 109
5.3.9 union閤並操作 110
5.3.10 join操作 111
5.3.11 獲取指定字段統計信息 114
5.3.12 獲取兩個DataFrame中共有的記錄 116
5.3.13 獲取一個DataFrame中有另一個DataFrame中沒有的記錄 116
5.3.14 操作字段名 117
5.3.15 處理空值列 118
第6章 Spark SQL支持的多種數據源 121
6.1 概述 121
6.1.1 通用load/save 函數 121
6.1.2 手動指定選項 123
6.1.3 在文件上直接進行SQL查詢 123
6.1.4 存儲模式 123
6.1.5 持久化到錶 124
6.1.6 bucket、排序、分區操作 124
6.2 典型結構化數據源 125
6.2.1 Parquet 文件 125
6.2.2 JSON 數據集 129
6.2.3 Hive錶 130
6.2.4 其他數據庫中的數據錶 133
第三部分 實踐篇
第7章 Spark SQL 工程實戰之基於WiFi探針的商業大數據分析技術 139
7.1 功能需求 139
7.1.1 數據收集 139
7.1.2 數據清洗 140
7.1.3 客流數據分析 141
7.1.4 數據導齣 142
7.2 係統架構 142
7.3 功能設計 143
7.4 數據庫結構 144
7.5 本章小結 144

前言/序言

　　前 言
　　我們處於一個數據爆炸的時代！
　　大量湧現的智能手機、平闆、可穿戴設備及物聯網設備每時每刻都在産生新的數據，然而帶來革命性變革的並非海量數據本身，而是我們如何從這些數據中挖掘到有價值的信息，來輔助我們做齣更加智能的決策。我們知道，在生産環境下，所謂的大數據往往是由數韆萬條、上億條具有多個預定義字段的數據單元組成的數據集，是不是很像傳統關係型數據庫的二維數據錶呢？那麼我們是否也能找到一個像SQL查詢那樣簡便的工具來高效地分析處理大數據領域中的海量結構化數據呢？沒錯，這個工具就是Spark SQL。
　　Spark SQL是Spark 用來操作結構化數據的高級模塊，在程序中通過引入Spark SQL模塊，我們便可以像從前在關係型數據庫利用SQL（結構化查詢語言）分析關係型數據庫錶一樣簡單快捷地在Spark大數據分析平颱上對海量結構化數據進行快速分析，而 Spark 平颱屏蔽瞭底層分布式存儲、計算、通信的細節以及作業解析、調度的細節，使我們開發者僅需關注如何利用SQL 進行數據分析的程序邏輯就可以方便地操控集群來分析我們的數據。
　　本書內容
　　本書共分為四篇：入門篇、基礎篇、實踐篇、調優篇，所有代碼均采用簡潔而優雅的Scala語言編寫，Spark框架也是使用Scala語言編寫的。
　　第一部分 入門篇（第1、2章）
　　第1章簡要介紹Spark的誕生、Spark SQL的發展曆史以及Spark SQL的用處等內容，使讀者快速瞭解Spark SQL背景知識，為以後的學習奠定基礎。
　　第2章通過講解Spark SQL開發環境的搭建、Spark作業的打包提交、常見問題的解答，並結閤大量圖示，使讀者快速掌握開發環境的搭建以及提交應用程序到集群上，為後麵章節的學習奠定堅實的基礎。
　　第二部分 基礎篇（第3、4、5、6章）
　　第3章是真正開始學習Spark SQL必要的先修課，其中詳盡地介紹瞭Spark框架對數據的核心抽象——RDD（彈性分布式數據集）的方方麵麵。先介紹與RDD相關的基本概念，例如轉化操作、行動操作、惰性求值、緩存，講解的過程伴隨著豐富的示例，旨在提高讀者對RDD的理解與加強讀者的RDD編程基礎。在講明白RDD中基礎內容的同時，又深入地剖析瞭疑點、難點，例如RDD Lineage（RDD依賴關係圖）、嚮Spark傳遞函數、對閉包的理解等。在之前對基本類型RDD的學習基礎上，又引入瞭對特殊類RDD——鍵值對RDD的大緻介紹，在鍵值對RDD介紹中對combineByKey操作的講解，深入地從代碼實現的角度洞悉瞭Spark分布式計算的實質，旨在幫助對RDD有著濃厚興趣的讀者做進一步的拓展。最後，站在RDD設計者的角度重新審視瞭RDD緩存、持久化、checkpoint機製，從而詮釋瞭RDD為什麼能夠很好地適應大數據分析業務的特點，有天然強大的容錯性、易恢復性和高效性。
　　第4章對Spark高級模塊——Spark SQL，也就是本書的主題，進行瞭簡明扼要的概述，並講述瞭相應的Spark SQL編程基礎。先是通過與前一章所學的Spark對數據的核心抽象——RDD的對比，引齣瞭Spark SQL中核心的數據抽象——DataFrame，講解瞭兩者的異同，點明瞭Spark SQL是針對結構化數據處理的高級模塊的原因在於其內置豐富結構信息的數據抽象。後一部分通過豐富的示例講解瞭如何利用Spark SQL模塊來編程的主要步驟，例如，從結構化數據源中創建DataFrames、DataFrames基本操作以及執行SQL查詢等。
　　第5、6章屬於 Spark SQL編程的進階內容，也是我們將Spark SQL應用於生産、科研計算環境下，真正開始分析多類數據源、實現各種復雜業務需求必須要掌握的知識。在第5章裏，我們以包含簡單且典型的學生信息錶的JSON文件作為數據源，深入對DataFrame豐富強大的API進行研究，以操作講解加示例的形式包攬瞭DataFrame中每一個常用的行動、轉化操作，進而幫助讀者輕鬆高效地組閤使用DataFrame所提供的API來實現業務需求。在第6章裏，介紹瞭Spark SQL 可處理的各種數據源，包括Hive錶、JSON和Parquet文件等，從廣度上使讀者瞭解Spark SQL在大數據領域對典型結構化數據源的皆可處理性，從而使讀者真正在工作中掌握一門結構化數據的分析利器。
　　第三部分 實踐篇（第7、8章）
　　第7章通過講解大型商業實例項目（基於WiFi探針的商業大數據分析技術）的功能需求、係統架構、功能設計、數據庫結構來幫助讀者理解如何在實際開發中應用Spark SQL來處理結構化數據，加強讀者的工程思維，同時為第8章的學習做好鋪墊。
　　第8章通過講解分布式環境搭建以及項目代碼的解析來幫助讀者進一步理解Spark SQL應用程序的執行過程，在後一部分介紹瞭Spark SQL程序的遠程調試方法和Spark 的Web 界麵，幫助讀者更加方便地瞭解程序的運行狀態。
　　第四部分 調優篇（第9章）
　　調優篇由第9章組成，本篇從Spark的執行流程到內存以及任務的劃分，再到Spark應用程序的編寫技巧，接著到Spark本身的調優，最後引齣數據傾斜的解決思路，層層遞進，逐步解析Spark的調優思想。最後以對Spark 執行引擎 Tungsten與Spark SQL的解析引擎Catalyst的介紹作為本部分的結尾。筆者將在本篇中帶領讀者掌握Spark的調優方式以及思想，讓Spark程序再快一點。
　　本書適閤讀者
　　本書適閤於學習數據挖掘、有海量結構化數據分析需求的大數據從業者及愛好者閱讀，也可以作為高等院校相關專業的教材。建議在學習本書內容的過程中，理論聯係實際，獨立進行一些代碼的編寫，采取開放式的實驗方法，即讀者自行準備實驗數據和實驗環境，解決實際問題，最終達到理論聯係實際的目的。
　　本書在寫作過程中得到瞭傢人以及本書編輯的大力支持，在此對他們一並錶示感謝。
　　本書由紀涵（主要負責基礎篇的編寫）主筆，其他參與著作的還有靖曉文（主要負責實踐篇的編寫）、趙政達（主要負責入門篇、調優篇的編寫），排名不分先後。
　　紀 涵
　　2018年2月

Spark SQL入門與實踐指南 下載 mobi epub pdf txt 電子書 格式

評分☆☆☆☆☆

從第6章開始，寫的就太敷衍太不走心瞭。很多東西一帶而過。第七章需求分析還可以，第八章真正實戰，那代碼個人認為真是實習生水平，大數據場景下，到處用collect，到處是循環裏套循環中間加sql。代碼幾乎很少有注釋，聲明的變量沒有一個有注釋的。

評分☆☆☆☆☆

入門很好的一本書

評分☆☆☆☆☆

此用戶未填寫評價內容

評分☆☆☆☆☆

還行

評分☆☆☆☆☆

適閤入門學習的一本書。

評分☆☆☆☆☆

入門很好的一本書

評分☆☆☆☆☆

入門很好的一本書

評分☆☆☆☆☆

花枝招展是準備準備準備準備準備準備準備

評分☆☆☆☆☆

還行

類似圖書 點擊查看全場最低價