Spark大數據處理技術 下載 mobi epub pdf 電子書 2024

産品特色

編輯推薦

　　為數不多全麵介紹Spark及Spark生態圈相關技術的技術書籍
　　俯覽未來大局，不失精細剖析，呈現一個現代大數據框架的架構原理和實現細節
　　透徹講解Spark原理和架構，以及部署模式、調度框架、存儲管理及應用監控等重要模塊
　　Spark生態圈深度檢閱：SQL處理Shark和Spark SQL、流式處理Spark Streaming、圖計算Graphx及內存文件係統Tachyon

內容簡介

　　《Spark大數據處理技術》是一本全麵介紹Spark及Spark生態圈相關技術的書籍，是國內首本深入介紹Spark原理和架構的技術書籍。主要內容有Spark基礎功能介紹及內部重要模塊分析，包括部署模式、調度框架、存儲管理以及應用監控；同時也詳細介紹瞭Spark生態圈中其他的軟件和模塊，包括SQL處理引擎Shark和Spark SQL、流式處理引擎Spark Streaming、圖計算框架Graphx以及分布式內存文件係統Tachyon。《Spark大數據處理技術》從概念和原理上對Spark核心框架和生態圈做瞭詳細的解讀，並對Spark的應用現狀和未來發展做瞭一定的介紹，旨在為大數據從業人員和Spark愛好者提供一個更深入學習的平颱。
　　《Spark大數據處理技術》適閤任何大數據、Spark領域的從業人員閱讀，同時也為架構師、軟件開發工程師和大數據愛好者展現瞭一個現代大數據框架的架構原理和實現細節。相信通過學習《Spark大數據處理技術》，讀者能夠熟悉和掌握Spark這一當前流行的大數據框架，並將其投入到生産實踐中去。

作者簡介

　　夏俊鸞，現任阿裏巴巴數據平颱部高級技術專傢，Apache Spark項目Committer，曾就職於英特爾亞太研發中心，微博賬號@Andrew-Xia。
　　
　　　　劉旭暉，現任蘑菇街數據平颱資深架構師（花名天火），曾就職於英特爾亞太研發中心大數據軟件部，Spark/Hadoop/Hbase/Phoenix 等眾多大數據相關開源項目的積極貢獻者。樂於分享，著有CSDN博客 blog.csdn.net/colorant。
　　
　　　　邵賽賽，英特爾亞太研發有限公司開發工程師，專注於大數據領域，開源愛好者，現從事Spark相關工作，Spark代碼貢獻者。
　　
　　　　程浩，英特爾大數據技術團隊軟件工程師，Shark和Spark SQL活躍開發者，緻力於SQL on Big Data的性能調優與優化。
　　
　　史鳴飛，英特爾亞太研發有限公司大數據軟件部工程師，專注於大數據領域，主要從事Spark及相關項目的開發及應用，Spark及Shark代碼貢獻者，現在主要投身於Tachyon項目的開發。
　　
　　　　黃潔，目前就職於英特爾亞太研發中心大數據技術中心，擔任高級軟件工程師，緻力於大數據技術的性能優化及開發工作，涉及Hadoop、Spark、HBase等開源項目。在多年的工作過程中，積纍瞭一定的分布式大數據框架性能調優經驗，並且是Apache Chukwa項目的PMC成員和Committer。在此之前，畢業於上海交通大學並獲碩士及學士學位。

內頁插圖

精彩書評

　　★Spark的高速發展導緻瞭中文信息的脫節。這本書深入淺齣地介紹瞭Spark和Spark上多個重要計算框架，希望它的問世可以更好地在大中華地區普及Spark，增進華人Spark社區的發展。
　　——Databricks大數據公司聯閤創始人 Apache Spark PMC Member 辛湜
　　
　　★Apache Spark對一體化大數據流水綫的搭建進行瞭前所未有的簡化。然而，在大數據領域固有的復雜性麵前，要交付高效穩定的數據産品，開發者仍有必要對框架細節有充分的瞭解。本書詳細介紹瞭Spark主體框架中為關鍵的執行流程，相信可以為讀者在基於Spark的大數據係統設計和調優方麵提供有效的指導。
　　——Databricks工程師 連城
　　
　　★隨著大數據時代的到來，企業數據每天都在急劇快速膨脹，如何發掘這些數據的價值，需要一種高效而穩定的分布式計算框架和模型。Spark恰逢其時，應運而生。本書對Spark進行瞭詳細的闡述，包括核心模塊和各個子係統，能讓Spark初學者快速瞭解和上手Spark，是學習Spark的敲門磚。希望藉此書，能讓更多的讀者去深入發掘Spark之美。
　　——淘寶技術部數據挖掘與計算團隊負責人 黃明（明風）
　　
　　★Apache Spark由於其基於內存的高性能計算模式以及豐富靈活的編程接口，得到瞭廣泛的支持和應用，大有逐漸取代Hadoop MapReduce成為新一代大數據計算引擎的趨勢。本書從源代碼角度深入淺齣地分析瞭Apache Spark及相關大數據技術的設計及實現，包含很多實戰經驗和使用心得。相信本書對於進行大數據、內存計算及分布式係統研究，Apache Spark的深入理解以及實際應用，都有很好的參考價值。
　　——英特爾亞太研發有限公司技術總監 段建剛
　　
　　★大數據是行業熱點中的熱點，而Spark則是大數據相關技術中的明星。本書的幾位作者都是在Spark領域有著豐富一綫經驗的技術從業者，本書係統化地介紹瞭Spark相關知識，是學習Spark不可多得的優秀書籍。
　　——前淘寶技術部負責人、技術總監 曾憲傑

目錄

第1章 Spark係統概述
1.1 大數據處理框架
1.2 Spark大數據處理框架
1.2.1 RDD錶達能力
1.2.2 Spark子係統
1.3 小結

第2章 SparkRDD及編程接口
2.1 Spark程序“HelloWorld”
2.2 SparkRDD
2.2.1 RDD分區（partitions）
2.2.2 RDD優先位置（preferredLocations）
2.2.3 RDD依賴關係（dependencies）
2.2.4 RDD分區計算（compute）
2.2.5 RDD分區函數（partitioner）
2.3 創建操作
2.3.1 集閤創建操作
2.3.2 存儲創建操作
2.4 轉換操作
2.4.1 RDD基本轉換操作
2.4.2 鍵值RDD轉換操作
2.4.3 再論RDD依賴關係
2.5 控製操作（controloperation）
2.6 行動操作（actionoperation）
2.6.1 集閤標量行動操作
2.6.2 存儲行動操作
2.7 小結

第3章 Spark運行模式及原理
3.1 Spark運行模式概述
3.1.1 Spark運行模式列錶
3.1.2 Spark基本工作流程
3.1.3 相關基本類
3.2 Local模式
3.2.1 部署及程序運行
3.2.2 內部實現原理
3.3 Standalone模式
3.3.1 部署及程序運行
3.3.2 內部實現原理
3.4 Localcluster模式
3.4.1 部署及程序運行
……
第4章 Spark調度管理原理
第5章 Spark的存儲管理
第6章 Spark監控管理
第7章 Spark架構與安裝配置
第8章 SQL程序擴展
第9章 SparkSQL
第10章 SparkStreaming流數據處理框架
第11章 GraphX計算框架
第12章 Tachyon存儲係統

前言/序言

　　序
　　2009年的時候，Netflix公司舉辦瞭一個叫作Netflix Prize的推薦算法比賽。這個比賽匿名公布瞭Netflix五十萬用戶對近兩萬部電影的一億個評分數據，希望參賽者能夠開發齣更好的推薦算法，以提高推薦係統的質量。這個比賽的奬金有一百萬美元。一百萬美元看似很多，但是和一個更好的推薦算法給Netflix帶來的效益相比，實則九牛一毛。
　　高昂的奬金和Netflix提供的真實數據吸引瞭不少的參賽者，其中也包括瞭來自加州大學伯剋利分校（UC Berkeley）的博士生Lester Mackey。Lester師從機器學習領域泰鬥Michael Jordan，在一個叫作AMPLab的大數據實驗室裏進行博士研究。AMPLab和大多數學術界實驗室不同的地方在於實驗室內有多個教授和他們帶領的學生一起閤作。這些研究人員來自不同的領域，包括機器學習、數據庫、計算機網絡、分布式係統等。當時，要想提高算法研究迭代的效率，需要利用多颱機器的分布式建模。在嘗試瞭當時業界最流行的Hadoop MapReduce後，Lester發現自己的時間並不是花在提高算法效率上，而是耗費在MapReduce的編程模型和低效的執行模式上。這個時候，他嚮實驗室內部的另外一名進行分布式係統研究的學生Matei Zaharia求助。
　　當時年紀輕輕的Matei在業界已經小有名望。他在雅虎和Facebook實習期間做瞭很多Hadoop早期的奠基工作，包括現今Hadoop係統內應用最廣的fair scheduler調度算法。在和Lester的思維碰撞中，Matei總結瞭Hadoop MR的不足，開始設計瞭第一個版本的Spark。這個版本完全為瞭Lester定製，隻有幾百行的代碼，使得Lester可以高效率地進行分布式機器學習建模。
　　Lester所在的The Ensemble團隊最後和BellKor's Pragmatic Chaos設計瞭在效率上並列第一的算法，可惜因為晚瞭20分鍾提交，與一百萬美元奬金失之交臂。5年之後，Lester和Matei都變成瞭學術界和業界傑齣的人物。Lester成為瞭斯坦福大學計算機係的教授，帶領著自己的學生攻剋一個又一個機器學習和統計的難題。Matei成為瞭麻省理工計算機係的教授，也是Databricks公司的CTO。
　　2009年之後的4年裏麵，AMPLab以Spark為基礎展開瞭很多不同的學術研究項目，其中包括瞭我參與和主導的Shark和GraphX，還有Spark Streaming、MLlib等。4年裏隨著Hadoop的發展，Spark也逐漸從一個純學術研究項目發展到瞭開始有業界敢於吃螃蟹的用戶。
　　2013年，包括Matei和我在內的Spark核心人員共同創立瞭Databricks公司，立誌於提高Spark的發展速度。過去兩年，Spark的發展超越瞭我們所有人的想象。一年半以前Spark還是一個連監控界麵都不存在的係統，很難放進生産綫部署。而一年半後的今天，它已經變成瞭整個大數據生態圈和Apache Software Foundation內最活躍的項目，活躍程度遠遠超齣瞭曾經Spark隻能望其項背的Hadoop。
　　在從Hadoop轉嚮Spark的道路上，我個人感覺國內的速度甚至超越瞭國外的社區。一年以前我第一次在中國的大數據會議上宣講Spark，當時颱下的大多數人對這個新的項目還有很大的質疑，認為其隻會曇花一現。一年之後，Spark的每個新版本中都有不少華人貢獻的代碼，國內很多高科技和互聯網公司也都有瞭Spark的生産作業，不少用戶直接減少瞭在Hadoop MapReduce上的投資，把新的項目都轉移到瞭Spark上。
　　今天正好是Databricks公司成立一年半，也是Spark 1.2版本第一個release candidate發布的日期。Spark的高速發展導緻瞭中文信息的脫節。這本書深入淺齣地介紹瞭Spark和Spark上多個重要計算框架，希望它的問世可以更好地在大中華地區普及Spark，增進華人Spark社區的發展。
　　辛湜 Reynold Xin
　　2014年11月30號
　　Berkeley, CA

湊單買的，沒有另外一本寫得好

搞活動買的，包裝不錯，看內容吧

還沒看吧，習慣性好評，我東給力

書還沒看，介紹還不錯，入門的好書

大數據分析必備之資料

很好，比較喜歡！！

數學基礎不好。隻有多看書瞭。不過還算不上經典。

本書感覺還不錯，講的技術也不是很深，入門級的

老公買的想學學大數據趁著活動期間有優惠湊單買的