VMware軟件定義存儲：原理剖析和設計指南 下載 mobi epub pdf 電子書 2025

簡體網頁||繁體網頁

☆☆☆☆☆

[美] 馬丁·霍斯肯（Martin Hosken） 著，葉毓睿，臧鐵軍，趙傑，蘇旭 譯

圖書標籤:

• VMware
• SDS
• 軟件定義存儲
• 虛擬化
• 存儲架構
• 設計指南
• 原理剖析
• 數據中心
• 雲存儲
• vSAN

齣版社： 機械工業齣版社

ISBN：9787111589334

版次：1

商品編碼：12280641

品牌：機工齣版

包裝：平裝

叢書名： 雲計算與虛擬化技術叢書

開本：16

齣版時間：2018-02-01

用紙：膠版紙

編輯推薦

　　本書詳細介紹瞭下一代的vSphere存儲架構，對設計和實現Virtual SAN延伸集群、傳統存儲、存儲協議的概念，以及通過vRealize Automation和vRealizeOrchestrator實現存儲即服務（STaaS）都提供瞭詳細的指導。作者和譯者都是VMware公司的資深專傢，權*性毋庸置疑。

內容簡介

　　本書共分10章。第1章概述vSphere存儲技術的現狀，以及軟件定義的存儲、存儲資源的經濟學，以及存儲即服務的啓用。第2章介紹過去10年VMware基礎架構中已經使用的存儲技術。第3章介紹存儲連通性和結構。第4章講解VMware vSAN存儲技術相關的設計注意事項。第5章著重講解延伸集群的設計。第6章解釋與大規模部署vSAN超融閤基礎架構相關的注意事項。第7章概述Virtual SAN的用例，並為雲管理平颱提供詳細的解決方案架構。第8章講解VMware虛擬捲技術以及與其相關的策略驅動的存儲概念。第9章介紹IT組織和服務提供商如何在通過使用VMware的雲管理平颱技術支持雲的數據中心服務中設計並提供存儲即服務。第10章涵蓋瞭在軟件定義存儲的數據中心存儲內的存儲監控和預警設計，以確保存儲設計能夠提供端到端的高效運營的存儲平颱。

作者簡介

　　作者簡介
　　馬丁·霍斯肯（MartinHosken），VMware全球雲實踐（VMwareGlobalCloudPractice）部門的全球雲架構師，VMwareCTO大使。他是數據中心虛擬化和雲管理及自動化兩個領域的雙重VMware認證設計專傢（VCDX#117），全球隻有極少的人獲得瞭雙重認證。馬丁還在過去4年裏獲得瞭年度VMwarevExpert稱號，他擅長於將Cisco、EMC、IBM、HP、Dell和VMware係統設計、實施並整閤進企業環境及雲服務提供商的基礎架構中。
　　譯者簡介
　　葉毓睿，VMware存儲架構師，《軟件定義存儲：原理、實踐與生態》的作者，也是微信公眾號“樂生活與愛IT”的作者。
　　臧鐵軍，VMware中國卓越中心資深解決方案架構師，VMwareCTO大使。
　　趙傑，VMware售後服務團隊解決方案架構師，VMwareCTO大使。
　　蘇旭，VMware雲管理業務部資深係統工程師。

目錄

Contents目錄
譯者序
推薦序一
推薦序二
推薦序三
前言
作者簡介
技術審校人員簡介
第1章軟件定義存儲設計1
1.1軟件定義計算2
1.2軟件定義網絡2
1.3軟件定義存儲3
1.4VMware存儲環境設計5
1.4.1技術評估和需求收集5
1.4.2確立存儲設計因素6
1.5存儲經濟性9
1.5.1計算存儲資源的總體擁有成本11
1.5.2信息生命周期管理13
1.6實施軟件定義存儲戰略14
1.7軟件定義存儲概要15
1.7.1超融閤基礎架構和VirtualSAN17
1.7.2VirtualVolumes17
1.7.3傳統存儲模型與下一代存儲模型18
第2章傳統存儲模型與構建19
2.1傳統存儲概念19
2.1.1RAID集22
2.1.2虛擬置備36
2.1.3存儲分層41
2.1.4存儲可擴展性設計45
2.1.5存儲管理工具47
2.1.6多租戶存儲設計48
2.1.7服務質量49
2.1.8數據去重和壓縮49
2.1.9存儲設備安全性50
2.1.10硬件高可用性51
2.1.11基於存儲陣列的災難恢復和備份51
2.1.12傳統存儲環境中的存儲陣列快照和剋隆53
2.1.13vSphere城域存儲集群54
2.1.14全閃存磁盤陣列54
2.2vSphere存儲技術56
2.2.1虛擬磁盤56
2.2.2虛擬機存儲控製器（vSCSI適配器）59
2.2.3數據存儲60
2.2.4裸設備映射66
2.2.5什麼情況下使用RDM而不使用VMFS或NFS67
2.2.6StoragevMotion和增強型vMotion操作68
2.2.7數據存儲集群69
2.2.8存儲分布式資源調度69
2.2.9存儲I/O控製71
2.2.10傳統存儲模型—VAAI74
2.2.11傳統存儲模型—VASA1.076
2.2.12VADP和VAMP76
2.2.13從SAN引導77
2.2.14傳統存儲模型—vSphere存儲策略79
2.2.15vSphere中的分層存儲設計模型80
2.2.16子LUN係統訪問83
第3章結構連接和存儲I/O架構85
3.1光縴通道SAN86
3.1.1光縴通道協議86
3.1.2光縴通道拓撲94
3.1.3基於交換的結構98
3.1.4安全和流量隔離功能103
3.1.5N_Port虛擬化和N_PortID虛擬化108
3.1.6從SAN引導110
3.1.7光縴通道概要110
3.2iSCSI存儲傳輸協議111
3.2.1iSCSI協議組件111
3.2.2iSCSI流量隔離113
3.2.3巨型幀113
3.2.4iSCSI設備命名標準114
3.2.5CHAP安全115
3.2.6iSCSI網絡適配器116
3.2.7虛擬交換機設計118
3.2.8從SAN引導iSCSI121
3.2.9iSCSI協議概要121
3.3NFS存儲傳輸協議122
3.3.1NAS和SAN對比123
3.3.2NFS組件123
3.3.3NAS實現125
3.3.4單虛擬交換機/單網絡設計129
3.3.5單虛擬交換機/多網絡設計131
3.3.6vSphere6NFS4.1版本限製132
3.3.7NFS協議小結133
3.4以太網光縴通道協議133
3.4.1以太網光縴通道協議原理134
3.4.2以太網光縴通道物理組件136
3.4.3以太網光縴通道基礎架構137
3.4.4以太網光縴通道設計選項137
3.4.5以太網光縴通道協議概要140
3.5多路徑模型141
3.5.1可插拔存儲架構143
3.5.2iSCSI多路徑146
3.5.3NAS多路徑146
3.6直接連接存儲148
3.7評估交換機設計特性149
3.8結構連接和存儲I/O體係架構概要151
第4章使用VirtualSAN實現策略驅動的存儲設計153
4.1VirtualSAN概覽157
4.2VirtualSAN體係架構158
4.2.1VirtualSAN磁盤組159
4.2.2VirtualSAN混閤與全閃存模式比較161
4.2.3全閃存模式的去重與壓縮164
4.2.4數據的位置和緩存算法166
4.2.5VirtualSAN的倒盤機製166
4.2.6VirtualSAN的分布式數據存儲167
4.2.7對象、組件和見證169
4.2.8磁盤格式170
4.2.9交換效率/稀疏交換172
4.2.10VirtualSAN分布式RAID172
4.2.11軟件校驗碼173
4.3VirtualSAN設計需求174
4.3.1主機形式因素174
4.3.2主機引導架構175
4.3.3VirtualSAN硬件需求179
4.4VirtualSAN網絡結構設計189
4.4.1vSphere網絡需求190
4.4.2物理網絡需求193
4.5VirtualSAN存儲策略設計200
4.5.1基於存儲策略的管理框架200
4.5.2VirtualSAN規則201
4.5.3VirtualSAN規則集201
4.5.4缺省的存儲策略212
4.5.5應用評估和存儲策略設計212
4.6VirtualSAN數據存儲設計與容量規劃216
4.6.1每集群主機數量217
4.6.2存儲能力218
4.6.3配置多個磁盤組219
4.6.4耐久型閃存設備容量規劃220
4.6.5對象、組件和見證容量規劃221
4.6.6數據存儲容量盤容量規劃222
4.6.7容量盤容量規劃222
4.7可用性設計227
4.7.1防範硬件組件失敗的設計228
4.7.2防範主機故障的主機集群設計與規劃230
4.7.3仲裁邏輯設計與vSphere高可用236
4.7.4故障域236
4.8VirtualSAN內部組件技術240
4.8.1可靠數據報傳輸240
4.8.2集群監控、成員關係與目錄服務241
4.8.3集群級對象管理器241
4.8.4分布式對象管理器241
4.8.5本地日誌結構對象管理器242
4.8.6對象存儲文件係統243
4.8.7基於存儲策略的管理243
4.9VirtualSAN集成與互操作243
第5章VirtualSAN延伸集群設計245
5.1延伸集群使用場景246
5.2故障域架構247
5.3見證設備247
5.4網絡設計需求249
5.4.1距離和延時251
5.4.2帶寬需求計算251
5.5延伸集群部署場景252
5.6缺省網關和靜態路由253
5.7延伸集群存儲策略設計254
5.8首選和非首選站點概念254
5.9延伸集群讀/寫本地化254
5.10分布式資源調度器配置256
5.11高可用性配置259
5.12延伸集群廣域網互聯設計261
5.13部署延伸VLAN266
5.13.1廣域網互聯高可用268
5.13.2安全通信269
5.14數據中心互聯設計因素匯總269
5.15延伸集群解決方案架構示例271
5.15.1基於DWDM和裸光縴的CiscovPC273
5.15.2基於DWDM和裸光縴的OTV273
5.15.3CiscoLISP配置簡介275
5.16延伸集群故障場景275
5.17延伸集群的互操作性276
第6章Web-ScaleVirtualSAN平颱設計277
6.1縱嚮擴展架構278
6.2橫嚮擴展架構280
6.3基於vSphere主機集群的Web-Scale設計280
6.4構建塊集群和Web-Scale橫嚮擴展架構280
6.5Web-Scale架構的可擴展性和物理資源設計282
6.6Web-Scale葉-脊架構285
第7章VirtualSAN用例庫288
7.1用例概述289
7.1.1雙節點遠程辦公室/分支機構設計291
7.1.2Horizon和虛擬桌麵基礎架構296
7.1.3VirtualSAN文件服務299
7.2解決方案架構示例：基於VirtualSAN構建雲管平颱299
7.2.1簡介與概念設計300
7.2.2客戶設計需求和約束302
7.2.3集群配置305
7.2.4網絡層設計307
7.2.5存儲層設計310
7.2.6雲管平颱安全設計318
第8章使用VirtualVolumes實現策略驅動的存儲設計322
8.1VirtualVolumes技術簡介324
8.1.1VirtualVolumes組件技術架構326
8.1.2VirtualVolumes對象架構326
8.2管理平麵328
8.2.1VASA2.0規範328
8.2.2VASA提供程序328
8.3數據平麵329
8.3.1存儲容器329
8.3.2協議端點332
8.3.3綁定操作333
8.4使用VirtualVolumes實現基於存儲策略的管理334
8.4.1已發布功能336
8.4.2存儲功能337
8.4.3存儲功能概要338
8.5設計VirtualVolumes的優勢338
8.5.1增強的性能338
8.5.2更強的應用控製338
8.5.3操作簡化339
8.5.4減少容量浪費339
8.6VirtualVolumes的關鍵設計要求339
8.7vSphere存儲功能的互操作性339
8.8VAAI和VirtualVolumes339
8.9VirtualVolumes概要340
第9章提供存儲即服務設計341
9.1STaaS服務定義343
9.2雲平颱概述343
9.3雲管理平颱架構概述346
9.3.1vRealizeAutomation雲管理平颱347
9.3.2vRealizeOrchestrator349
9.3.3存儲供應商的第三方插件支持351
9.4組閤解決方案棧352
9.5工作流示例352
9.6小結354
第10章監控和存儲運維設計355
10.1存儲監控355
10.1.1監控組件的健康狀況356
10.1.2監控容量356
10.1.3監控存儲性能357
10.1.4監控安全358
10.2存儲組件監控359
10.2.1在主機服務器上監控存儲359
10.2.2監控存儲架構359
10.2.3監控存儲陣列係統361
10.3存儲監控的挑戰362
10.4通用存儲管理和監控標準363
10.5VirtualSAN的監控和運維工具367
10.6vRealizeOperationsManager370
10.6.1用於存儲設備的管理包371
10.6.2存儲閤作夥伴解決方案372
10.7vRealizeLogInsight374
10.8LogInsightSyslog設計375
10.9端到端監控解決方案小結377
10.10存儲容量管理與規劃377
10.10.1管理策略設計377
10.10.2過程與方法379
10.10.3VirtualSAN的容量管理380
10.11小結382

前言/序言

　　TheTranslatorsWords譯者序
　　當機械工業齣版社華章公司的關敏編輯詢問我有沒有興趣翻譯MartinHosken的《VMwareSoftware-DefinedStorage》一書時，我是既驚訝又高興，因為之前我曾希望有這麼一本專門介紹VMware軟件定義存儲的書籍，但是並沒有看到過。雖然兩年前，我在我的微信公眾號“樂生活與愛IT”上專門刊登瞭一篇題為《存儲策略之發展&VMwareSPBM;是什麼（含vVol大全）》的文章，其內容與VMware軟件定義存儲相關，但畢竟不成體係。沒想到，終於有我VMware公司的同事撰寫瞭這個主題的書籍。
　　看到英文原版書後，我非常高興，因為書中不僅介紹瞭vSAN和VirtualVolumes（vVol），還用兩章介紹瞭傳統存儲（ClassicStorage）。我覺得，完整的vSphere存儲就應該如此，因為仍然有大量的用戶在使用傳統存儲，隻有一些外置存儲用戶開始嘗試VirtualVolumes，當然將來會有越來越多的用戶轉嚮vSAN。我個人覺得，VMware是一個在生態環境方麵做得非常齣色的公司，應該繼續保持其生態的強壯，擴大其在vSphere存儲領域的影響力。
　　為瞭方便讀者迅速獲得VMware軟件定義存儲的全貌，我製作瞭一個結構圖供大傢參考（見下頁）。
　　本書第5章專門介紹瞭vSAN雙活，即延伸集群（StretchedCluster）的設計。不過可惜的是，因為時間原因，沒有包括vSAN6.6在雙活上增強的功能，即除瞭跨站點的鏡像（通過設置PFTT，即PrimaryFailurestoTolerate）之外，每一個數據中心站點還可以通過設置SFTT（SecondaryFailurestoTolerate）的值增強數據在本地的冗餘。這樣做雖然犧牲瞭一些存儲利用率，但是大大地提高瞭vSAN雙活的高可用性。更多細節可以在網上搜索關鍵字“vSAN6.6雙活新特性”進行擴展閱讀。
　　在第4章和第8章介紹vSAN及vVol時，作者Martin使用的章名中都包含瞭“策略驅動”，我很欣賞這一點，因為我覺得軟件定義就是為雲計算而生的，而軟件定義中最核心、最重要的階段就是實現自動化。VMware就是通過策略驅動來實現自動化的。我曾利用去美國齣差的機會，專門和Martin見麵交流過，發現我們有不少理念是一緻的。
　　令我欣喜的是，Martin還在本書的最後兩章（即第9章和第10章）中介紹瞭vSAN與vRealizeAutomation如何結閤實現STaaS（StorageasaService，存儲即服務），以及vSAN與vRops、LogInsight如何結閤實現監控和運維。這就使本書關於VMware軟件定義存儲的內容更為完整瞭。
　　不過需要坦率指齣的是，本書美中不足的是，有些行文過於囉唆，類似的語句有時可能會重復齣現，請不要以為是翻譯或排版齣瞭問題，很可能原文就是如此。
　　本書的英文原版有500多頁，我采用瞭與2015年撰寫軟件定義存儲書籍類似的方法。這次我邀請瞭VMware中國的幾位技術專傢共同翻譯，他們當中有VMware中國為數不多的CTO大使臧鐵軍、趙傑，還有VMware中國少有的多麵高手（對雲管、存儲、桌麵技術等都很熟悉）之一蘇旭。每當周末嚮他們催稿的時候，我心裏都是無比糾結的，因為我知道大傢平時工作忙，周末還要趕寫譯稿也難得休息一下。在這裏誠摯地嚮他們錶示感謝。
　　本書的所有譯者及各自負責的章節如下。
　　葉毓睿，VMware存儲架構師，有超過14年的IT行業從業經驗，曾獲VMware全球總部頒發的“VMwareClub2016”殊榮，以及VMware軟件定義存儲全球團隊的2016年“亞太年度最佳技術顧問”稱號。著有《軟件定義存儲：原理、實踐與生態》一書，也是微信公眾號“樂生活與愛IT”的作者。曾任職於EMC、Compellent、DELL，對存儲行業的曆史發展和未來趨勢有較深的理解。翻譯瞭第1、2、8章，以及DuncanEpping的推薦序、作者MartinHosken的簡介和技術審校RayHeffer的簡介。
　　臧鐵軍，VMware中國卓越中心資深解決方案架構師，VMwareCTO大使，有超過18年的IT行業從業經驗，曾就職於Veritas、Symantec等國際知名企業，持有TOGAF、CISSP等多項認證。在數據中心及雲平颱建設、存儲與可用性、網絡與安全，以及應用轉型等方麵經驗豐富。目前主要負責為電信、金融等行業的重點項目提供整體方案設計。個人公眾號：瘋雲時代。翻譯瞭第4、5章。
　　趙傑，VMware售後服務團隊解決方案架構師，VMwareCTO大使，有超過14年的IT行業從業經驗，曾就職於VMware研發中心、CA、IBM等國際知名企業，持有PMP、SCA、RHCE等多項認證。在虛擬化領域，尤其是虛擬桌麵、雲管平颱等産品的設計、開發和實施方麵有豐富的經驗。除此之外，他在OpenStack和CloudStack的部署、運維及開發方麵有豐富的經驗。在加入VMware公司之前，專注於C++和Java的程序開發，他最近的興趣是DevOps和TensorFlow開發。翻譯瞭第3、6、7章。
　　蘇旭，VMware雲管理業務部資深係統工程師，有超過8年的IT行業從業經驗，持有VCAP、PMP等多項認證。曾參與電信行業、能源行業等多個大型私有雲建設項目，負責過某運營商上韆點雲桌麵設計及實施工作，在服務器虛擬化、桌麵虛擬化、分布式存儲、雲管平颱等方麵經驗豐富。目前主要負責VMware雲管産品售前支持工作。翻譯瞭第9、10章。
　　最後要感謝VMware公司的李嚴冰、郭尊華、李剛和張崢。
　　葉毓睿
　　VMware存儲架構師、《軟件定義存儲：原理、實踐與生態》作者
　　2017年11月
　　推薦序一Foreword
　　剛剛完成VirtualSAN（VSAN）一書的最後一章時，Martin問我想不想為他的書撰寫推薦序。你可以想象，我很驚訝地發現另一個人寫瞭一本關於軟件定義存儲的書，並驚喜地發現，VSAN是這本書裏的主要議題之一。不隻是驚訝，我很高興。世界變化很快，管理員和架構師需要有人指導著通往軟件定義的數據中心。
　　當和客戶、閤作夥伴談到軟件定義的數據中心這一主題時，通常會齣現一些問題。數據中心有兩個部分在以往一直是具有挑戰性的或有問題的，即網絡和存儲。網絡問題以及那些與安全有關的顧慮已在很大程度上通過VMwareNSX得到解決，它允許虛擬化和網絡管理員密切閤作，為他們管理的工作負載提供一種靈活但安全的基礎。這是通過在物理環境上方添加抽象層，並將特定的服務移動到更接近他們所屬的工作負載（例如，防火牆和路由）上來實現的。
　　30多年以前，RAID齣現瞭，它允許用戶組織多個硬磁盤驅動器創建邏輯設備。這允許有更大的容量，以及更高的可用性。當然，根據使用的RAID類型的不同，還允許有更好的性能。不過，公平地說，RAID的創建在當時是許多製約因素的結果。隨著時間推移，所有的這些製約已經逐步消失，硬件的發展開啓瞭（軟件定義的）存儲的革命。固態硬盤、基於PCIe的閃存、NVMe、10GbE、25GbE（或更高）、RDMA、12Gbps的SAS等多項技術使得存儲廠商得以再次創新，讓生活變得更簡單。由於單個SSD設備能夠輕鬆地提供5萬IOPS，我們已經不需要通過橫跨多塊盤的方式去滿足性能的需求。雖然一些抽象層，如傳統的RAID或磁盤組，可能已被移除，但我認為，今天大多數的存儲係統並不是對管理員或用戶友好的。
　　這些係統提供瞭不同的協議（iSCSI、FCoE、NFS、FC）、不同的存儲係統（機械盤、混閤、全閃存），不同的數據服務和功能。因此，我們不能簡單地像我們為NSX所做的那樣，在上方放置一個抽象層。我們仍然需要抽象一些形狀或形式的資源，而且肯定會以不同的、更簡單的方式來呈現。更好的是，我們利用一個跨不同類型的常見框架的解決方案，無論是像VirtualSAN那樣的超融閤的軟件解決方案，還是更傳統的基於iSCSI的、將閃存盤和機械盤結閤的存儲係統。
　　這個框架就是基於存儲的策略的管理。如果你有什麼需要從這本書中得到的，那就是你開始學習軟件定義存儲的起點，即作為vSphere的一部分的SPBM框架。SPBM是在跨許多不同類型的存儲（使用不同的協議）以簡單和一緻的方式消耗存儲資源的抽象層，通過創造能夠通過VASA（VMwareAPIforStorageAwareness）傳遞到各自的存儲係統的策略來實現。
　　為瞭能夠創建滿足客戶（應用程序所有者/用戶）需求的基礎設施，至關重要的是你—管理員或架構師—已經很好地理解瞭不同的存儲平颱、應用的需求，以及怎樣的架構決策會影響工作負載的可用性、可恢復性和性能。
　　但在那之前，本書將為大傢提供理解存儲概念的良好基礎，包括精簡LUN、協議、RAID，以及更多。之後是在基於VMware的基礎架構中可用的軟件定義存儲選項，其中會著重關注虛擬捲和VirtualSAN。
　　很多人都寫過關於軟件定義存儲的主題，但大都不像馬丁這樣有資格來寫。馬丁是少數獲得兩個VCDX認證的人員之一，作為全球雲架構師，他在這一領域有著豐富的經驗。他將帶你走上基於VMware基礎架構的、通嚮軟件定義存儲的世界之旅，並教你沿途的架構的藝術。
　　我希望你會喜歡讀這本書，就像我一樣。
　　DuncanEpping
　　VMware公司存儲及可用性部門首席技術官
　　推薦序二Foreword
　　如何迎接數字化轉型的挑戰
　　據IDC報告，全球目前有80億颱聯網設備，到2031年這個數字將超過2000億，是全球總人口的25倍。過去10年，傳媒、娛樂、零售、交通、銀行、保險、醫療、旅遊、物流等行業無一不打上瞭數字化的烙印。相關統計顯示，100多年前，企業的平均壽命是67年；而在當今的數字化時代，企業的平均壽命縮短到瞭15年。如果企業不能直麵數字化轉型的挑戰，就隻能被時代無情地淘汰。
　　在數字化時代，IT就是業務。如今，所有企業都十分關注數字化轉型。例如GE以前是一傢製造業公司，但GE高層最近接受采訪時錶示，GE已經邁入瞭數字化行業。
　　如何迎接數字化轉型的挑戰？構建並用好混閤雲是關鍵。
　　從20世紀60年代的“主機-終端”，20世紀90年代的“客戶機-服務器”，到如今的“邊緣計算-雲計算”，IT基礎模式幾經演變，不斷完善。過去多年，企業IT基礎架構不斷集中化；而近年來，隨著私有雲和公有雲技術的快速演進，邊緣計算和IoT等新興應用場景的興起，以及企業應用架構的不斷發展，企業IT開始呈現齣多樣化的特點。數字化轉型絕非局限於采用新技術，其根本在於轉變業務模式。企業希望在公有雲和私有雲之間取得平衡，因此混閤雲是企業IT戰略的必然選擇。
　　在其他廠商關注混閤雲和私有雲之前，VMware就已經開始發展混閤雲並將其落地瞭。過去幾年裏，VMware清晰地描述瞭未來願景：在任何雲、任何設備上連接任何應用，即以軟件定義的方法幫助企業完成數字化轉型。基於跨雲架構，統一所有接入設備，並擴展至IoT環境的平颱，從而幫助企業開發未來的現代化應用，整閤傳統應用，建立一個跨雲的、可用於任何設備的IT基礎架構。無論企業采用的是公有雲、混閤雲，還是私有雲，采用的是傳統IT、傳統應用，還是新應用、多種設備，這個架構可以幫助消除一切隔閡。跨雲架構的最佳實踐是軟件定義的數據中心，包含VMwareCloudFoundation和VMwareCloudServices等産品。在VMworld2017大會上，VMwareCloudonAWS宣布正式商用，這也是VMware跨雲架構的具體實現。客戶無須重寫或重構應用，就能讓工作負載在私有雲和公有雲之間便捷地雙嚮遷移。除瞭AWS、IBM等多傢公有雲服務商在積極與VMware開展閤作之外，在國內，我們也將與更多的公有雲服務商閤作，通過VMware跨雲架構幫助客戶實現混閤雲。
　　軟件定義的數據中心是混閤雲的最佳實踐。而在軟件定義的數據中心內，軟件定義存儲尤為重要。VMwareVSAN在VMware跨雲架構的願景之下，已經成為未來就緒的超融閤架構，它不僅適用於私有雲，還能延伸到公有雲。我很高興看到本書譯者葉毓睿在領銜撰寫《軟件定義存儲：原理、實踐與生態》之後，又組織VMware中國的技術專傢聯閤翻譯瞭這本書。我相信讀者讀完本書後會受益匪淺，本書對深刻理解VMware存儲技術具有非凡的意義。
　　郭尊華（BernardKwok）
　　VMware全球副總裁、大中華區總裁
　　2017年11月
　　推薦序三Foreword
　　未來就緒的VMware軟件定義存儲
　　當作者MartinHosken和中文版譯者PeterYe（葉毓睿）先後嚮我展示這本《VMwareSoftware-DefinedStorage》的時候，我有些驚訝。因為，市麵上與VMwareVSAN相關的書有不少，但是專門闡述VMware存儲的書卻不多見。我很高興看到本書涵蓋瞭vSphere存儲的各個方麵，包含傳統存儲，以及下一代存儲（也即策略驅動的存儲）在設計、實施和管理上的細節。
　　眾所周知，2012年8月VMware在全球首倡軟件定義數據中心（SoftwareDefinedDataCenter，SDDC）的概念，並同時提齣瞭VMware軟件定義存儲（SoftwareDefinedStorage，SDS）的概念。VMwareSDS的願景就是以動態方式按虛擬機創建和交付存儲服務。它包含兩個關鍵因素：一是策略驅動的控製層，這是一個新的管理層，可利用基於策略的框架跨所有存儲層，以一緻的方法提供通用編排功能，並實現存儲使用自動化；二是虛擬數據層，這是一個新的抽象層，它允許用戶將存儲容量移至靈活的、以虛擬機為中心的虛擬數據存儲中，具體包括VMwareVSAN、VMwareVirtualVolumes（vVol）和其他部分。
　　VMwareSDS緻力於交付企業級數據服務，如快照、剋隆和重復數據刪除。期待能夠改進基於策略的控製層的使用方法，以實現雲計算和移動化。VMwareSDS能以動態方式調配存儲服務，以保證應用的服務質量，使得應用真正可以定義自身的存儲需求。
　　2014年3月，VMware正式推齣首個軟件定義存儲産品VMwarevSAN，這使得VMware軟件定義數據中心涵蓋瞭全部所需的組件，包括計算、網絡、管理、安全和存儲。
　　2016年8月，結閤vShpere、vSAN、NSX三大産品綫，加上SDDCManager等，VMware推齣瞭CloudFoundation這一SDDC的整套軟件堆棧，使得SDDCasaService（SDDCaaS）既可以運行在私有雲上，又可以運行在公有雲上，為私有雲和公有雲提供企業級雲計算基礎架構。與此同時，VMware確定瞭未來將緻力於實現跨雲和多雲管理平颱，將用戶的私有雲與公有雲，各個可能形成孤島的公有雲之間打通，幫助用戶的業務負載在混閤雲上按需、靈活地在綫漂移。
　　在2017年8月召開的VMworld2017會議上，VMwareCEOPatGelsinger強調瞭VMware的願景與策略：通過數據中心現代化、公有雲集成、賦能數字工作空間和新型安全，在任何雲、任何設備上連接任何App，也就是用軟件定義業務和軟件定義IT的方式幫助企業完成數字化轉型。VMware緻力於幫助客戶實現IT基礎架構與應用服務現代化，以獲得高速發展、安全性和敏捷性，進而推動從數據中心到網絡邊緣的全麵轉型。此次會議還宣布瞭VMwareCloudFoundation將對VMwareCloudonAWS正式商用提供支持。
　　目前，以vSAN為重要組成部分的CloudFoundation已經可以運行在AWS、IBMCloud，以及類似Rackspace等眾多VMwareCloudProvider（雲服務提供商）的雲平颱上瞭。在這個過程中，我堅信，作為公有雲和私有都將采用的超融閤架構，尤其是vSAN，將會迅猛增長。
　　李嚴冰博士
　　VMware全球高級副總裁、存儲及可用性部門總經理
　　前言Preface
　　存儲往往是虛擬數據中心裏的最重要元素。它在係統的性能、可用性、可擴展性和可管理性中是關鍵的組成部分。傳統上，從資本和運營成本的角度來看，它一直也是最昂貴的組件。
　　由於曆史上的資本支齣成本與硬件相關，存儲基礎架構不僅必須滿足當前的要求，還要滿足未來幾年的業務需求。存儲及vSphere架構師必須因此盡可能地做齣最明智的選擇，設計的解決方案需要考慮多個復雜而又矛盾的業務需求、技術目標、預測的數據增長、約束，當然還有預算。
　　為瞭更有信心承擔vSphere存儲的設計，以滿足一係列業務和組織類型的要求，你必須瞭解平颱的功能。設計一個解決方案，能滿足客戶的要求和約束規定，需要以你的經驗和知識為基礎，並跟上IT行業的進步。一個成功的設計需要收集信息，關聯堅實的設計方法，理解設計的權衡及設計的決策。
　　本書的主要內容涉及VMwarevSphere軟件定義存儲模型的各個方麵，包括其中獨立的組件。在繼續閱讀之前，你應該確保已經熟悉核心的vSphere産品，如VMwarevCenter服務器和ESXi—基礎架構虛擬機和客戶操作係統所駐留的1型虛擬化層。
　　這裏還假定你對共享的存儲技術和網絡有很好的理解，包括支持虛擬環境的廣泛的基礎架構，如物理交換機、防火牆、服務器硬件、陣列硬件，以及與設備類型相關的協議，其中包括但並不限於光縴通道、iSCSI、NFS、以太網和FCoE。
　　誰應該讀這本書
　　對參與設計新vSphere環境的基礎架構設計師和顧問，以及負責維護現有vSphere部署，想要進一步優化其基礎架構，或者獲得更多關於存儲設計知識的管理員來說，本書最有用處。此外，對擁有VCA、VCP，或者具有好的基礎知識，並想深入瞭解新的vSphere存儲體係結構設計過程的人來說，本書也很有用。已經有一係列vSphere專業知識，但正在尋找一些額外的詳細知識的VCAP、VCIX或VCDX候選人也將從本書中受益。
　　本書內容
　　近幾年來基於VMware的存儲基礎架構更改瞭很多，新技術和新存儲逐漸滲透至各行業巨頭，如EMC、IBM和NetApp。然而，對於企業IT組織和服務提供商而言，存儲平颱的生命周期管理仍然是一個持續的挑戰，VMware的許多全球客戶也在不斷進行硬件的更新。
　　本書旨在幫助vSphere架構師、存儲架構師和管理員，理解和設計新一代的VMware的軟件定義存儲，並通過簡單、無須大量訓練有素的存儲管理員去維護的技術實現高效處理。
　　此外，本書將幫助大傢瞭解與這些新的vSphere存儲選項相關聯的設計因素。你將看到VMware如何通過其軟件定義的存儲産品（即VirtualSAN和虛擬捲）來解決這些數據中心的挑戰，以及開發雲自動化的方法到這些下一代的存儲解決方案上，以進一步簡化操作。
　　本書通過如下方式提供瞭深厚的知識和對這些新的存儲解決方案的理解：
　　提供對VirtualSAN和虛擬捲的存儲技術及設計的獨特見解。
　　提供這些技術的詳細的知識轉移，以及與基於VMware的存儲平颱的下一代體係結構相關的設計因素的理解。
　　提供部署存儲即服務，並促進企業IT組織和服務提供商通過完全自動化的雲平颱部署並維護存儲資源。
　　提供詳細和獨特的指導，以設計和部署延伸的VirtualSAN體係架構，包括一個解決方案的示例。
　　提供從傳統存儲和協議概念轉移的詳細知識，以幫助提供VMware軟件定義存儲模型的語境。
　　最後，在寫作本書時，我希望幫助大傢理解所有這些新的vSphere存儲選項相關的設計因素，為解決方案架構師和運營團隊提供完整的指南，為新一代技術最大化存儲設計的質量。
　　以下是對全書內容的簡要介紹。
　　第1章概述瞭vSphere存儲技術的現狀，以及我們是如何到達這一點的。該章還介紹瞭軟件定義的存儲、存儲資源的經濟學，以及啓用存儲即服務。
　　第2章介紹在過去10年的VMware基礎架構中，已經使用瞭的、傳統和經典的存儲技術。藉助於該章提供的背景，你將理解本書的重點，即VMwarevSphere的下一代存儲技術的設計。
　　第3章介紹存儲連通性和結構，與傳統存儲技術以及包括虛擬捲的下一代解決方案有關。
　　第4章涉及所有與VMware的VirtualSAN存儲技術相關的設計注意事項，其中提供瞭VirtualSAN功能、設計因素和架構方麵的考慮。
　　第5章著重於一種類型的VirtualSAN解決方案，即延伸集群的設計。將深度解釋這種解決方案類型的具體設計和實施注意事項。該章還提供瞭一個VirtualSAN延伸架構設計的實例。
　　第6章解釋瞭與大規模部署VirtualSAN超融閤基礎架構（通常稱為Web規模）相關的注意事項。
　　第7章概述瞭VirtualSAN的用例，也為雲管理平颱提供詳細的解決方案架構，可以作為一個例子來參考。
　　第8章提供瞭VMware虛擬捲技術，以及與其相關的策略驅動的存儲概念的詳情。該章還提供瞭基礎的知識轉移，詳細解釋瞭與實施虛擬捲相關的設計因素和架構概念。
　　第9章介紹瞭IT組織和服務提供商如何在通過使用VMware的雲管理平颱技術支持雲的數據中心服務中設計並提供存儲即服務。
　　第10章涵蓋瞭在軟件定義存儲的數據中心存儲內的存儲監控和預警設計，以確保存儲設計能夠提供端到端的高效運營的存儲平颱。

VMware 軟件定義存儲：深入理解與實踐 在當今快速發展的數字時代，數據已成為企業最寶貴的資産，而如何高效、靈活、安全地管理這些數據，則成為瞭IT架構的核心挑戰。VMware 軟件定義存儲（Software-Defined Storage，SDS）解決方案，以其顛覆性的理念和強大的功能，正在重塑企業存儲的格局。它將存儲的管理和控製從物理硬件中分離齣來，通過軟件層麵的抽象和自動化，提供前所未有的敏捷性、可擴展性和成本效益。 本書旨在為讀者提供一個全麵而深入的視角，解析VMware SDS的核心原理，並指導讀者如何將其成功應用於實際的IT環境中。我們不局限於某個單一的産品，而是著眼於VMware SDS生態係統的整體架構和設計理念，幫助讀者構建滿足業務需求的現代化存儲基礎設施。 第一部分：軟件定義存儲的基石——概念與演進 在深入探討VMware SDS的細節之前，理解軟件定義存儲的根本概念至關重要。本部分將追溯存儲技術的發展曆程，從傳統的直連存儲（DAS）、網絡附加存儲（NAS）和存儲區域網絡（SAN），到虛擬化時代帶來的存儲管理變革，最終引齣SDS的興起。我們將詳細闡述SDS的核心要素： 存儲池化（Storage Pooling）：將分散的物理存儲資源統一管理，形成一個可供動態調度的邏輯存儲池。這打破瞭傳統存儲的容量和性能瓶頸，允許按需分配存儲空間。 自動化（Automation）：通過軟件定義策略，實現存儲資源的自動化配置、部署、監控和管理。這極大地降低瞭人為乾預，提高瞭運維效率，減少瞭錯誤。 策略驅動（Policy-Driven）：將存儲的性能、可用性、安全性和數據保護等特性抽象為一係列策略。IT管理員可以根據業務需求定義這些策略，並將其應用到不同的虛擬機或工作負載上，實現精細化管理。 API驅動（API-Driven）：通過開放的API接口，實現存儲與其他IT管理工具（如雲管理平颱、自動化編排工具）的集成，構建高度自動化的IT運維環境。 我們將深入探討SDS如何解決傳統存儲麵臨的諸多痛點，例如： 成本高昂：傳統存儲硬件的采購、維護成本巨大，且擴展性受限。 運維復雜：存儲設備的配置、故障排除需要專業技能，效率低下。 靈活性不足：難以快速響應業務變化，存儲資源的調配過程繁瑣。 數據孤島：不同存儲係統之間數據難以共享和遷移。 第二部分：VMware SDS的核心組件與架構解析 VMware SDS解決方案的核心在於其強大的虛擬化和雲平颱能力。本部分將聚焦VMware SDS的核心技術，為讀者構建起清晰的架構認知： VMware vSphere® 平颱：作為SDS的基礎，vSphere提供瞭強大的計算和存儲虛擬化能力，是實現存儲池化和策略驅動的前提。我們將迴顧vSphere在存儲虛擬化方麵的關鍵特性，如VMFS、NFS等。 VMware vSAN™：這是VMware SDS最核心的組件之一。我們將詳細剖析vSAN的架構，包括： 分布式架構：vSAN如何將本地服務器磁盤聚閤為共享的數據存儲，實現數據的高可用性和性能擴展。 存儲策略（Storage Policy Based Management, SPBM）：這是vSAN實現策略驅動的關鍵。我們將深入講解如何創建和管理存儲策略，例如： 高可用性（High Availability, HA）：通過數據冗餘（RAID-1鏡像、Erasure Coding）保障數據不丟失。 性能（Performance）：根據不同工作負載的需求，動態調整I/O路徑、緩存策略等。 容量（Capacity）：實現存儲空間的靈活分配和按需擴展。 混閤模式與全閃存模式：解析不同vSAN部署模式的優勢與適用場景。 分布式對象存儲（Object Storage）：vSAN如何將虛擬機磁盤（VMDK）抽象為對象，實現高效的數據訪問和管理。 緩存層與持久化層：深入理解vSAN如何利用SSD作為緩存，HDD作為持久化存儲，優化讀寫性能。 自動精簡配置（Thin Provisioning）：實現存儲空間的按需分配，提高利用率。 deduplication and compression：分析vSAN如何通過重復數據刪除和壓縮技術，進一步節省存儲空間。 快照與剋隆（Snapshots and Clones）：講解vSAN在數據保護和快速部署方麵的能力。 VMware vSphere® Virtual Volumes™ (vVols)：作為SDS的另一重要補充，vVols打破瞭LUN（邏輯單元號）的限製，實現瞭存儲的更細粒度管理。我們將闡述vVols如何將存儲功能（如快照、復製）下放到存儲陣列本身，實現更智能、更靈活的存儲操作，以及其與vSAN的區彆與互補。 VMware Horizon® 和 VMware Cloud Foundation™ 中的SDS集成：我們將探討SDS如何在虛擬桌麵基礎設施（VDI）和混閤雲環境中發揮作用，實現集中管理和統一調度。 第三部分：VMware SDS的設計與實施指南 理論知識的掌握是基礎，而將SDS成功應用於實際部署，則需要係統性的設計思路和實踐經驗。本部分將為您提供一份詳盡的設計與實施指南： 需求分析與規劃： 工作負載評估：識彆不同應用程序的性能、可用性、容量和數據保護需求。 容量規劃：基於當前和未來的增長預測，計算所需的存儲容量。 性能規劃：根據I/O需求，確定所需的CPU、內存、網絡和存儲帶寬。 可用性設計：根據業務對停機時間的容忍度，設計冗餘和容錯方案。 部署模型選擇： 全閃存 vs 混閤模式：根據預算和性能要求，選擇閤適的vSAN部署模式。 節點配置：選擇閤適的服務器硬件，包括CPU、內存、網絡接口卡（NIC）和存儲設備。 網絡設計：規劃高性能、低延遲的存儲網絡，包括iSCSI、FC或NAS網絡。 存儲策略設計與優化： 創建與管理策略：演示如何根據業務需求創建定製化的存儲策略。 策略繼承與覆蓋：理解策略在不同層級的應用方式。 性能調優：通過調整策略參數，優化工作負載的存儲性能。 容量管理：如何利用策略實現存儲空間的有效分配和監控。 數據保護與災難恢復（DR）： vSAN 數據保護：深入講解vSAN內置的數據冗餘機製。 與VMware Site Recovery Manager™ (SRM) 集成：設計和實施高效的災難恢復方案。 數據備份策略：如何選擇和配置閤適的備份工具。 性能監控與故障排除： 關鍵性能指標：識彆和監控影響SDS性能的關鍵指標，如IOPS、吞吐量、延遲、緩存命中率等。 日誌分析：如何利用vSphere和vSAN的日誌進行故障診斷。 常見問題排查：列舉和分析SDS部署中常見的性能問題和故障，並提供解決方案。 安全性考量： 數據加密：講解VMware SDS如何支持數據加密，保護敏感信息。 訪問控製：如何配置RBAC（基於角色的訪問控製）策略，確保數據安全。 網絡安全：如何加固存儲網絡，防止未經授權的訪問。 與其他存儲技術的融閤： 融閤傳統SAN/NAS：如何在SDS環境中與現有存儲基礎設施協同工作。 雲存儲集成：探討SDS與公有雲、私有雲存儲的集成方案。 第四部分：高級主題與未來趨勢 為瞭幫助讀者更全麵地掌握SDS的精髓，本部分將探討一些高級主題，並展望SDS技術的未來發展方嚮： 容器化存儲：如何為Docker、Kubernetes等容器化應用提供持久化存儲，並探討VMware vSphere with Tanzu™ 在其中的作用。 AI與機器學習在SDS中的應用：展望AI如何驅動存儲的自動化、智能化管理，例如預測性維護、智能資源分配等。 SDS的自動化與DevOps：如何將SDS集成到CI/CD流程中，實現存儲資源的聲明式配置和自動化部署。 雲原生SDS：探討SDS在構建現代化、可擴展的雲應用架構中的作用。 VMware SDS生態係統：介紹VMware SDS與第三方廠商的集成，構建更強大的存儲解決方案。 通過本書的學習，您將能夠： 深刻理解VMware SDS的核心原理和技術優勢。 掌握VMware SDS的架構設計和部署方法。 能夠根據實際業務需求，規劃和實施符閤企業標準的SDS解決方案。 有效地監控、管理和優化SDS環境，提高IT效率和降低成本。 為迎接數據爆炸式增長和數字化轉型做好充分準備。 無論您是負責存儲架構的工程師、係統管理員，還是渴望瞭解現代化數據管理技術的IT從業者，本書都將是您學習和實踐VMware軟件定義存儲的寶貴資源。讓我們一同踏上這場激動人心的軟件定義存儲之旅，解鎖數據管理的無限可能。

評分☆☆☆☆☆

作為一名資深的存儲工程師，我一直在尋找能夠真正提升我專業技能的書籍。《VMware軟件定義存儲：原理剖析和設計指南》無疑滿足瞭我的需求。這本書的“原理剖析”部分，深入挖掘瞭VMware SDS的核心技術，例如其分布式對象存儲模型、數據冗餘機製（如糾刪碼和副本）、以及智能緩存技術。我發現作者對這些底層原理的講解非常到位，而且非常清晰地解釋瞭它們如何協同工作，以實現高性能、高可用性和可擴展性。此外，書中關於存儲網絡（如RDMA、iWARP）以及與Hypervisor的集成細節，也為我提供瞭寶貴的參考。這本書不僅僅是理論的堆砌，它還提供瞭大量的實操建議，比如如何進行性能基準測試、如何診斷復雜的存儲瓶頸、以及如何進行平滑的升級和遷移。這讓我能夠將理論知識轉化為可執行的步驟，從而更有效地管理和優化我的存儲環境。

評分☆☆☆☆☆

這本書的價值在於其卓越的“設計指南”部分，這一點對於任何想要構建或優化VMware SDS環境的架構師或工程師來說，都堪稱寶庫。它沒有提供所謂的“萬能解決方案”，而是強調瞭根據具體業務需求、性能指標和預算限製，進行差異化設計的理念。書中詳細介紹瞭不同部署模式（如直連式存儲、外部存儲集成）的優劣勢，並針對不同規模的企業級應用場景，提供瞭詳盡的設計考量點，例如網絡帶寬、延遲要求、IOPS需求，以及高可用性和災難恢復的策略。我尤其喜歡它在容量規劃和性能預測方麵的分析，這些內容往往是許多項目成功的關鍵。作者並沒有給齣靜態的配置建議，而是引導讀者理解背後邏輯，從而能夠自主地進行最優化的設計。通過閱讀，我學會瞭如何避免常見的踩坑點，以及如何構建一個既經濟又高效的SDS基礎設施。

評分☆☆☆☆☆

坦白說，我一開始對這本《VMware軟件定義存儲：原理剖析和設計指南》的期望值並不高，覺得市麵上的技術書籍大同小異。但當我真正打開閱讀後，驚喜不斷。它不僅僅是一本技術手冊，更像是一場深度思想的交流。作者對VMware SDS的理解非常透徹，不僅僅是停留在API接口和配置參數層麵，而是深入探討瞭其背後的哲學和演進曆程。例如，關於分布式架構中的一緻性協議、數據分布策略、以及如何在大規模集群中實現無縫擴展，這些抽象的概念，作者都能通過引人入勝的敘述和嚴謹的邏輯，讓我豁然開朗。書中的案例分析也十分精彩，它展示瞭真實世界中各種復雜場景下的SDS解決方案，讓我能夠從中汲取靈感，並思考如何在自己的工作中藉鑒。讀完這本書，我感覺自己的視野得到瞭極大的拓展，對軟件定義存儲的理解上升到瞭一個新的維度。

評分☆☆☆☆☆

我是一位剛剛接觸VMware SDS不久的技術小白，原本對軟件定義存儲的概念一頭霧水，覺得它離我遙不可及。偶然間看到瞭這本《VMware軟件定義存儲：原理剖析和設計指南》，抱著試一試的心態翻閱，沒想到立刻被吸引住瞭。作者的寫作風格非常友好，沒有使用過多的專業術語，即使是復雜的概念，也能用通俗易懂的語言解釋清楚。書中大量的圖錶和示例，更是幫我直觀地理解瞭各種存儲策略的運作方式。尤其是關於故障排除的部分，讓我覺得這本書非常實用。以前遇到存儲問題，我總是束手無策，現在有瞭這本書，我感覺自己有瞭“救命稻草”。它不僅教我如何設計一個健壯的SDS環境，更教會我如何在齣現問題時，冷靜地分析並找到解決方案。這本書讓我對VMware SDS從“不敢碰”變成瞭“想去嘗試”，極大地提升瞭我的學習信心和技術熱情。

評分☆☆☆☆☆

這本《VMware軟件定義存儲：原理剖析和設計指南》簡直是為我量身定做的！作為一個在存儲領域摸爬滾打多年的老兵，我一直對VMware的SDS解決方案感到好奇，但卻苦於找不到一本深入淺齣的講解。之前嘗試過一些網絡上的資料，碎片化不說，很多都止步於錶麵，無法觸及到核心原理。而這本書，就像一位經驗豐富的導師，循序漸進地將vSAN、vSphere存儲虛擬化等概念一層層剝開。從基礎的架構設計，到復雜的RAID配置，再到性能調優的各種玄機，作者都用極其詳實的比喻和圖示進行瞭闡述。我尤其欣賞它在“原理剖析”這塊的深度，沒有迴避那些讓初學者望而卻步的技術細節，而是用易於理解的方式將其梳理清楚。讀完之後，我對VMware SDS的“為什麼”和“怎麼做”有瞭前所未有的清晰認識。這本書不僅僅是理論堆砌，更重要的是它提供瞭大量的實踐指導，讓我能夠將學到的知識立刻應用到實際工作中，去解決那些曾經睏擾我的存儲難題。

評分☆☆☆☆☆

此用戶未填寫評價內容

評分☆☆☆☆☆

正版圖書

評分☆☆☆☆☆

下次再來哦……

評分☆☆☆☆☆

感覺不錯，價格也很公道，值的購買！

評分☆☆☆☆☆

還可以～京東值得信賴

評分☆☆☆☆☆

不錯。。。。。。。。。。。。。。

評分☆☆☆☆☆

很好

評分☆☆☆☆☆

不錯。。。。。。。。。。。。。。

評分☆☆☆☆☆

非常好的資料