大數據技術與應用叢書 Hadoop大數據技術原理與應用
作 者： 黑馬程序員 著
出版時間：2019
叢編項： 大數據技術與應用叢書
內容簡介
本書圍繞Hadoop生態圈相關系統介紹大數據處理架構。全書共11章，其中，第1、2章主要帶領大家認識Hadoop以及學會搭建Hadoop集群；第3～5章講解分布式文件系統（HDFS）、分布式計算框架MapReduce以及分布式協調服務；第6章講解Hadoop 2.0新特性，包含YARN和高可用特性;第7～10章主要講解Hadoop生態圈的相關輔助系統，包括Hive、Flume、Azkaban和Sqoop;第11章是一個綜合項目——網站流量日志數據分析系統，目的是教會大家如何利用Hadoop生態圈技術構建大數據系統架構并進行開發，同時加深對Hadoop技術的理解。本書附有配套視頻、源代碼、習題、教學設計、教學課件等資源。同時，為了幫助初學者更好地學習本書中的內容，還提供了在線答疑，歡迎讀者關注。本書可作為高等院校本、?？朴嬎銠C相關專業，信息管理等相關專業的大數據課程教材，也可供相關技術人員參考，是一本適合廣大計算機編程愛好者的優秀讀物。
目錄
目錄
第1章初識Hadoop1
1.1大數據概述1
1.1.1什么是大數據1
1.1.2大數據的特征2
1.1.3研究大數據的意義3
1.2大數據的應用場景4
1.2.1醫療行業的應用4
1.2.2金融行業的應用4
1.2.3零售行業的應用5
1.3Hadoop概述6
1.3.1Hadoop的前世今生6
1.3.2Hadoop的優勢7
1.3.3Hadoop的生態體系7
1.3.4Hadoop的版本9
1.4本章小結11
1.5課后習題11
第2章搭建Hadoop集群13
2.1安裝準備13
2.1.1虛擬機安裝13
2.1.2虛擬機克隆22
2.1.3Linux系統網絡配置24
2.1.4SSH服務配置28
2.2Hadoop集群搭建31
2.2.1Hadoop集群部署模式31
2.2.2JDK安裝32
2.2.3Hadoop安裝33
2.2.4Hadoop集群配置35
2.3Hadoop集群測試38
2.3.1格式化文件系統38目錄Hadoop大數據技術原理與應用2.3.2啟動和關閉Hadoop集群39
2.3.3通過UI查看Hadoop運行狀態41
2.4Hadoop集群初體驗43
2.5本章小結46
2.6課后習題46
第3章HDFS分布式文件系統48
3.1HDFS的簡介48
3.1.1HDFS的演變48
3.1.2HDFS的基本概念50
3.1.3HDFS的特點51
3.2HDFS的架構和原理52
3.2.1HDFS存儲架構52
3.2.2HDFS文件讀寫原理53
3.3HDFS的Shell操作55
3.3.1HDFS Shell介紹55
3.3.2案例——Shell定時采集數據到HDFS58
3.4HDFS的Java API操作62
3.4.1HDFS Java API介紹62
3.4.2案例——使用Java API操作HDFS63
3.5本章小結68
3.6課后習題69
第4章MapReduce分布式計算框架70
4.1MapReduce概述70
4.1.1MapReduce核心思想70
4.1.2MapReduce編程模型71
4.1.3MapReduce編程實例——詞頻統計72
4.2MapReduce工作原理73
4.2.1MapReduce工作過程73
4.2.2MapTask工作原理74
4.2.3ReduceTask工作原理75
4.2.4Shuffle工作原理76
4.3MapReduce編程組件77
4.3.1InputFormat組件77
4.3.2Mapper組件78
4.3.3Reducer組件78
4.3.4Partitioner組件80
4.3.5Combiner組件80
4.3.6OutputFormat組件81
4.4MapReduce運行模式82
4.5MapReduce性能優化策略84
4.6MapReduce經典案例——倒排索引86
4.6.1案例分析86
4.6.2案例實現89
4.7MapReduce經典案例——數據去重93
4.7.1案例分析93
4.7.2案例實現93
4.8MapReduce經典案例——TopN96
4.8.1案例分析96
4.8.2案例實現97
4.9本章小結100
4.10課后習題100
第5章Zookeeper分布式協調服務102
5.1初識Zookeeper102
5.1.1Zookeeper簡介102
5.1.2Zookeeper的特性103
5.1.3Zookeeper集群角色103
5.2數據模型104
5.2.1數據存儲結構104
5.2.2Znode的類型105
5.2.3Znode的屬性105
5.3Zookeeper的Watch機制106
5.3.1Watch機制的簡介106
5.3.2Watch機制的特點106
5.3.3Watch機制的通知狀態和事件類型107
5.4Zookeeper的選舉機制107
5.4.1選舉機制的簡介107
5.4.2選舉機制的類型108
5.5Zookeeper分布式集群部署109
5.5.1Zookeeper安裝包的下載安裝109
5.5.2Zookeeper相關配置109
5.5.3Zookeeper服務的啟動和關閉112
5.6Zookeeper的Shell操作113
5.6.1Zookeeper Shell介紹113
5.6.2通過Shell命令操作Zookeeper113
5.7Zookeeper的Java API操作119
5.7.1Zookeeper Java API介紹119
5.7.2通過Java API操作Zookeeper120
5.8Zookeeper典型應用場景122
5.8.1數據發布與訂閱122
5.8.2統一命名服務123
5.8.3分布式鎖123
5.9本章小結123
5.10課后習題124
第6章Hadoop 2.0新特性125
6.1Hadoop 2.0改進與提升125
6.2YARN資源管理框架125
6.2.1YARN體系結構125
6.2.2YARN工作流程127
6.3HDFS的高可用128
6.3.1HDFS的高可用架構128
6.3.2搭建Hadoop高可用集群129
6.4本章小結134
6.5課后習題135
第7章Hive數據倉庫136
7.1數據倉庫簡介136
7.1.1什么是數據倉庫136
7.1.2數據倉庫的結構137
7.1.3數據倉庫的數據模型138
7.2Hive簡介140
7.2.1什么是Hive140
7.2.2Hive系統架構141
7.2.3Hive工作原理141
7.2.4Hive數據模型142
7.3Hive的安裝143
7.3.1Hive安裝模式簡介143
7.3.2嵌入模式144
7.3.3本地模式和遠程模式145
7.4Hive的管理147
7.4.1CLI方式147
7.4.2遠程服務148
7.5Hive內置數據類型150
7.6Hive數據模型操作151
7.6.1Hive數據庫操作151
7.6.2Hive內部表操作153
7.6.3Hive外部表操作157
7.6.4Hive分區表操作158
7.6.5Hive桶表操作163
7.7Hive數據操作166
7.8本章小結170
7.9課后習題170
第8章Flume日志采集系統172
8.1Flume概述172
8.1.1Flume簡介172
8.1.2Flume運行機制172
8.1.3Flume日志采集系統結構圖173
8.2Flume基本使用175
8.2.1Flume系統要求175
8.2.2Flume安裝配置175
8.2.3Flume入門使用177
8.3Flume采集方案配置說明181
8.3.1Flume Sources181
8.3.2Flume Channels184
8.3.3Flume Sinks186
8.4Flume的可靠性保證189
8.4.1負載均衡189
8.4.2故障轉移195
8.5Flume攔截器196
8.6案例——日志采集198
8.6.1案例分析198
8.6.2案例實現199
8.7本章小結204
8.8課后習題205
第9章工作流管理器（Azkaban）206
9.1工作流管理器概述206
9.1.1工作流調度系統背景206
9.1.2常用工作流管理器介紹206
9.2Azkaban概述207
9.2.1Azkaban特點208
9.2.2Azkaban組成結構208
9.2.3Azkaban部署模式209
9.3Azkaban部署210
9.3.1Azkaban資源準備210
9.3.2Azkaban安裝配置212
9.3.3Azkaban啟動測試220
9.4Azkaban使用224
9.4.1Azkaban工作流相關概念224
9.4.2案例演示——依賴任務調度管理226
9.4.3案例演示——MapReduce任務調度管理232
9.4.4案例演示——HIVE腳本任務調度管理235
9.5本章小結237
9.6課后習題237
第10章Sqoop數據遷移239
10.1Sqoop概述239
10.1.1Sqoop簡介239
10.1.2Sqoop原理240
10.2Sqoop安裝配置241
10.3Sqoop指令介紹242
10.4Sqoop數據導入244
10.4.1MySQL表數據導入HDFS245
10.4.2增量導入247
10.4.3MySQL表數據導入Hive248
10.4.4MySQL表數據子集導入249
10.5Sqoop數據導出251
10.6本章小結253
10.7課后習題253
第11章綜合項目——網站流量日志數據分析系統255
11.1系統概述255
11.1.1系統背景介紹255
11.1.2系統架構設計255
11.1.3系統預覽256
11.2模塊開發——數據采集257
11.2.1使用Flume搭建日志采集系統257
11.2.2日志信息說明258
11.3模塊開發——數據預處理258
11.3.1分析預處理的數據258
11.3.2實現數據的預處理259
11.4模塊開發——數據倉庫開發268
11.4.1設計數據倉庫268
11.4.2實現數據倉庫269
11.5模塊開發——數據分析273
11.5.1流量分析273
11.5.2人均瀏覽量分析274
11.6模塊開發——數據導出275
11.7模塊開發——日志分析系統報表展示276
11.7.1搭建日志分析系統277
11.7.2實現報表展示功能285
11.7.3系統功能模塊展示290
11.8本章小結290
