信息系統(tǒng)項(xiàng)目管理師綜合知識(shí)真題考點(diǎn)：Hadoop組成

Hadoop概念：

狹義Hadoop：指的是HDFS、YARN、MAPREDUCE三大組件。

廣義Hadoop：指的是hadoop一系列的生態(tài)圈

1、Hadoop Distributed File System (HDFS)：是一個(gè)分布式文件系統(tǒng)。HDFS的文件會(huì)被分為很多的Block分散存儲(chǔ)在不同機(jī)器上。[為海量的數(shù)據(jù)提供了存儲(chǔ)]

(1)NameNode(nn)：存儲(chǔ)文件的元數(shù)據(jù)，如文件名，文件目錄結(jié)構(gòu)，文件屬性(生成時(shí)間、副本數(shù)、文件權(quán)限)，以及每個(gè)文件的塊列表和塊所在的DataNode等。

(2)DataNode(dn)：在本地文件系統(tǒng)存儲(chǔ)文件塊數(shù)據(jù)，以及塊數(shù)據(jù)的校驗(yàn)和。

(3)Secondary NameNode(2nn)：每隔一段時(shí)間對(duì)NameNode元數(shù)據(jù)備份。

2、Yet Another Resource Negotiator(YARN)：是一種通用的資源管理系統(tǒng)和調(diào)度平臺(tái)。[另一種資源協(xié)調(diào)者，是Hadoop的資源管理器]

ResourceManager(RM)：整個(gè)集群資源(內(nèi)存、CPU等)的管理者

NodeManager(NM)：單個(gè)節(jié)點(diǎn)服務(wù)器資源的管理者。

ApplicationMaster(AM)：單個(gè)任務(wù)運(yùn)行的管理者。

Container：容器，相當(dāng)于一臺(tái)獨(dú)立的服務(wù)器，里面封裝了任務(wù)運(yùn)行所需要的資源，如內(nèi)存、CPU、磁盤、網(wǎng)絡(luò)等。

3、MapReduce：本身就是用于并行處理大數(shù)據(jù)集的軟件框架。將計(jì)算過程分為兩個(gè)階段：Map 和Reduce。[為海量的數(shù)據(jù)提供了計(jì)算]

(1)Map 階段并行處理輸入數(shù)據(jù)

(2)Reduce 階段對(duì)Map 結(jié)果進(jìn)行匯總

考點(diǎn)相關(guān)真題

相關(guān)閱讀：信息系統(tǒng)項(xiàng)目管理師綜合知識(shí)真題考點(diǎn)匯總