2018年又有不少大數(shù)據(jù)學(xué)員學(xué)成準(zhǔn)備參加工作了,在參加工作前最重要的一輪就是大數(shù)據(jù)的面試,這里準(zhǔn)備了一些2018大數(shù)據(jù)面試題及答案,希望可以幫到準(zhǔn)備或者正在參加大數(shù)據(jù)面試的朋友們。
1. Ganglia 不僅可以進(jìn)行監(jiān)控,也可以進(jìn)行告警。(正確)
分析:
此題的目的是考Ganglia的了解。嚴(yán)格意義上來(lái)講是正確。ganglia作為一款最常用的Linux環(huán)境中的監(jiān)控軟件,它擅長(zhǎng)的的是從節(jié)點(diǎn)中按照用戶的需求以較低的代價(jià)采集數(shù)據(jù)。但是ganglia在預(yù)警以及發(fā)生事件后通知用戶上并不擅長(zhǎng)。最新的ganglia已經(jīng)有了部分這方面的功能。但是更擅長(zhǎng)做警告的還有Nagios。Nagios,就是一款精于預(yù)警、通知的軟件。通過(guò)將Ganglia和Nagios組合起來(lái),把Ganglia采集的數(shù)據(jù)作為Nagios的數(shù)據(jù)源,然后利用Nagios來(lái)發(fā)送預(yù)警通知,可以完美的實(shí)現(xiàn)一整套監(jiān)控管理的系統(tǒng)。
2. Block Size 是不可以修改的。(錯(cuò)誤)
分析:
它是可以被修改的Hadoop的基礎(chǔ)配置文件是hadoop-default.xml,默認(rèn)建立一個(gè)Job的時(shí)候會(huì)建立Job的Config,Config首先讀入hadoop-default.xml的配置,然后再讀入hadoop-site.xml的配置(這個(gè)文件初始的時(shí)候配置為空),hadoop-site.xml中主要配置需要覆蓋的hadoop-default.xml的系統(tǒng)級(jí)配置。
3. Nagios 不可以監(jiān)控 Hadoop 集群,因?yàn)樗惶峁?Hadoop 支持。(錯(cuò)誤)
分析:
Nagios是集群監(jiān)控工具,而且是云計(jì)算三大利器之一
4. 如果 NameNode 意外終止,SecondaryNameNode 會(huì)接替它使集群繼續(xù)工作。(錯(cuò)誤)
分析:
SecondaryNameNode是幫助恢復(fù),而不是替代,如何恢復(fù),可以查看。
5. Cloudera CDH 是需要付費(fèi)使用的。(錯(cuò)誤)
分析:
第一套付費(fèi)產(chǎn)品是Cloudera Enterpris,Cloudera Enterprise在美國(guó)加州舉行的 Hadoop 大會(huì) (Hadoop Summit) 上公開,以若干私有管理、監(jiān)控、運(yùn)作工具加強(qiáng) Hadoop 的功能。收費(fèi)采取合約訂購(gòu)方式,價(jià)格隨用的 Hadoop 叢集大小變動(dòng)。
第二部分 選擇題
1. 下列哪個(gè)程序通常與 NameNode 在一個(gè)節(jié)點(diǎn)啟動(dòng)?
a)SecondaryNameNode
b)DataNode
c)TaskTracker
d)Jobtracke
答案D
此題分析:
hadoop的集群是基于master/slave模式,namenode和jobtracker屬于master,datanode和tasktracker屬于slave,master只有一個(gè),而slave有多個(gè)SecondaryNameNode內(nèi)存需求和NameNode在一個(gè)數(shù)量級(jí)上,所以通常secondary NameNode(運(yùn)行在單獨(dú)的物理機(jī)器上)和NameNode運(yùn)行在不同的機(jī)器上。
JbTracker和TaskTracker
JobTracker 對(duì)應(yīng)于 NameNode
TaskTracker 對(duì)應(yīng)于 DataNode
DataNode 和NameNode 是針對(duì)數(shù)據(jù)存放來(lái)而言的
JobTracker和TaskTracker是對(duì)于MapReduce執(zhí)行而言的
mapreduce中幾個(gè)主要概念,mapreduce整體上可以分為這么幾條執(zhí)行線索:obclient,JobTracker與TaskTracker。
1).JobClient會(huì)在用戶端通過(guò)JobClient類將應(yīng)用已經(jīng)配置參數(shù)打包成jar文件存儲(chǔ)到hdfs,并把路徑提交到Jobtracker,然后由JobTracker創(chuàng)建每一個(gè)Task(即MapTask和ReduceTask)并將它們分發(fā)到各個(gè)TaskTracker服務(wù)中去執(zhí)行。
2).JobTracker是一個(gè)master服務(wù),軟件啟動(dòng)之后JobTracker接收J(rèn)ob,負(fù)責(zé)調(diào)度Job的每一個(gè)子任務(wù)task運(yùn)行于TaskTracker上,并監(jiān)控它們,如果發(fā)現(xiàn)有失敗的task就重新運(yùn)行它。一般情況應(yīng)該把JobTracker部署在單獨(dú)的機(jī)器上。
3).TaskTracker是運(yùn)行在多個(gè)節(jié)點(diǎn)上的slaver服務(wù)。TaskTracker主動(dòng)與JobTracker通信,接收作業(yè),并負(fù)責(zé)直接執(zhí)行每一個(gè)任務(wù)。TaskTracker都需要運(yùn)行在HDFS的DataNode上。
2. Hadoop 作者
a)Martin Fowler
b)Kent Beck
c)Doug cutting
答案:C Doug cutting
3. HDFS 默認(rèn) Block Size
a)32MB
b)64MB
c)128MB
答案:B
(因?yàn)榘姹靖鼡Q較快,這里答案只供參考)
4. 下列哪項(xiàng)通常是集群的最主要瓶頸?
a)CPU
b)網(wǎng)絡(luò)
c)磁盤IO
d)內(nèi)存
答案:C磁盤
此題分析:
首先集群的目的是為了節(jié)省成本,用廉價(jià)的pc機(jī),取代小型機(jī)及大型機(jī)。小型機(jī)和大型機(jī)有什么特點(diǎn)?
1.cpu處理能力強(qiáng)
2.內(nèi)存夠大
所以集群的瓶頸不可能是a和d
3.網(wǎng)絡(luò)是一種稀缺資源,但是并不是瓶頸。
4.由于大數(shù)據(jù)面臨海量數(shù)據(jù),讀寫數(shù)據(jù)都需要io,然后還要冗余數(shù)據(jù),hadoop一般備3份數(shù)據(jù),所以IO就會(huì)打折扣。
5. 關(guān)于 SecondaryNameNode 哪項(xiàng)是正確的?
a)它是 NameNode 的熱備
b)它對(duì)內(nèi)存沒(méi)有要求
c)它的目的是幫助 NameNode 合并編輯日志,減少 NameNode 啟動(dòng)時(shí)間
d)SecondaryNameNode 應(yīng)與 NameNode 部署到一個(gè)節(jié)點(diǎn)。
答案C
第三部分 多選題
1. 下列哪項(xiàng)可以作為集群的管理?
a)Puppet
b)Pdsh
c)Cloudera Manager
d)Zookeeper
答案:ABD
2. 配置機(jī)架感知的下面哪項(xiàng)正確?
a)如果一個(gè)機(jī)架出問(wèn)題,不會(huì)影響數(shù)據(jù)讀寫
b)寫入數(shù)據(jù)的時(shí)候會(huì)寫到不同機(jī)架的 DataNode 中
c)MapReduce 會(huì)根據(jù)機(jī)架獲取離自己比較近的網(wǎng)絡(luò)數(shù)據(jù)
答案ABC
3. Client 端上傳文件的時(shí)候下列哪項(xiàng)正確?
a)數(shù)據(jù)經(jīng)過(guò) NameNode 傳遞給 DataNode
b)Client 端將文件切分為 Block,依次上傳
c)Client 只上傳數(shù)據(jù)到一臺(tái) DataNode,然后由 NameNode 負(fù)責(zé) Block 復(fù)制工作
答案B
該題分析:
Client向NameNode發(fā)起文件寫入的請(qǐng)求。
NameNode根據(jù)文件大小和文件塊配置情況,返回給Client它所管理部分DataNode的信息。
Client將文件劃分為多個(gè)Block,根據(jù)DataNode的地址信息,按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。
4. Cloudera 提供哪幾種安裝 CDH 的方法?
a)Cloudera manager
b)Tarball
c)Yum
d)Rpm
答案:ABCD
以上就是小編整理的2018大數(shù)據(jù)面試題及答案準(zhǔn)備或者是正在參加大數(shù)據(jù)的面試的朋友可以收藏一下多看看,做好充分的準(zhǔn)備參加每一場(chǎng)的面試。
但是你答不上來(lái)的話那就是能力問(wèn)題啦,需要補(bǔ)課的小伙伴看過(guò)來(lái)!
Python交流群
635448130點(diǎn)擊加入群聊UI設(shè)計(jì)交流群
579150876點(diǎn)擊加入群聊Unity交流群
495609038點(diǎn)擊加入群聊HTML5交流群
645591648點(diǎn)擊加入群聊