面試是通往各大企業(yè)的必經(jīng)之路，尤其是對(duì)于程序員面試，這種技術(shù)人員的面試，比一般的面試還要復(fù)雜，是要經(jīng)歷好幾輪的。大數(shù)據(jù)工程師的面試也不例外，首先一輪便是面試，主要考察的是自己掌握的技術(shù)知識(shí)，所以?xún)?yōu)就業(yè)小編給大家整理了一些常見(jiàn)的大數(shù)據(jù)面試題。

1、了解zookeeper嗎?介紹一下它，它的選舉機(jī)制和集群的搭建。

2、spark streming在實(shí)時(shí)處理時(shí)會(huì)發(fā)生什么故障，如何停止，解決。

3、RDD中reduceBykey與groupByKey哪個(gè)性能好，為什么。

4、Hbase 內(nèi)部結(jié)構(gòu)和hbase 表里面怎么對(duì)應(yīng)的。

5、講述一下mapreduce的流程。

6、kafka集群的規(guī)模，消費(fèi)速度是多少。

7、給40億個(gè)不重復(fù)的unsigned int的整數(shù)，沒(méi)排過(guò)序的，然后再給一個(gè)數(shù)，如何快速判斷這個(gè)數(shù)是否在那40億個(gè)數(shù)當(dāng)中?

8、給定a、b兩個(gè)文件，各存放50億個(gè)url，每個(gè)url各占64字節(jié)，內(nèi)存限制是4G，讓你找出a、b文件共同的url?

9、尋找熱門(mén)查詢(xún)：搜索引擎會(huì)通過(guò)日志文件把用戶(hù)每次檢索使用的所有檢索串都記錄下來(lái)，每個(gè)查詢(xún)串的長(zhǎng)度為1-255字節(jié) 假設(shè)目前有一千萬(wàn)個(gè)記錄(這些查詢(xún)串的重復(fù)度比較高，雖然總數(shù)是1千萬(wàn)，但如果除去重復(fù)后，不超過(guò)3百萬(wàn)個(gè)。一個(gè)查詢(xún)串的重復(fù)度越高，說(shuō)明查詢(xún)它的用戶(hù)越多，也就是越熱門(mén))，請(qǐng)你統(tǒng)計(jì)最熱門(mén)的10個(gè)查詢(xún)串，要求使用的內(nèi)存不能超過(guò)1G。

10、首先集群的目的是為了節(jié)省成本，用廉價(jià)的pc機(jī)，取代小型機(jī)及大型機(jī)。小型機(jī)和大型機(jī)有什么特點(diǎn)?

相關(guān)推薦：

【大數(shù)據(jù)面試題】10道常見(jiàn)的大數(shù)據(jù)面試題(二)

【大數(shù)據(jù)培訓(xùn)教程】把握時(shí)代風(fēng)口，做大數(shù)據(jù)架構(gòu)師