1．簡述CAP原則的選擇策略與應用場景。

CA（一致性和可用性）應用場景Oracle、SQLServer以及MySQL等。

CP（一致性和分區(qū)容錯性）應用場景MongoDB、HBase以及Redis等

AP（可用性和分區(qū)容錯性）應用場景CouchDB、Cassandra以及DynamoDB等

簡述NoSQL數(shù)據(jù)庫的四種類型。

鍵值對存儲數(shù)據(jù)庫中的數(shù)據(jù)是以鍵值對的形式來存儲的。

文檔存儲數(shù)據(jù)庫是用于存儲和管理文檔，其中文檔是結構化的數(shù)據(jù)（如JSON格式）。

列式存儲數(shù)據(jù)庫是以列為單位存儲數(shù)據(jù)，然后將列值順序地存入數(shù)據(jù)庫中。

圖形存儲數(shù)據(jù)庫主要是應用圖形理論來存儲實體之間的關系信息。

簡述MongoDB數(shù)據(jù)庫的優(yōu)勢。

易用性：MongoDB沒有預定義模式（predefined schema），文檔的鍵（Key）和值（Value）無須定義固定的類型和大小，這使得添加或刪除字段變得更為容易。

高性能：MongoDB數(shù)據(jù)庫對文檔進行了動態(tài)填充，對數(shù)據(jù)文件進行了預分配數(shù)據(jù)文件，用空間來保證性能的穩(wěn)定。

高可用性：MongoDB副本所組成的一個集群，稱為副本集，它提供了自動故障轉移和數(shù)據(jù)冗余功能，以防止數(shù)據(jù)丟失，從而提高數(shù)據(jù)的可用性。

易擴展性：MongoDB的設計采用橫向擴展，可通過分片將數(shù)據(jù)分布在集群機器中，實現(xiàn)負載均衡。

支持多種存儲引擎：MongoDB支持多個存儲引擎包括WiredTiger存儲引擎、內(nèi)存中存儲引擎（In-Memory）和MMAPv1存儲引擎。

簡述MongoDB的索引六種類型。

單字段索引：在文檔的單個字段上創(chuàng)建用戶定義的升序/降序索引。

復合索引：包含多個字段的索引，一個復合索引最多可以包含31個字段。

多鍵索引：MongoDB會為數(shù)組中的每個元素創(chuàng)建索引。

地理空間索引：對地理空間坐標數(shù)據(jù)的有效查詢，包含平面幾何的二維索引和球面幾何的二維球面索引。

文本索引：在集合中搜索字符串內(nèi)容，即進行文本檢索查詢。

哈希索引：哈希索引是使用哈希函數(shù)來計算索引字段的哈希值。

簡述Redis的應用場景。

緩存、構建隊列系統(tǒng)、排行榜、實時的反垃圾系統(tǒng)、數(shù)據(jù)自動過期處理、計數(shù)器應用。

簡述HBase分布式數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫的區(qū)別。

(1)??? 存儲模式

傳統(tǒng)數(shù)據(jù)庫中是基于行存儲的，而HBase是基于列進行存儲的。

(2)??? 表字段

傳統(tǒng)數(shù)據(jù)庫中的表字段不能超過30個，而HBase中的表字段不作限制。

(3)??? 可延伸性

傳統(tǒng)數(shù)據(jù)庫中的列是固定的，需要先確定列有多少才會增加數(shù)據(jù)去存儲，而HBase是根據(jù)數(shù)據(jù)存儲的大小去動態(tài)的增加列，列是不固定的，但是列族是固定的

簡述Neo4j的數(shù)據(jù)模型。

Neo4j數(shù)據(jù)模型是由頂點（Vertex）、邊（Edge）、標簽（Lable）、關系類型以及屬性（Property）組成的有向圖。

頂點是使用圓來表示的，頂點也可稱為節(jié)點（Node），所有的節(jié)點都是獨立存在的。

邊是使用有向箭頭表示的，邊也可稱為關系（Relationship），關系是通過關系類型進行分組，類型相同的關系則屬于同一個集合。

標簽是使用label表示的，標簽類似于節(jié)點的類型。

關系類型主要用于標記關系的類型，多個關系可以有相同的關系類型。

屬性是使用鍵值對表示的每個節(jié)點或關系可以擁有一個或多個屬性。

簡述大數(shù)據(jù)研究的意義。

研究大數(shù)據(jù)，最重要的意義是預測。因為數(shù)據(jù)從根本上講，是對過去和現(xiàn)在的歸納和總結，其本身不具備趨勢和方向性的特征，但是可以應用大數(shù)據(jù)去了解事物發(fā)展的客觀規(guī)律、了解人類行為，并且能夠幫助我們改變過去的思維方式,建立新的數(shù)據(jù)思維模型，從而對未來進行預測和推測。

簡述Hadoop版本區(qū)別。

Hadoop發(fā)行版本分為開源社區(qū)版和商業(yè)版，社區(qū)版是指由Apache軟件基金會維護的版本，是官方維護的版本體系。商業(yè)版Hadoop是指由第三方商業(yè)公司在社區(qū)版Hadoop基礎上進行了一些修改、整合以及各個服務組件兼容性測試而發(fā)行的版本，例如比較著名的有Cloudera公司的CDH版本。

簡述什么是SSH以及SSH協(xié)議解決的問題。

SSH為Secure Shell的縮寫，它是一種網(wǎng)絡安全協(xié)議，專為遠程登錄會話和其他網(wǎng)絡服務提供安全性的協(xié)議。通過使用SSH服務，可以把傳輸?shù)臄?shù)據(jù)進行加密，有效防止遠程管理過程中的信息泄露問題。

簡述Hadoop集群部署方式以及各方式使用場景。

（1）獨立模式：又稱為單機模式，在該模式下，無需運行任何守護進程，所有的程序都在單個JVM上執(zhí)行。獨立模式下調(diào)試Hadoop集群的MapReduce程序非常方便，所以一般情況下，該模式在學習或者開發(fā)階段調(diào)試使用。

（2）偽分布式模式：Hadoop程序的守護進程運行在一臺節(jié)點上，通常使用偽分布式模式用來調(diào)試Hadoop分布式程序的代碼，以及程序執(zhí)行是否正確，偽分布式模式是完全分布式模式的一個特例。

（3）完全分布式模式：Hadoop的守護進程分別運行在由多個主機搭建的集群上，不同節(jié)點擔任不同的角色，在實際工作應用開發(fā)中，通常使用該模式構建企業(yè)級Hadoop系統(tǒng)。

簡述NameNode管理分布式文件系統(tǒng)的命名空間。

在NameNode內(nèi)部是以元數(shù)據(jù)的形式，維護著兩個文件，分別是FsImage鏡像文件和EditLog日志文件。其中，F(xiàn)sImage鏡像文件用于存儲整個文件系統(tǒng)命名空間的信息，EditLog日志文件用于持久化記錄文件系統(tǒng)元數(shù)據(jù)發(fā)生的變化。當NameNode啟動的時候，F(xiàn)sImage鏡像文件就會被加載到內(nèi)存中，然后對內(nèi)存里的數(shù)據(jù)執(zhí)行記錄的操作，以確保內(nèi)存所保留的數(shù)據(jù)處于最新的狀態(tài)，這樣就加快了元數(shù)據(jù)的讀取和更新操作。

簡述HDFS Block與MapReduce split之間的聯(lián)系。

Block：HDFS中最小的數(shù)據(jù)存儲單位，默認是128M；Split：MapReduce中最小的計算單元，默認與Block一一對應。

兩者的對應關系是任意的，可由用戶控制。

簡述Watch機制的特點

一次性觸發(fā)、事件封裝、異步發(fā)送、先注冊再觸發(fā)

簡述Hadoop HA集群的啟動步驟

1）啟動集群各個節(jié)點的Zookeeper服務；

（2）啟動集群各個節(jié)點監(jiān)控NameNode的管理日志的JournalNode；

（3）在node-01節(jié)點格式化NameNode，并將格式化后的目錄拷貝到node-02中；

（4）在node-01節(jié)點上格式化ZKFC；

（5）在node-01節(jié)點上啟動HDFS；

（6）在node-01節(jié)點上啟動YARN。

簡述Hive的特點是什么。

Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結構化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能，可以將SQL語句轉換為MapReduce任務進行運行。其優(yōu)點是學習成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。

簡述Hive中內(nèi)部表與外部表的區(qū)別。

創(chuàng)建表階段：

外部表創(chuàng)建表的時候，不會移動數(shù)到數(shù)據(jù)倉庫目錄中（/user/hive/warehouse），只會記錄表數(shù)據(jù)存放的路徑，內(nèi)部表會把數(shù)據(jù)復制或剪切到表的目錄下。

刪除表階段：

外部表在刪除表的時候只會刪除表的元數(shù)據(jù)信息不會刪除表數(shù)據(jù)，內(nèi)部表刪除時會將元數(shù)據(jù)信息和表數(shù)據(jù)同時刪除

簡述Azkaban中的project、job和flow元素的關系。

roject可以理解為Azkaban的某個項目，在項目中包含了許多需要執(zhí)行的任務，即為job，各個job之間形成依賴關系，就組成了工作流flow。

簡述Azkaban的組成部分，以及各個部分的功能。

Azkaban分為三部分，mysql服務器：用于存儲項目、日志或者執(zhí)行計劃之類的信息；web服務器：使用Jetty對外部提供web服務，使用戶通過WEB UI操作Azkaban系統(tǒng)；executor服務器：負責具體的工作流的提交、執(zhí)行。

簡述Sqoop導入與導出數(shù)據(jù)工作原理。

在導入數(shù)據(jù)之前，Sqoop使用JDBC檢查導入的數(shù)據(jù)表，檢索出表中的所有列以及列的SQL數(shù)據(jù)類型，并將這些SQL類型映射為Java數(shù)據(jù)類型，在轉換后的MapReduce應用中使用這些對應的Java類型來保存字段的值，Sqoop的代碼生成器使用這些信息來創(chuàng)建對應表的類，用于保存從表中抽取的記錄。

在導出數(shù)據(jù)之前，Sqoop會根據(jù)數(shù)據(jù)庫連接字符串來選擇一個導出方法，對于大部分系統(tǒng)來說，Sqoop會選擇JDBC。Sqoop會根據(jù)目標表的定義生成一個Java類，這個生成的類能夠從文本中解析出記錄數(shù)據(jù)，并能夠向表中插入類型合適的值，然后啟動一個MapReduce作業(yè)，從HDFS中讀取源數(shù)據(jù)文件，使用生成的類解析出記錄，并且執(zhí)行選定的導出方法。