（科普&入門）大數(shù)據(jù)技術(shù)應(yīng)用及原理
大數(shù)據(jù)概述
大數(shù)據(jù)時代
三次信息化浪潮
信息科技為大數(shù)據(jù)時代提供技術(shù)支撐
存儲設(shè)備容量不斷增加。
CPU處理能力大幅提升。
網(wǎng)絡(luò)帶寬不斷增加。
數(shù)據(jù)產(chǎn)生方式的變革促成大數(shù)據(jù)時代的來臨
大數(shù)據(jù)的發(fā)展歷程
大數(shù)據(jù)概念
數(shù)據(jù)量大
大數(shù)據(jù)不僅僅是數(shù)據(jù)的“大量化”，而是包含“快速化”、“多樣化”和“價值化”等多重屬性。
根據(jù)IDC作出的估測，數(shù)據(jù)一直都在以每年50%的速度增長，也就是說每兩年就增長一倍（大數(shù)據(jù)摩爾定律）。
人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。
數(shù)據(jù)類型繁多
大數(shù)據(jù)是由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成的：
10%的結(jié)構(gòu)化數(shù)據(jù)，存儲在數(shù)據(jù)庫中。
90%的非結(jié)構(gòu)化數(shù)據(jù)，它們與人類信息密切相關(guān)。
處理速度快
從數(shù)據(jù)的生成到消耗，時間窗口非常小，可用于生成決策的時間非常少。
1秒定律：這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。
價值密度低
價值密度低，商業(yè)價值高。
以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒，但是具有很高的商業(yè)價值。
大數(shù)據(jù)的影響
圖靈獎獲得者、著名數(shù)據(jù)庫專家Jim Gray 博士觀察并總結(jié)人類自古以來，在科學(xué)研究上，先后歷經(jīng)了實驗、理論、計算和數(shù)據(jù)四種范式。
在思維方式方面，大數(shù)據(jù)完全顛覆了傳統(tǒng)的思維方式：
全樣而非抽樣。
效率而非精確。
相關(guān)而非因果。
大數(shù)據(jù)關(guān)鍵技術(shù)
大數(shù)據(jù)技術(shù)的不同層面及其功能
兩大核心技術(shù)：
分布式存儲
GFS\HDFS
BigTable\HBase
NoSQL（鍵值、列族、圖形、文檔數(shù)據(jù)庫）
NewSQL（如： SQL Azure）
分布式處理
MapReduce
大數(shù)據(jù)計算模式
大數(shù)據(jù)產(chǎn)業(yè)
大數(shù)據(jù)產(chǎn)業(yè)是指一切與支撐大數(shù)據(jù)組織管理和價值發(fā)現(xiàn)相關(guān)的企業(yè)經(jīng)濟(jì)活動的集合。
大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關(guān)系
云計算
云計算概念
云計算實現(xiàn)了通過網(wǎng)絡(luò)提供可伸縮的、廉價的分布式計算能力，用戶只需要在具備網(wǎng)絡(luò)接入條件的地方，就可以隨時隨地獲得所需的各種IT資源。
云計算的服務(wù)模式和類型
云計算關(guān)鍵技術(shù)
云計算關(guān)鍵技術(shù)包括：虛擬化、分布式存儲、分布式計算、多租戶等。
云計算數(shù)據(jù)中心
云計算數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施，包括刀片服務(wù)器、寬帶網(wǎng)絡(luò)連接、環(huán)境控
制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置等。數(shù)據(jù)中心是云計算的重要載體，為云計算提供計算、存儲、帶寬等各種硬件資源，為各種平臺和應(yīng)用提供運行支撐環(huán)境。
云計算產(chǎn)業(yè)
云計算產(chǎn)業(yè)作為戰(zhàn)略性新興產(chǎn)業(yè)，近些年得到了迅速發(fā)展，形成了成熟的產(chǎn)業(yè)鏈結(jié)構(gòu)，產(chǎn)業(yè)涵蓋硬件與設(shè)備制造、基礎(chǔ)設(shè)施運營、軟件與解決方案供應(yīng)商、基礎(chǔ)設(shè)施即服務(wù)（IaaS）、平臺即服務(wù)（PaaS）、軟件即服務(wù)（SaaS）、終端設(shè)備、云安全、云計算交付/咨詢/認(rèn)證等環(huán)節(jié)。
云計算產(chǎn)業(yè)鏈
物聯(lián)網(wǎng)
物聯(lián)網(wǎng)概念
物聯(lián)網(wǎng)是物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸，它利用局部網(wǎng)絡(luò)或互聯(lián)網(wǎng)等通信技術(shù)把傳感器、控制器、機(jī)器、人員和物等通過新的方式聯(lián)在一起，形成人與物、物與物相聯(lián)，實現(xiàn)信息化和遠(yuǎn)程管理控制。
物聯(lián)網(wǎng)體系架構(gòu)
物聯(lián)網(wǎng)關(guān)鍵技術(shù)
物聯(lián)網(wǎng)中的關(guān)鍵技術(shù)包括識別和感知技術(shù)（二維碼、 RFID、傳感器等）、網(wǎng)絡(luò)與
通信技術(shù)、數(shù)據(jù)挖掘與融合技術(shù)等。物聯(lián)網(wǎng)產(chǎn)業(yè)
完整的物聯(lián)網(wǎng)產(chǎn)業(yè)鏈主要包括核心感應(yīng)器件提供商、感知層末端設(shè)備提供商、網(wǎng)絡(luò)提供商、軟件與行業(yè)解決方案提供商、系統(tǒng)集成商、運營及服務(wù)提供商等六大環(huán)節(jié)。
物聯(lián)網(wǎng)產(chǎn)業(yè)鏈
大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關(guān)系
云計算、大數(shù)據(jù)和物聯(lián)網(wǎng)代表了IT領(lǐng)域最新的技術(shù)發(fā)展趨勢，三者既有區(qū)別又有聯(lián)系。
大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)之間的關(guān)
