《大數(shù)據(jù)導(dǎo)論》課程講稿章節(jié)目錄：

第1章 大數(shù)據(jù)概述

（1）大數(shù)據(jù)的概念

（2）大數(shù)據(jù)的特征

（3）大數(shù)據(jù)的數(shù)據(jù)類型

（4）大數(shù)據(jù)的技術(shù)

（5）大數(shù)據(jù)的應(yīng)用

第2章 大數(shù)據(jù)采集與預(yù)處理

?

1.大數(shù)據(jù)的來源：

1）對現(xiàn)實世界的測量：通過感知設(shè)備獲得數(shù)據(jù)

2）人類的記錄：由人錄入計算機形成數(shù)據(jù)

3）計算機生成數(shù)據(jù)：? 計算機通過現(xiàn)實世界模擬等程序?成數(shù)據(jù)

2.多源數(shù)據(jù)采集：推拉

傳感器：無線傳感器網(wǎng)絡(luò)，有線傳感器網(wǎng)絡(luò)

日志：系統(tǒng)的狀態(tài)，行為，用戶和系統(tǒng)的交互

?

?

?

數(shù)據(jù)映射，模式匹配，語義翻譯

?

跨界數(shù)據(jù)集成?????

深度學(xué)習(xí)基本概念，卷積層的計算

卷積核的計算，池化層的計算

?

（5）數(shù)據(jù)變換

的種類0-1標(biāo)準(zhǔn)化，，zscgo 標(biāo)準(zhǔn)化

數(shù)據(jù)質(zhì)量

重點：缺失值填充方法

預(yù)測或回歸

（6）數(shù)據(jù)規(guī)約

第3章 大數(shù)據(jù)存儲

關(guān)系數(shù)據(jù)模型：

關(guān)系數(shù)據(jù)模型里的數(shù)據(jù)結(jié)構(gòu)

查詢，更新，連接，投影，選擇

?

結(jié)構(gòu)化的查詢語言：SQL 高級的非過程化的

SQL：數(shù)據(jù)定義語言，數(shù)據(jù)操作語言，數(shù)據(jù)控制語言（英文+簡寫） 內(nèi)容，操作

區(qū)分：數(shù)據(jù)操作select

?

事務(wù)的四個特性：ACID及相關(guān)含義

三個文件系統(tǒng)的特性，架構(gòu)，操作 對比（表格）

?

新型數(shù)據(jù)庫：放棄ACID，采用寬松條件

圖數(shù)據(jù)庫的操作，表示，應(yīng)用領(lǐng)域

（1）大數(shù)據(jù)存儲概述

（2）數(shù)據(jù)存儲介質(zhì)

（3）存儲系統(tǒng)結(jié)構(gòu)

（4）云存儲概述

（5）云存儲技術(shù)

（6）新型數(shù)據(jù)存儲系統(tǒng)

（7）數(shù)據(jù)倉庫

第4章 大數(shù)據(jù)計算平臺

（1）云計算概述

（2）云計算平臺

（3）MapReduce平臺

（4）Hadoop平臺

（5）Spark平臺

第5章 大數(shù)據(jù)分析與挖掘

聚類，相似性度量，特性，聚類結(jié)果的質(zhì)量，常用準(zhǔn)則函數(shù)（大概），K-means(圖)性能分析（重點是第二點復(fù)雜度分析）缺點，改進方法

理解（決策樹，KNN）

決策樹（重點）（應(yīng)用）定義劃分停止條件。

KNN算法例子，優(yōu)缺點。

距離度量應(yīng)該滿足的四個性質(zhì)

?

圖的基本概念，入度出度的計算

自然語言的數(shù)據(jù)分析：詞表示分析，TF

（1）大數(shù)據(jù)分析概述

（2）大數(shù)據(jù)分析的類型及架構(gòu)

（3）大數(shù)據(jù)挖掘

（4）大數(shù)據(jù)關(guān)聯(lián)分析

（5）大數(shù)據(jù)分類

（6）大數(shù)據(jù)聚類

（7）大數(shù)據(jù)分析工具

第6章 大數(shù)據(jù)可視化

可視化分析，基本技術(shù)，

時空數(shù)據(jù)可視化的三類，要理解清楚

常見可視化工具及軟件

（1）大數(shù)據(jù)可視化概述

（2）大數(shù)據(jù)可視化方法

（3）大數(shù)據(jù)可視化工具

?

數(shù)據(jù)安全與隱私保護，三點問題，危害，信息安全的內(nèi)容，目標(biāo)（具體含義）

數(shù)據(jù)采集的哪幾類銘感信息

?

密碼學(xué)：

加密技術(shù)：對稱，非對稱。

保密模型

消息鑒別碼YUANLI ;圖

數(shù)字簽名技術(shù)的過程

PKL,PMI區(qū)別，內(nèi)容

?

7.

大數(shù)據(jù)處理平臺的內(nèi)容，架構(gòu)

Mapreduece基本特點

流式計算：過程，特性，處理流程

?

第7章 社交大數(shù)據(jù)

第二挑戰(zhàn)（四部分），第三用戶影響力（重要） 最大化的動機，性質(zhì)，ci mo xing

（1）社交大數(shù)據(jù)

（2）國內(nèi)社交網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用

（3）國外社交網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用

第8章 城市大數(shù)據(jù)

城市數(shù)據(jù)的特點。智慧城市的內(nèi)容 2008，

未來趨勢（沒一點的內(nèi)容）

技術(shù)框架，四層反饋

特點：三個

?教育大數(shù)據(jù)：認知，知識跟蹤，教育大數(shù)據(jù)的特點，

工業(yè)大數(shù)據(jù)：

5V，特征，新特征 多模態(tài)強關(guān)聯(lián)，高通量

內(nèi)容，特征

?

數(shù)據(jù)開放與共享：

開放數(shù)據(jù)的核心要素，八，五項原則。

?

法律政策規(guī)范：年份，數(shù)據(jù)主權(quán)與數(shù)據(jù)權(quán)力（圖）（重點）

管理權(quán)，控制權(quán)，拒絕全

?

數(shù)據(jù)”、“信息”、“知識”是所有人共通使用的東西。共享的基礎(chǔ)越大，產(chǎn)生的“智慧”就越能提高。智慧是對個別間題的解決方法，產(chǎn)生它的是人的創(chuàng)造性。而且，這種創(chuàng)造性是在大量數(shù)據(jù)、信息、知識的基礎(chǔ)上培養(yǎng)起來的，應(yīng)用到實踐層面就是“智慧”。為了明確知識管理的意義，有必要正確理解“數(shù)據(jù)”“信息”、“知識”和“智慧”的區(qū)別。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

?

?