工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)庫 Apache IoTDB 中文演講 張金瑞


- 數(shù)據(jù)庫引擎:可與Flink、Spark集成
- 時(shí)序數(shù)據(jù)文件格式:提出了并原生支持TsFile
- 周邊的配套分析引擎


一條時(shí)間序列是一列,不是一行

- 存儲組 類似于關(guān)系型數(shù)據(jù)庫的 database ,組織一大類數(shù)據(jù)。通過樹型的結(jié)構(gòu)定義具體的設(shè)備。
- 設(shè)備 不同的設(shè)備具備相同的屬性
- 測點(diǎn) 每個(gè)設(shè)備都有若干個(gè)測點(diǎn),每個(gè)測點(diǎn)都會形成一條時(shí)間序列。如圖,比如燃油車vin1有兩個(gè)測點(diǎn),一個(gè)是速度、一個(gè)是油量 。
這種數(shù)據(jù)模型的優(yōu)點(diǎn): 支持海量測點(diǎn)管理

時(shí)間序列的列數(shù)沒有上限,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫屬性數(shù)量有上限
適應(yīng)工業(yè)場景多設(shè)備的復(fù)雜數(shù)據(jù)資產(chǎn)管理

其它時(shí)域數(shù)據(jù)庫能很方便轉(zhuǎn)化為IoTDB的模型,比如InfluxDB模型。

基于LSM trim 的思想,可以實(shí)現(xiàn)數(shù)據(jù)的亂序?qū)懭耄?/p>
文件存儲在亂序空間和順訊空間兩部分。能 實(shí)現(xiàn)底層文件跨空間合并為大文件。


存儲引擎會生成一個(gè)一個(gè)的TsFile文件,這是TsFile的數(shù)據(jù)結(jié)構(gòu)。
- 是一種針對時(shí)序數(shù)據(jù)優(yōu)化的文件格式。
- 采用列式存儲,并按照不同的層級對數(shù)據(jù)進(jìn)行索引的建立
- 具有非常高的數(shù)據(jù)寫入和壓縮性能,能夠非常友好地支持?jǐn)?shù)據(jù)過濾以及聚合查詢



工業(yè)環(huán)境網(wǎng)絡(luò)質(zhì)量難以保證----->數(shù)據(jù)無法完全保序到達(dá)。



- 寬表視圖
- 設(shè)備表視圖
- 測點(diǎn)表視

彌補(bǔ)時(shí)鐘不同步造成影響可視化 / 分析

- 用戶自定義函數(shù):User Defined Function , 滿足定制化計(jì)算需求。
- 內(nèi)置11類UDF庫,75個(gè)函數(shù)。

可以制定一種寫入的規(guī)則。
- 是一種偵聽數(shù)據(jù)變動(dòng)的機(jī)制
- 配合用戶自定義邏輯,可完成 告警、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)發(fā)等功能。
可以通過select into 的語法將已經(jīng)寫入數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行查詢,并進(jìn)行函數(shù)計(jì)算,獲得的結(jié)果可以寫回?cái)?shù)據(jù)集,后續(xù)無需讀原始數(shù)據(jù),避免重復(fù)計(jì)算。提升了體驗(yàn),降低用戶使用難度。

對于固定時(shí)間窗口的、需要多次查詢的聚合任務(wù),可進(jìn)行創(chuàng)建連續(xù)查詢。 比如:自動(dòng)化連續(xù)查詢每10s內(nèi)溫度的最大值定期聚合,后期加速執(zhí)行。


- 兼容MQTT這種物聯(lián)網(wǎng)傳輸協(xié)議。
- kafka,從卡夫卡中進(jìn)行數(shù)據(jù)消費(fèi),把消費(fèi)到的數(shù)據(jù)寫入到自己的db里存儲和管理
- flink,為flink提供了sink功能,流式處理計(jì)算的結(jié)果很方便導(dǎo)出寫入到iot db里

在使用IoT db的過程中,可以使用可視化的監(jiān)控組件進(jìn)行可視化監(jiān)控,組件如Prometheus普羅米修斯,Grafana。
可以在 Grafana的dashboard里可以看到
iot db 運(yùn)行過程中的各種指標(biāo),減少運(yùn)維人員的工作強(qiáng)度和問題定位難度。

低延遲、高吞吐;

在原始數(shù)據(jù)查詢和聚合查詢中都具有很好的查詢性能。

社區(qū)活躍度高

在軌道交通領(lǐng)域的應(yīng)用
存儲車輛監(jiān)控?cái)?shù)據(jù),實(shí)現(xiàn)車輛不同種類故障的統(tǒng)計(jì)分析功能。

替換了OpenTSDB,應(yīng)用在60多家電廠,減少運(yùn)維成本。

存儲了10萬個(gè)國家級地面實(shí)況觀測站數(shù)據(jù),為新一代氣象預(yù)報(bào)專業(yè)產(chǎn)品MICAPS提供了實(shí)況數(shù)據(jù)展示與分析能力。較上代MDFS系統(tǒng)提升了數(shù)百倍性能,支持了更長時(shí)間的實(shí)況數(shù)據(jù)存儲與訪問。目前該系統(tǒng)服務(wù)于每日全國天氣預(yù)報(bào)業(yè)務(wù)。
解決了因觀測站條件苛刻帶來的數(shù)據(jù)亂序問題。

