最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)庫 Apache IoTDB 中文演講 張金瑞

2022-12-01 18:09 作者:廣雨辰芊  | 我要投稿

?
01:20
?


  1. 數(shù)據(jù)庫引擎:可與Flink、Spark集成
  2. 時(shí)序數(shù)據(jù)文件格式:提出了并原生支持TsFile
  3. 周邊的配套分析引擎


?
02:07
?



?
02:31
?


一條時(shí)間序列是一列,不是一行

?
03:15
?


  • 存儲組 類似于關(guān)系型數(shù)據(jù)庫的 database ,組織一大類數(shù)據(jù)。通過樹型的結(jié)構(gòu)定義具體的設(shè)備。
  • 設(shè)備 不同的設(shè)備具備相同的屬性
  • 測點(diǎn) 每個(gè)設(shè)備都有若干個(gè)測點(diǎn),每個(gè)測點(diǎn)都會形成一條時(shí)間序列。如圖,比如燃油車vin1有兩個(gè)測點(diǎn),一個(gè)是速度、一個(gè)是油量 。

?
04:16
?

這種數(shù)據(jù)模型的優(yōu)點(diǎn): 支持海量測點(diǎn)管理

時(shí)間序列的列數(shù)沒有上限,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫屬性數(shù)量有上限

?
04:49
?

適應(yīng)工業(yè)場景多設(shè)備的復(fù)雜數(shù)據(jù)資產(chǎn)管理


?
05:17
?

其它時(shí)域數(shù)據(jù)庫能很方便轉(zhuǎn)化為IoTDB的模型,比如InfluxDB模型。

?
06:00
?
(知識盲區(qū),先跳過)

基于LSM trim 的思想,可以實(shí)現(xiàn)數(shù)據(jù)的亂序?qū)懭耄?/p>

文件存儲在亂序空間和順訊空間兩部分。能 實(shí)現(xiàn)底層文件跨空間合并為大文件。

?
06:57
?


存儲引擎會生成一個(gè)一個(gè)的TsFile文件,這是TsFile的數(shù)據(jù)結(jié)構(gòu)。

  • 是一種針對時(shí)序數(shù)據(jù)優(yōu)化的文件格式。
  • 采用列式存儲,并按照不同的層級對數(shù)據(jù)進(jìn)行索引的建立
  • 具有非常高的數(shù)據(jù)寫入和壓縮性能,能夠非常友好地支持?jǐn)?shù)據(jù)過濾以及聚合查詢

?
07:42
?



?
08:08
?



?
08:45
?



工業(yè)環(huán)境網(wǎng)絡(luò)質(zhì)量難以保證----->數(shù)據(jù)無法完全保序到達(dá)。

?
09:44
?

?
10:36
?

?
11:19
?



  • 寬表視圖
  • 設(shè)備表視圖
  • 測點(diǎn)表視

?
11:38
?



彌補(bǔ)時(shí)鐘不同步造成影響可視化 / 分析

?
11:51
?


  • 用戶自定義函數(shù):User Defined Function , 滿足定制化計(jì)算需求。
  • 內(nèi)置11類UDF庫,75個(gè)函數(shù)。

?
12:17
?

可以制定一種寫入的規(guī)則。

  • 是一種偵聽數(shù)據(jù)變動(dòng)的機(jī)制
  • 配合用戶自定義邏輯,可完成 告警、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)發(fā)等功能。

?
13:08
?

可以通過select into 的語法將已經(jīng)寫入數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行查詢,并進(jìn)行函數(shù)計(jì)算,獲得的結(jié)果可以寫回?cái)?shù)據(jù)集,后續(xù)無需讀原始數(shù)據(jù),避免重復(fù)計(jì)算。提升了體驗(yàn),降低用戶使用難度。


?
13:53
?

對于固定時(shí)間窗口的、需要多次查詢的聚合任務(wù),可進(jìn)行創(chuàng)建連續(xù)查詢。 比如:自動(dòng)化連續(xù)查詢每10s內(nèi)溫度的最大值定期聚合,后期加速執(zhí)行。

?
14:21
?


  • 兼容MQTT這種物聯(lián)網(wǎng)傳輸協(xié)議。
  • kafka,從卡夫卡中進(jìn)行數(shù)據(jù)消費(fèi),把消費(fèi)到的數(shù)據(jù)寫入到自己的db里存儲和管理
  • flink,為flink提供了sink功能,流式處理計(jì)算的結(jié)果很方便導(dǎo)出寫入到iot db里

在使用IoT db的過程中,可以使用可視化的監(jiān)控組件進(jìn)行可視化監(jiān)控,組件如Prometheus普羅米修斯,Grafana。

可以在 Grafana的dashboard里可以看到

iot db 運(yùn)行過程中的各種指標(biāo),減少運(yùn)維人員的工作強(qiáng)度和問題定位難度。

?
15:59
?



?
17:12
?

低延遲、高吞吐;

在原始數(shù)據(jù)查詢和聚合查詢中都具有很好的查詢性能。


?
18:01
?

社區(qū)活躍度高

在軌道交通領(lǐng)域的應(yīng)用

?
18:53
?

存儲車輛監(jiān)控?cái)?shù)據(jù),實(shí)現(xiàn)車輛不同種類故障的統(tǒng)計(jì)分析功能。


?
19:08
?

替換了OpenTSDB,應(yīng)用在60多家電廠,減少運(yùn)維成本。


?
19:30
?

存儲了10萬個(gè)國家級地面實(shí)況觀測站數(shù)據(jù),為新一代氣象預(yù)報(bào)專業(yè)產(chǎn)品MICAPS提供了實(shí)況數(shù)據(jù)展示與分析能力。較上代MDFS系統(tǒng)提升了數(shù)百倍性能,支持了更長時(shí)間的實(shí)況數(shù)據(jù)存儲與訪問。目前該系統(tǒng)服務(wù)于每日全國天氣預(yù)報(bào)業(yè)務(wù)。

解決了因觀測站條件苛刻帶來的數(shù)據(jù)亂序問題。


?
20:30
?



工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)庫 Apache IoTDB 中文演講 張金瑞的評論 (共 條)

分享到微博請遵守國家法律
福建省| 甘洛县| 房山区| 中山市| 高青县| 江城| 沙田区| 出国| 龙泉市| 崇明县| 翁牛特旗| 竹溪县| 中牟县| 福州市| 磴口县| 平舆县| 永嘉县| 广平县| 饶平县| 含山县| 涞水县| 平遥县| 卢湾区| 务川| 通河县| 灵武市| 郧西县| 黔江区| 建德市| 吴旗县| 临邑县| 泾源县| 高唐县| 蕉岭县| 英超| 云南省| 安远县| 永川市| 长治县| 定西市| 集贤县|