最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

流處理系統(tǒng) 第四章 高級(jí)窗口

2022-03-28 17:28 作者:huanyigntianhe  | 我要投稿

本章主要是講解一些窗口函數(shù)相關(guān)的高級(jí)話題。首先會(huì)講一下基于處理時(shí)間的窗口函數(shù)(processing-time windowing)的兩種實(shí)現(xiàn),對(duì)比加深理解基于事件時(shí)間(event-time windowing)的窗口函數(shù),并且了解什么時(shí)候該用處理時(shí)間窗口函數(shù),什么時(shí)候該用事件時(shí)間的窗口函數(shù)。接著講解會(huì)話窗口(session windows), 最后會(huì)介紹一下自定義窗口函數(shù)(custom windowing)的重要性。

處理時(shí)間窗口

處理時(shí)間窗口函數(shù)的重要性體現(xiàn)在兩個(gè)方面

(1)在特定場(chǎng)景下,例如使用情況監(jiān)控,人們只對(duì)事件的觀察時(shí)間比較關(guān)心,這時(shí)候用處理時(shí)間窗口函數(shù)比較方便

(2)某些情況下,事件發(fā)生的事件非常重要,比如用戶行為分析,收費(fèi)記賬等,這個(gè)時(shí)候處理時(shí)間窗口函數(shù)就是錯(cuò)誤的,謹(jǐn)記分辨這種情況

處理時(shí)間窗口函數(shù)的實(shí)現(xiàn)方式有兩種:

(1)利用觸發(fā)器。讓觸發(fā)器基于處理時(shí)間,忽略掉事件時(shí)間

(2)將處理時(shí)間賦值給事件時(shí)間,這時(shí)事件時(shí)間相關(guān)的窗口函數(shù)便是處理時(shí)間窗口函數(shù)

例子:

兩種輸入:灰色代表一組輸入數(shù)據(jù),粉色代表另一組數(shù)據(jù)

同一組輸入數(shù)據(jù)兩組處理順序

基于事件時(shí)間窗口函數(shù)計(jì)算后的結(jié)果

第一種方法實(shí)現(xiàn)的處理時(shí)間窗口計(jì)算后的結(jié)果

第二種方法實(shí)現(xiàn)的處理時(shí)間窗口函數(shù)結(jié)果

對(duì)比可以發(fā)現(xiàn),事件時(shí)間窗口函數(shù)的計(jì)算結(jié)果對(duì)輸入數(shù)據(jù)的處理時(shí)間不敏感,而處理時(shí)間窗口函數(shù)反之。另外第二種處理時(shí)間窗口函數(shù)的實(shí)現(xiàn)又時(shí)間平移的效果。

會(huì)話窗口

會(huì)話窗口的兩個(gè)特點(diǎn):

(1)數(shù)據(jù)驅(qū)動(dòng)。窗口的位置、大小是與數(shù)據(jù)自身相關(guān)的,而不是預(yù)先定義好的

(2)非對(duì)齊。窗口不是均勻的。

會(huì)話窗口的定義非常簡(jiǎn)單,我們只需要定義時(shí)間間隔,如果兩個(gè)事件間隔小于定義好的間隔,就可以將兩個(gè)對(duì)應(yīng)的窗口合并,形成一個(gè)新的會(huì)話窗口。上圖就是一個(gè)簡(jiǎn)單的例子,原本五個(gè)會(huì)話窗口合并形成了最后的兩個(gè)窗口

下邊是一個(gè)復(fù)雜一點(diǎn)的例子,更好的闡釋合并的過(guò)程

自定義窗口

前邊章節(jié)提到過(guò)固定長(zhǎng)度窗口,滑動(dòng)窗口和會(huì)話窗口,這些窗口函數(shù)組合可以實(shí)現(xiàn)非常復(fù)雜的數(shù)據(jù)處理任務(wù),而Beam除此之外還提供了自定義窗口功能

自定義窗口需要實(shí)現(xiàn)兩個(gè)基本函數(shù):

(1)窗口分配

(2)窗口合并

自定義實(shí)現(xiàn)固定窗口:

非對(duì)齊的固定窗口:

按照元素對(duì)齊的固定窗口:

自定義會(huì)話窗口:

自定義帶長(zhǎng)度限制的會(huì)話窗口:

對(duì)比之前的會(huì)話窗口合并動(dòng)態(tài)圖,不難發(fā)現(xiàn)由于會(huì)話長(zhǎng)度的限制,后邊一些會(huì)話窗口并沒(méi)有合并

可見自定義窗口是一個(gè)非常強(qiáng)大的工具,現(xiàn)在大部分流處理系統(tǒng)沒(méi)有提供自定義窗口的功能。

流處理系統(tǒng) 第四章 高級(jí)窗口的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國(guó)家法律
揭东县| 蒙城县| 兴化市| 宾川县| 丹东市| 平南县| 合水县| 海安县| 武穴市| 荥阳市| 四会市| 阿图什市| 鲁山县| 冀州市| 日照市| 紫阳县| 土默特左旗| 日喀则市| 白河县| 岐山县| 顺平县| 塔城市| 南充市| 萨嘎县| 满洲里市| 临汾市| 克什克腾旗| 略阳县| 宣威市| 永修县| 寻甸| 韶山市| 澜沧| 乌拉特中旗| 霸州市| 舞阳县| 万山特区| 锡林浩特市| 西乌| 大庆市| 安义县|