最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

Flink對(duì)于延遲數(shù)據(jù)的解決方法:allowedLateness

2023-08-28 11:33 作者:ingemar-  | 我要投稿

當(dāng)我們對(duì)流設(shè)置窗口后得到的WindowedStream對(duì)象就可以使用allowedLateness方法

該方法傳入一個(gè)Time值,設(shè)置允許的長(zhǎng)期延遲(遲到)的時(shí)間。

和watermark不同。

未設(shè)置allowedLateness(為0),當(dāng)watermark滿足條件,會(huì)觸發(fā)窗口的 執(zhí)行 + 關(guān)閉

當(dāng)設(shè)置了allowedLateness,當(dāng)watermark滿足條件后,只會(huì)觸發(fā)窗口的執(zhí)行,不會(huì)觸發(fā)窗口關(guān)閉。

也就是,watermark滿足條件后會(huì)正常觸發(fā)窗口計(jì)算,將已有的數(shù)據(jù)完成計(jì)算。?

但是,不會(huì)關(guān)閉窗口。如果在allowedLateness允許的時(shí)間內(nèi)仍有這個(gè)窗口的數(shù)據(jù)進(jìn)來,那么每進(jìn)來一條,會(huì)和已經(jīng)計(jì)算過的(被watermark觸發(fā)的)數(shù)據(jù)一起在計(jì)算一次


示例代碼



執(zhí)行結(jié)果


如圖,1000 4999 屬于窗口 0 ~ 5000的數(shù)據(jù)

當(dāng)7999提交的時(shí)候,滿足了watermark的觸發(fā),將0 – 5000這個(gè)窗口的數(shù)據(jù)計(jì)算了(未關(guān)閉)

輸出結(jié)果(a, 2)

當(dāng)輸入8999的時(shí)候,watermark已經(jīng)被推到了 5999了,已經(jīng)超出了0-5000窗口的結(jié)束時(shí)間

但是當(dāng)我們提交了a 3000 發(fā)現(xiàn),0-5000這個(gè)窗口還在,并且3000和原本的1000 4999聯(lián)合一起計(jì)算了一次

得到(a, 3)的結(jié)果


這樣證明:

  • 長(zhǎng)期延遲數(shù)據(jù)處理機(jī)制,如果設(shè)置了時(shí)間,watermark只會(huì)完成觸發(fā)窗口計(jì)算,而不會(huì)關(guān)閉窗口

  • 同時(shí),當(dāng)有新數(shù)據(jù)進(jìn)入這個(gè)窗口還會(huì)和已經(jīng)計(jì)算過的數(shù)據(jù)放在一起再次計(jì)算

  • 當(dāng),當(dāng)前事件時(shí)間 – 水印長(zhǎng)度 – 允許的長(zhǎng)期延遲數(shù)據(jù)時(shí)間 >= 窗口的結(jié)束時(shí)間的時(shí)候, 這個(gè)窗口才會(huì)關(guān)閉

如圖,可見,后續(xù)又輸入了9999, 這個(gè)9999導(dǎo)致了0-5000窗口的關(guān)閉

所以再次輸入a 3500 發(fā)現(xiàn)就沒有反應(yīng)了。因?yàn)閷儆谒拇翱谝呀?jīng)關(guān)閉了。

9999 – 3000 – 2000 = 4999? ?3000是水印長(zhǎng)度? 2000是允許的長(zhǎng)期延遲數(shù)據(jù)時(shí)間

4999 就是0-5000這個(gè)窗口的觸發(fā)點(diǎn),


總結(jié)


水?。憾唐谘舆t,達(dá)到條件后觸發(fā)計(jì)算并且關(guān)閉窗口(觸發(fā)+關(guān)閉同時(shí)進(jìn)行)

水印+allowedLateness :短期延遲+ 等待長(zhǎng)期延遲效果,達(dá)到水印條件后,會(huì)觸發(fā)窗口計(jì)算,但是不關(guān)閉窗口。事件時(shí)間延遲達(dá)到水印+allowedLateness之和后會(huì)關(guān)閉窗口


Flink對(duì)于延遲數(shù)據(jù)的解決方法:allowedLateness的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國(guó)家法律
永川市| 义乌市| 道真| 宜兴市| 澎湖县| 社会| 庐江县| 基隆市| 玉田县| 广州市| 松溪县| 茌平县| 富民县| 伊宁市| 夏河县| 隆德县| 黎城县| 龙海市| 垫江县| 高邑县| 文化| 垫江县| 万载县| 丰原市| 连云港市| 盐山县| 温泉县| 阳高县| 西和县| 启东市| 洛扎县| 襄城县| 宁国市| 镶黄旗| 武清区| 玉山县| 鄯善县| 宜川县| 盐亭县| 贵德县| 镇安县|