最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

如何解決Flink水印亂序的數(shù)據(jù)丟失問題呢?

2023-08-23 15:35 作者:ingemar-  | 我要投稿

按照數(shù)據(jù)的時(shí)間戳來看,事件是亂序的,則watermark就非常重要了:


亂序怎樣產(chǎn)生的呢


采集過程中導(dǎo)致的亂序

網(wǎng)絡(luò)傳輸過程導(dǎo)致的亂序


亂序?qū)?dǎo)致數(shù)據(jù)丟失



如何解決亂序的數(shù)據(jù)丟失問題呢



等待時(shí)間(亂序程度)如何設(shè)置


  • 等待時(shí)間 = 最大的亂序程度。

經(jīng)驗(yàn)值 => 對自身集群和數(shù)據(jù)的了解,大概估算

對數(shù)據(jù)進(jìn)行抽樣

肯定不會設(shè)置為幾個(gè)小時(shí),一般設(shè)為 秒 或者 分鐘

  • 底層實(shí)現(xiàn)

watermark = maxTimestamp - outOfOrdernessMillis - 1?

= 最大亂序事件時(shí)間 - 亂序程度(等待時(shí)間) - 1ms

  • 需求

根據(jù)socket文本計(jì)算當(dāng)前亂序3秒的數(shù)據(jù)統(tǒng)計(jì)

分配水印機(jī)制-forBoundedOutOfOrderness

  • 參考代碼


如何解決Flink水印亂序的數(shù)據(jù)丟失問題呢?的評論 (共 條)

分享到微博請遵守國家法律
博客| 西华县| 肥城市| 信宜市| 临高县| 象山县| 西丰县| 乐陵市| 舟曲县| 会泽县| 河曲县| 宜宾市| 岑巩县| 关岭| 格尔木市| 德令哈市| 富宁县| 诸城市| 云林县| 东山县| 安陆市| 蓬莱市| 屯昌县| 安丘市| 蓬安县| 都匀市| 孟津县| 台东市| 临武县| 鹿邑县| 呼图壁县| 寿光市| 雷州市| 峨边| 新竹县| 河南省| 青河县| 色达县| 建瓯市| 安化县| 滨海县|