最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

怎么保證Flink可以高效地讀取數(shù)據(jù)源中的數(shù)據(jù)?

2023-07-10 11:20 作者:ingemar-  | 我要投稿

在現(xiàn)實生產環(huán)境中,為了保證Flink可以高效地讀取數(shù)據(jù)源中的數(shù)據(jù),通常是跟一些分布式消息中件結合使用,例如Apache Kafka。Kafka的特點是分布式、多副本、高可用、高吞吐、可以記錄偏移量等。Flink和Kafka整合可以高效的讀取數(shù)據(jù),并且可以保證Exactly Once(精確一次性語義)


依賴


Apache Flink 集成了通用的 Kafka 連接器,它會盡力與 Kafka client 的最新版本保持同步。該連接器使用的 Kafka client 版本可能會在 Flink 版本之間發(fā)生變化。當前 Kafka client 向后兼容 0.10.0 或更高版本的 Kafka broker。有關 Kafka 兼容性的更多細節(jié),請參考 Kafka 官方文檔。


Kafka Consumer


Flink 的 Kafka consumer 稱為 FlinkKafkaConsumer。它提供對一個或多個 Kafka topics 的訪問。

構造函數(shù)接受以下參數(shù):

  • Topic 名稱或者名稱列表

  • 用于反序列化 Kafka 數(shù)據(jù)的 DeserializationSchema 或者 KafkaDeserializationSchema

  • Kafka 消費者的屬性。需要以下屬性:

  • “bootstrap.servers”(以逗號分隔的 Kafka broker 列表)

  • “group.id” 消費組 ID


怎么保證Flink可以高效地讀取數(shù)據(jù)源中的數(shù)據(jù)?的評論 (共 條)

分享到微博請遵守國家法律
阿荣旗| 宁波市| 乌兰浩特市| 吴川市| 日喀则市| 思茅市| 日土县| 中江县| 临武县| 合江县| 樟树市| 宝山区| 同心县| 泸溪县| 辽宁省| 衡阳市| 新民市| 莱西市| 大连市| 桓台县| 平果县| 二连浩特市| 元谋县| 当涂县| 宁强县| 赣州市| 青铜峡市| 民县| 伊吾县| 巩留县| 五大连池市| 漳州市| 肃北| 南靖县| 长丰县| 美姑县| 阳高县| 铜鼓县| 乌兰察布市| 阿尔山市| 邓州市|