writeAsCsv | 如何實現(xiàn)以csv格式輸出?
該方法是將數(shù)據(jù)以csv格式寫入到指定的目錄中,本質上使用的是CsvOutputFormat格式寫入的。每輸出一個元素,在該內容后面同時追加一個換行符,最終以csv的形式(類似Excel的格式,字段和字段之間用逗號分隔)寫入到文件中,目錄中的文件名稱是該Sink所在subtask的Index + 1。
需要說明的是,該Sink并不是將數(shù)據(jù)實時的寫入到文件中,而是有一個BufferedOutputStream,默認緩存的大小為4096個字節(jié),只有達到這個大小,才會flush到磁盤。另外程序在正常退出,調用Sink的close方法也會flush到磁盤。
