pyspark.ml訓(xùn)練機器學(xué)習(xí)庫有三個主要的抽象類：Transformer、Estimator、Pipeline。

• Transformer主要對應(yīng)feature子模塊，實現(xiàn)了算法訓(xùn)練前的一系列的特征預(yù)處理工作，例如MinMaxScaler、word2vec、onehotencoder等，對應(yīng)操作為transform

• Estimator對應(yīng)各種機器學(xué)習(xí)算法，主要為分類、回歸、聚類和推薦算法4大類，具體可選算法大多在sklearn中均有對應(yīng)，對應(yīng)操作為fit；

• Pipeline可將一些列轉(zhuǎn)換和訓(xùn)練過程串聯(lián)形成流水線。