這里的數(shù)據(jù)計(jì)算由worker node來進(jìn)行。服務(wù)器會(huì)下發(fā)parameters來使worker node有一個(gè)初始參數(shù)。worker node將自己的數(shù)據(jù)計(jì)算后將梯度發(fā)送給服務(wù)器。由服務(wù)器來進(jìn)行梯度下降。在數(shù)據(jù)的傳輸過程中，空間復(fù)雜度為：參數(shù)的數(shù)量。

worker node的工作內(nèi)容：

• receive parameters from sever；

• using paramters and local data to compute gradients

• send gradients to server