optimizer.step()通常用在每個mini-batch之中，而scheduler.step()通常用在epoch里面,但是不絕對，可以根據(jù)具體的需求來做。只有用了optimizer.step()，模型才會更新，而scheduler.step()是對lr進行調(diào)整。通常我們有

在scheduler的step_size表示scheduler.step()每調(diào)用step_size次，對應的學習率就會按照策略調(diào)整一次。所以如果scheduler.step()是放在mini-batch里面，那么step_size指的是經(jīng)過這么多次迭代，學習率改變一次。