RuntimeError: CUDA error: an illegal memory access was encounter
在跑一個(gè)Transformer的代碼時(shí),出現(xiàn)了這個(gè)錯(cuò)誤。這個(gè)錯(cuò)誤信息非常奇怪,通過(guò)Debug發(fā)現(xiàn),模型的前向傳播是正常的,損失也能計(jì)算出來(lái),但是一開(kāi)始反向傳播就出問(wèn)題了。經(jīng)過(guò)嘗試,發(fā)現(xiàn)是batch_size過(guò)大,把它改小就可以了。

標(biāo)簽: