用A4000跑了nanogpt的shakespeare的例子

先說性能? ?windows下1iter是5500ms左右，在ubuntu下的compile模式，提升到2300ms左右，pytorch2.0這波compile模式的更新非?？梢?。

然后費了很大勁終于把那個12g的openwebtext數(shù)據(jù)集搞下來了，但是在a4000顯卡上，顯示顯存不夠，跑不了。只能等4090了

下午裝上了4090?

終于能跑gpt2的小模型了，跑的時候，功耗490w。速度如上圖，上圖mfu的指標是指速度和a100的比例，這個圖可以看出來速度是A100的29%。果然是一分錢一分貨。