隨筆記錄線性回歸Q&A
2023-06-09 18:39 作者:汪汪的學(xué)習(xí)空間 | 我要投稿
計(jì)算二階導(dǎo)數(shù)時(shí)可能會(huì)遇到什么問題?這些問題可以如何解決?
二階導(dǎo)結(jié)果的矩陣相較于一階導(dǎo)太大了,而且二階導(dǎo)可能不存在。可以用近似牛頓法
batchsize是否會(huì)影響模型最終結(jié)果?batchsize過小是否不好?
在直覺上我們會(huì)認(rèn)為batchsize過小會(huì)不好,因?yàn)槊看挝沟臄?shù)據(jù)量很小,但在深度學(xué)習(xí)過程中反而可能是好事,由于多做幾遍循環(huán)的情況下,訓(xùn)練出的模型可能魯棒性會(huì)更好。
為什么在squared_loss
函數(shù)中需要使用reshape
函數(shù)?
一個(gè)可能是行向量,一個(gè)可能是列向量
源碼中的@torch.no_grad()中的@是什么意思
@torch.no_grad() 是裝飾器,好像代表以下代碼都在torch.no_grad() 運(yùn)行后執(zhí)行
假設(shè)試圖為電壓和電流的關(guān)系建立一個(gè)模型。自動(dòng)微分可以用來學(xué)習(xí)模型的參數(shù)嗎?
串聯(lián)加并聯(lián)應(yīng)該都是可以的
標(biāo)簽: