最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

【TF/Guide筆記】 08. Ragged/Sparse tensor, RNG

2022-03-02 17:10 作者:紀一希  | 我要投稿
  1. 明明記得之前試過RaggedTensor不能下標(biāo)訪問,但是看到他支持reduce_mean就又試了一下發(fā)現(xiàn)是可以的,估計是之前搞的不對。既然支持下標(biāo)訪問,也可以按維度reduce,那說明它內(nèi)部肯定記錄了未定維每一行的長度

  2. 如果按列reduce,如果長度不夠的話會被當(dāng)做不存在而不是0

  3. 倒序取元素的時候就是從有元素的末尾取,跟直觀的理解是一樣的。

  4. 雖然支持broadcast,但是被broadcast的那個小tensor似乎不支持RaggedTensor,用Tensor是可以的

  5. RaggedTensor連序列化都搞了好幾套方法來應(yīng)對不同情況的數(shù)據(jù),就為了讓編碼后的內(nèi)容占最小空間,絕了

  6. 看起來SparseTensor并不是key-value的形式,而是就像構(gòu)造需要的那樣,按順序存放了index-value而已,print的時候也是這樣的形式

  7. reduce_max的例子里,from_dense在構(gòu)造SparseTensor的時候是過濾了0值的,所以reduce_max出來才是負數(shù),如果用其他方法使構(gòu)造的SparseTensor有顯式的0,那么max值依舊是0


  1. 沒想到是在random這一節(jié)里明確的指出了Variable是thread safe的

  2. 從描述來看,Generator內(nèi)部可以看作存了seed-state的Variable,值的存放位置受tf.device限制

  3. global_generator可以看做是一個全局的種子,比如之前那樣直接跑tf.random.normal的時候用的就是它。這個東西會在第一次被需要的時候聲明,所以外側(cè)的device scope應(yīng)該會影響到它

  4. 如果global_generator是在聲明計算圖的時候被生成的,而在還未運行的時候調(diào)用set_global_generator則會出現(xiàn)bug,因為計算圖里指向的老Variable被析構(gòu)了

  5. 通過split生成的generator保證了是互相獨立的,推測實現(xiàn)上是新生成了幾個種子構(gòu)造出了新generator,因為split之后,舊generator的狀態(tài)會變。split可以用在聲明計算圖的時候,保證種子是存在當(dāng)前device上的,避免重復(fù)拷貝。這里也可以新聲明,文檔里說風(fēng)險在于可能并不是獨立的,但我估計寫from_seed(global_generator.normal([]))就行了

  6. generator作為輸入的時候,盡管他可以被看做是Variable,但依舊會觸發(fā)多態(tài),因為理論上隨機數(shù)是可以控制圖的形狀的,所以即使是同一個generator通過get_concrete_function拿到的計算圖依舊不能跑

  7. 從代碼來看,一個checkpoint似乎只能有一個generator

  8. generator的IO有個diverge的問題,因為checkpoint的存儲是分布式的,存下的這多份checkpoint有的時候合起來才代表一個模型,而如果generator出現(xiàn)diverge的話,在cp.load的時候,如果concurrency不同,誰用哪個種子就不大好定義了(文檔說只會采用第一個讀到的)。當(dāng)然我覺得種子這東西大部分情況下沒必要存進去的


【TF/Guide筆記】 08. Ragged/Sparse tensor, RNG的評論 (共 條)

分享到微博請遵守國家法律
交口县| 兰考县| 英超| 钦州市| 柳林县| 河津市| 修武县| 榆树市| 牙克石市| 包头市| 海原县| 浙江省| 夏邑县| 盘山县| 宁安市| 望城县| 商都县| 平潭县| 通州市| 庆云县| 沙坪坝区| 潮州市| 平塘县| 天水市| 噶尔县| 安庆市| 文登市| 永嘉县| SHOW| 大埔区| 年辖:市辖区| 出国| 罗源县| 铜山县| 横山县| 阿荣旗| 清徐县| 浠水县| 洪洞县| 万州区| 赣州市|