短視頻源碼的眾多功能中有一個(gè)拍同款功能，根據(jù)拍攝者的動(dòng)作模仿原視頻動(dòng)作生成新視頻。對(duì)短視頻源碼來(lái)說(shuō)，如何正確識(shí)別拍攝者做出的動(dòng)作？視頻符合程度判定如何追蹤完成？

?

一、短視頻源碼每個(gè)視頻對(duì)應(yīng)的分支

短視頻平臺(tái)的拍同款視頻，都應(yīng)該有自己對(duì)應(yīng)的一個(gè)分支，該分支是一個(gè)2分類(lèi)的全連接層，用來(lái)輸出該區(qū)域?yàn)榍熬昂捅尘暗牡梅帧Ｔ跍y(cè)試過(guò)程中，移除掉所有的分支，新建一個(gè)全連接層fc6，連接在前面的層上，并且在線更新fc4、fc5、fc6的參數(shù)。

?

二、獲取短視頻源碼中所有序列訓(xùn)練圖

1、首先讀取到所有序列要訓(xùn)練的圖片和GT，GT文件每一行有4個(gè)值，表示左上角坐標(biāo)以及寬高。若有8個(gè)值，則是4個(gè)點(diǎn)的坐標(biāo)，將其變換為4個(gè)值，然后讀取配置文件

2、根據(jù)讀取到的序列確定分支數(shù)K，然后為每個(gè)序列定義一個(gè)樣本生成器

3、初始化模型，設(shè)置哪些層的參數(shù)要更新，定義損失函數(shù)以及優(yōu)化器

4、開(kāi)始訓(xùn)練過(guò)程，代碼中設(shè)置一共訓(xùn)練50組，打亂分支的順序，然后按照新的順序?qū)π蜻M(jìn)行訓(xùn)練，在對(duì)每個(gè)分支訓(xùn)練時(shí)，先打亂圖片順序，再在每個(gè)幀上生成樣本

5、將正樣本和負(fù)樣本送入模型得到損失，然后將損失進(jìn)行返回傳播來(lái)更新每一層的參數(shù)

?

三、從短視頻源碼表現(xiàn)中總結(jié)測(cè)試過(guò)程

1、根據(jù)args獲取到測(cè)試序列的所有圖片序列，第一幀目標(biāo)位置以及所有圖片目標(biāo)的gt

2、初始化模型，讀取訓(xùn)練好的模型文件，設(shè)置可以更新的參數(shù)為fc層的參數(shù)，即卷積層的參數(shù)固定不動(dòng)

3、讀取第一幀，從第一幀的目標(biāo)位置附近采樣得到500個(gè)正樣本和500個(gè)負(fù)樣本

4、將這些正負(fù)樣本送入訓(xùn)練好的模型中，得到其第三層的正負(fù)樣本特征

5、對(duì)上面得到的正負(fù)樣本特征進(jìn)行訓(xùn)練

6、將正負(fù)樣本特征送入模型fc4，得出正樣本得分和負(fù)樣本得分，然后根據(jù)這些得分進(jìn)行反向傳播，更新參數(shù)

7、從短視頻第一幀開(kāi)始生成1000個(gè)樣本，用來(lái)訓(xùn)練邊框回歸器

8、然后開(kāi)始遍歷所有的幀，從上一幀的位置采樣得到256個(gè)滿足高斯分布的樣本，計(jì)算出這些樣本得分，取5個(gè)得分最高的排在幀的前面

9、用短視頻源碼上面得到的5個(gè)bbox的得分平均值是否大于0表示追蹤是否成功

聲明：以上內(nèi)容為云豹科技作者本人原創(chuàng)，未經(jīng)作者本人同意，禁止轉(zhuǎn)載，否則將追究相關(guān)法律責(zé)任