圖像描述(Image Caption)區(qū)域特征提取方法
目前,雖然已經(jīng)有了若干種更先進的特征提取方法,但使用Faster RCNN的方法仍存在一定的價值,接下來對該種特征提取方法所使用的的代碼進行簡單介紹。
所使用的代碼可以在下面的鏈接中獲?。?br>
該段代碼中所使用的主要工具是detectron2包,由于detectron2包一直在更新,所以如果使用最新版的detectron2會產(chǎn)生bug。這里推薦在命令行中通過下面的命令安裝,即安裝版本號為ffff8ac的版本。
代碼中使用的另一個名為grid_feats的文件在下面的鏈接處獲取,直接將這個名為grid_feats的文件夾放在python項目的根目錄下即可:
在運行上述代碼進行特征提取前,還需要對數(shù)據(jù)集進行注冊,代碼如下:
至此,完成了運行區(qū)域特征提取代碼的所有準備,下面簡單介紹一下區(qū)域特征提取代碼的構成。
代碼的前103行構建一些特征提取過程中使用的函數(shù);108-192行進行區(qū)域特征提取,并將區(qū)域數(shù)量低于十個的樣本名記錄;接下來的代碼中,調(diào)整某個超參數(shù)后針對之前記錄的若干樣本再進行一次特征提取。提取到的區(qū)域特征最終被保存在一個hdf5文件中。
標簽: