微軟輸入法詞庫
微軟自定義詞庫文件保存在：C:\Users\用戶名\AppData\Roaming\Microsoft\InputMethod\Chs 下；
機(jī)器學(xué)習(xí)包括有(supervised learning)，無監(jiān)督學(xué)習(xí)(unsupervised learning)，和半監(jiān)督學(xué)習(xí)（）.
在*有監(jiān)督學(xué)習(xí)中，數(shù)據(jù)是有標(biāo)注的，以(x, t)的形式出現(xiàn)，其中x是輸入數(shù)據(jù)，t是標(biāo)注.正確的t標(biāo)注是， 錯(cuò)誤的標(biāo)記則不是。（也有人將所有標(biāo)注數(shù)據(jù)都叫做ground truth）
由的數(shù)據(jù)則是由(x, y)的形式出現(xiàn)的。其中x為之前的輸入數(shù)據(jù)，y為模型預(yù)測的值。
因此如果標(biāo)注數(shù)據(jù)不是ground truth，那么loss的計(jì)算將會產(chǎn)生誤差，從而影響到模型質(zhì)量。
就是參考標(biāo)準(zhǔn)，一般用來做error quantification。比方說要根據(jù)歷史數(shù)據(jù)預(yù)測某一時(shí)間的溫度，ground truth就是那個(gè)時(shí)間的真實(shí)溫度。error就是(predicted temperature - real temprature)。
Ground truth當(dāng)然還可以用來做reinforcement learning，就是在學(xué)習(xí)中加入獎(jiǎng)勵(lì)機(jī)制。比方說程序的輸出越接近ground truth，用來產(chǎn)生這個(gè)結(jié)果的數(shù)據(jù)的weight越大。
Ground truth是攝影、測量與遙感學(xué)領(lǐng)域常用詞匯，其解釋就是字面意思：地面真值，地面實(shí)況；延伸到圖像處理、機(jī)器學(xué)習(xí)等其他領(lǐng)域一般表示真實(shí)值，正確答案（或正確測量數(shù)據(jù)）。它是一個(gè)正確的基準(zhǔn)值，一般用來進(jìn)行誤差估算和效果評價(jià)。
有監(jiān)督學(xué)習(xí)中，輸入的訓(xùn)練數(shù)據(jù)會有相應(yīng)的ground truch(真實(shí)值，標(biāo)簽)，在計(jì)算loss的時(shí)候，需要將預(yù)測值和這個(gè)真實(shí)值進(jìn)行對比從而計(jì)算距離。
就是人工標(biāo)注的結(jié)果。比如目標(biāo)檢測中，模型預(yù)測的框是要和ground truth（也就是人工標(biāo)注的框）做比較的。
MPJPE是“Mean Per Joint Position Error”，即“平均（每）關(guān)節(jié)位置誤差”。
MPJPE常常用于3D Human Pose Estimation算法的評價(jià)指標(biāo)，這個(gè)指標(biāo)越小則可認(rèn)為這個(gè)3D人體姿態(tài)估計(jì)*算法越好*。
消融實(shí)驗(yàn)是什么？請問計(jì)算機(jī)視覺里的消融實(shí)驗(yàn)(ablation experiment)是什么意思？
” 術(shù)語“消融研究”通常用于，尤其是相對復(fù)雜的神經(jīng)網(wǎng)絡(luò)，如R-CNN。我們的想法是通過刪除部分網(wǎng)絡(luò)并研究網(wǎng)絡(luò)的性能來了解網(wǎng)絡(luò)。“ - Robert Long
在機(jī)器學(xué)習(xí)，特別是復(fù)雜的的背景下，已經(jīng)采用“消融研究”來描述去除網(wǎng)絡(luò)的某些部分的過程，以便更好地理解網(wǎng)絡(luò)的行為。
自從Keras深度學(xué)習(xí)框架的主要作者Francois Chollet在2018年6月發(fā)布twtter以來，該術(shù)語受到了關(guān)注：
消融研究對于研究至關(guān)重要 。
理解系統(tǒng)中的因果關(guān)系是產(chǎn)生可靠知識的最直接方式（任何研究的目標(biāo)）。消融是一種非常省力的方式來研究因果關(guān)系。如果您采用任何復(fù)雜的深度學(xué)習(xí)實(shí)驗(yàn)設(shè)置，您可能會刪除一些模塊（或用隨機(jī)的模塊替換一些訓(xùn)練有素的功能）而不會降低性能。消除研究過程中的噪音：進(jìn)行消融研究。無法完全理解您的系統(tǒng)？很多活動部件？想確定它的工作原因是否與您的假設(shè)密切相關(guān)？嘗試刪除東西?；ㄙM(fèi)至少約10％的實(shí)驗(yàn)時(shí)間來誠實(shí)地反駁你的論文。
事件相機(jī)原理：
事件相機(jī)是一款新型傳感器。不同于傳統(tǒng)相機(jī)拍攝一幅完整的圖像，事件相機(jī)拍攝的是“事件”，可以簡單理解為“像素亮度的變化”，即事件相機(jī)輸出的是像素亮度的變化情況。
事件相機(jī)制作的目的就是：敏感地捕捉到運(yùn)動的物體。
事件相機(jī)英文名為：Event-based Camera，或簡稱為Event Camera，縮寫為EB。有時(shí)也稱作DVS(Dynamic Vision Sensor “動態(tài)視覺傳感器”)、DAVIS(Dynamic and Active-Pixel Vision Sensor)等。
傳統(tǒng)相機(jī)，無論是CMOS傳感器，還是CCD傳感器，亦或是RGBD相機(jī)，都有一個(gè)參數(shù)：幀率。它們是以恒定的頻率拍攝獲取圖像。這樣，即使幀率能夠達(dá)到1KHz，那也具有1ms的延時(shí)。所以傳統(tǒng)相機(jī)存在一定的延遲問題。除此之外，傳統(tǒng)相機(jī)需要通過一定時(shí)間的曝光，使感光器件積累一定的光子，那么在曝光時(shí)間之內(nèi)如果物體在高速運(yùn)動，則會產(chǎn)生模糊，這也是傳統(tǒng)相機(jī)的一個(gè)問題。另外，傳統(tǒng)相機(jī)的動態(tài)范圍較低，具體表現(xiàn)為在光線極差或者亮度極高時(shí)，相機(jī)獲取的信息有限。
事件相機(jī)的最基本的原理，即：當(dāng)某個(gè)像素的亮度變化累計(jì)達(dá)到一定閾值后，輸出一個(gè)事件。這里強(qiáng)調(diào)幾個(gè)概念：a) 亮度變化：說明事件相機(jī)的輸出和變化有關(guān)，而與亮度的絕對值沒有關(guān)系；b) 閾值：當(dāng)亮度變化達(dá)到一定程度時(shí)，將輸出數(shù)據(jù)，這個(gè)閾值是相機(jī)的固有參數(shù)。
下面重點(diǎn)解釋什么是一個(gè)“事件”。事件具有三要素：時(shí)間戳、像素坐標(biāo)（x,y)與極性。一個(gè)事件表達(dá)的是“在什么時(shí)間，哪個(gè)像素點(diǎn)，發(fā)生了亮度的增加或減小”。
事件相機(jī)回傳的信息我們稱為事件（Event），一個(gè)事件所具有的格式是一個(gè)向量，
如下：
事件相機(jī)便是這樣異步地回傳如上所示的事件。何為異步？就是不同于傳統(tǒng)相機(jī)同時(shí)地回傳所有像素值，事件相機(jī)不同事件回傳的時(shí)刻是不同的，可以看到上述事件中有一個(gè)值t i，便是這個(gè)事件發(fā)生的時(shí)間。事件相機(jī)的工作機(jī)制是，當(dāng)某個(gè)像素所處位置的亮度值發(fā)生變化時(shí)，相機(jī)就會回傳一個(gè)上述格式的事件，其中前兩項(xiàng)為事件的像素坐標(biāo)，第三項(xiàng)為事件發(fā)生的時(shí)間戳，最后一項(xiàng)取值為極性（polarity）0、1,（或者-1、1）代表亮度是由低到高還是由高到低，也常被稱作Positive or Negtive Event，又被稱作On or Off Event。就這樣，在整個(gè)相機(jī)視野內(nèi)，只要有一個(gè)像素值變化，就會回傳一個(gè)事件，這些所有的事件都是異步發(fā)生的（再小的時(shí)間間隔也不可能完全同時(shí))，所以事件的時(shí)間戳均不相同，由于回傳很簡單，所以和傳統(tǒng)相機(jī)相比，它具有低時(shí)延的特性，可以捕獲很短時(shí)間間隔內(nèi)的像素變化。
當(dāng)場景中由物體運(yùn)動或光照改變造成大量像素變化時(shí)，會產(chǎn)生一系列的事件，這些事件以事件流(Events stream)方式輸出。事件流的數(shù)據(jù)量遠(yuǎn)小于傳統(tǒng)相機(jī)傳輸?shù)臄?shù)據(jù)，且事件流沒有最小時(shí)間單位，所以不像傳統(tǒng)相機(jī)定時(shí)輸出數(shù)據(jù)，具有低延遲特性。下面的圖揭示了事件相機(jī)與傳統(tǒng)相機(jī)的成像的不同。
（動圖：左側(cè)為有一個(gè)黑色斑塊的圓盤，勻速旋轉(zhuǎn)時(shí)，右上方的傳統(tǒng)相機(jī)會定時(shí)拍攝完整的圖像，下方事件相機(jī)的輸出會僅輸出變化，即黑斑的運(yùn)動。當(dāng)圓盤不轉(zhuǎn)時(shí)，傳統(tǒng)相機(jī)依舊傻傻的拍攝圖像，而事件相機(jī)不會產(chǎn)生任何輸出)
下面這幅圖展示了實(shí)際事件相機(jī)拍攝的數(shù)據(jù)，紅色和藍(lán)色分別表示當(dāng)前像素亮度的增加或減小。這幅圖是將一段時(shí)間內(nèi)的事件流累積獲得的一組事件。
由于事件相機(jī)的成像原理，我們可以發(fā)現(xiàn)只要亮度一有變化就會輸出，且僅輸出變化的數(shù)據(jù)占用了很小的帶寬，同時(shí)由于事件相機(jī)更擅長捕捉亮度變化，所以在較暗和強(qiáng)光場景下也能輸出有效數(shù)據(jù)。事件相機(jī)具有低延遲(< )、高動態(tài)范圍( )、極低功耗( )等特性。
3、事件相機(jī)發(fā)展與研究現(xiàn)狀
事件相機(jī)誕生于1990年，那個(gè)時(shí)間許多研究人員探討動物感知環(huán)境的方式，發(fā)現(xiàn)對變化更為敏感，所以設(shè)計(jì)出了實(shí)驗(yàn)室用的事件相機(jī)。
三角測量
使用對極約束估計(jì)了相機(jī)的運(yùn)動，在得到運(yùn)動之后，我們需要用相機(jī)的運(yùn)動估計(jì)特征點(diǎn)的空間位置。在單目SLAM（定位與建圖）中，僅僅通過單張圖像無法獲得像素深度信息，需要通過三角測量來估計(jì)其深度。
三角測量（Triangulation）是視覺定位中，已知多個(gè)相機(jī)位置和空間中一點(diǎn)的投影點(diǎn)，進(jìn)一步求該點(diǎn)3D位置的方法。三角測量是Pose Estimation的相反過程，求出相機(jī)位置后，圖像中其它特征點(diǎn)的3D位置可以由這種方法一一求出。
如圖，已知R0，R1兩臺相機(jī)的信息和同一特征點(diǎn)p的投影點(diǎn)x0、x1，p的位置應(yīng)該就是兩條射線的交點(diǎn)。
而實(shí)際情況中，由于存在多臺相機(jī)（多張不同位置拍攝的照片），所有射線往往并不恰好交于一點(diǎn)，此時(shí)需要寫出誤差公式，將目標(biāo)問題表示為最小化誤差的優(yōu)化問題，用最小二乘法求出p的最優(yōu)值。具體公式參見《Computer Vision: Algorithms and Applications》一書第七章。
體素網(wǎng)格是用固定大小的立方塊作為最小單元，來表示三維物體的一種。
a. 點(diǎn)云是三維空間(xyz坐標(biāo))點(diǎn)的集合。
b. 體素是3D空間的像素。量化的，大小固定的點(diǎn)云。每個(gè)單元都是固定大小和離散坐標(biāo)。
c. mesh是面片的集合。
d. 多視圖表示是從不同模擬視點(diǎn)渲染的2D圖像集合。
1.KL散度
用來衡量兩個(gè)分布之間的差異，等于一個(gè)交叉熵減去一個(gè)信息熵（交叉熵?fù)p失函數(shù)的由來）
1.1 KL散度的性質(zhì)
非負(fù)性（用Jenson‘s inequality 證明）
不對稱性，即KL(P||Q)≠KL(Q||P)
1.2 KL散度的問題即JS散度的引出
正是由于KL散度的不對稱性問題使得在訓(xùn)練過程中可能存在一些問題，為了解決這個(gè)問題，我們在KL散度基礎(chǔ)上引入了JS散度
2. JS(Jenson’s Shannon)散度
一般地，JS散度是對稱的，其取值是 0 到 1 之間。如果兩個(gè)分布 P,Q 離得很遠(yuǎn)，完全沒有重疊的時(shí)候，那么KL散度值是沒有意義的，而JS散度值是一個(gè)常數(shù)。這在學(xué)習(xí)算法中是比較致命的，這就意味這這一點(diǎn)的梯度為 0。梯度消失了。
為什么會出現(xiàn)兩個(gè)分布沒有重疊的現(xiàn)象
遷移學(xué)習(xí)
遷移學(xué)習(xí)(Transfer learning) 顧名思義就是把已訓(xùn)練好的模型（預(yù)訓(xùn)練模型）參數(shù)遷移到新的模型來幫助新模型訓(xùn)練?？紤]到大部分?jǐn)?shù)據(jù)或任務(wù)都是存在相關(guān)性的，所以通過遷移學(xué)習(xí)我們可以將已經(jīng)學(xué)到的模型參數(shù)（也可理解為模型學(xué)到的知識）通過某種方式來分享給新模型從而加快并優(yōu)化模型的學(xué)習(xí)效率不用像大多數(shù)網(wǎng)絡(luò)那樣從零學(xué)習(xí)。
其中，實(shí)現(xiàn)遷移學(xué)習(xí)有以下三種手段：
Transfer Learning：凍結(jié)預(yù)訓(xùn)練模型的全部卷積層，只訓(xùn)練自己定制的全連接層。
Extract Feature Vector：先計(jì)算出預(yù)訓(xùn)練模型的卷積層對所有訓(xùn)練和測試數(shù)據(jù)的特征向量，然后拋開預(yù)訓(xùn)練模型，只訓(xùn)練自己定制的簡配版全連接網(wǎng)絡(luò)。
Fine-tuning：凍結(jié)預(yù)訓(xùn)練模型的部分卷積層（通常是靠近輸入的多數(shù)卷積層，因?yàn)檫@些層保留了大量底層信息）甚至不凍結(jié)任何網(wǎng)絡(luò)層，訓(xùn)練剩下的卷積層（通常是靠近輸出的部分卷積層）和全連接層。
