提前了一節(jié)課，先講講cnn除了圖片識別還能干什么，因為很多學(xué)生看起來對此很感興趣

分類

分類+locolization（as regression 回歸 4個值：x,y,w,h 的 box 方框）

框一個貓、框不同類用不同的4個FC值、框每一類一個框

加框就是隨便加到FC前面，還是FC后面什么的，都會工作。拉一條FC用來分類，拉一條FC用來localization。每一條大概是3層FC。

點每一類一個點：姿態(tài)估計網(wǎng)絡(luò)（google，主要用CNN，加了一些花哨）也許這可以做jz側(cè)wan

overfeat用了一種升級的locolization：

通過不同看一張圖片的很多很多個‘角落/或部分’，得到很多個分類結(jié)果和boxing方框，然后把他們合并在一起，得到的精度變高一些，贏得了那一年（2013）的imageNet的localization比賽

訓(xùn)練網(wǎng)絡(luò)的時候，把vggNet，AlexNet之類的預(yù)訓(xùn)練的網(wǎng)絡(luò)拿過來；然后修改兩個head；然后反向傳播整個網(wǎng)絡(luò)，而不是只反向傳播兩個head。全部反向傳播準確率會高一點（說的是1~2%，不過我感覺應(yīng)該更多）

為什么最后一層特征層可以表征位置信息？是網(wǎng)絡(luò)的哪一步運算導(dǎo)致了這個能力？我只推理過抽象能力，沒推理過定位能力。所以怎么辦？我的網(wǎng)絡(luò)不能只有抽象，不能定位，那樣會很糟糕。

也有人訓(xùn)練兩個網(wǎng)絡(luò)，一個分類一個定位。這樣也能用

我想到了。衡量位置，就是卷積核比較當前和周圍的長短/大小范圍。有一個神經(jīng)元編碼這樣的信息，感興趣物體，和周圍的空白/對比物，空白占比大或小，搜索方向x或y（或者一圈），占比大或小。有了，這就是1x8的卷積核。不過編碼的信息，機制有可能不是點乘，點乘可能也能實現(xiàn)但是要多花幾層才能實現(xiàn)？25*25*2，25是大概位置，2是一層目標物，一層背景，卷積核1*25*2，可以看到“目標”距離下一個“障礙”中間隔著的“背景”和“目標”本身相比的比例是多少，這就是物體周圍的“空間感/開闊感”，即“距離信息”的神經(jīng)元波動。

FC層前的最后一層Conv，比如25*25*4096，其中4096應(yīng)該是有部分表達抽象（分類，物體或物體的部分），有部分表達物體和背景之間的距離（而且精度比較高，用小數(shù)來精確的編碼距離信息，所以能做到十來個像素級別的定位）

為了編碼位置信息?？梢浴＿@個。把網(wǎng)絡(luò)架構(gòu)conv，改成更合適的，比如水平連結(jié)，來做到更高效精確編碼位置信息的結(jié)構(gòu)。研究一下怎么連結(jié)最能高效編碼這些信息即可。

object detection 目標檢測

因為一張圖上出現(xiàn)（可變的數(shù)量個）同類目標，所以網(wǎng)絡(luò)輸出不能是固定的幾個regress box，而是可變的。解決方法：用不同大小和位置和寬高比，掃描整張圖做多次classification 分類。

是貓？是狗？是都不是？最后把所有是貓的框出來，是狗的框出來，都不是的就什么也不框。

問題就是這樣花費很多運行時間，解決辦法就是運行夠快就可以

在深度學(xué)習(xí)出現(xiàn)之前，是HOG+Linear Classifier（2005）

以及之后幾年在它之上擴展的 Deformable Parts?Model ，加了 對象模板、evaluate提升速度的算法（2010）

然后用在cnn上，有種算法是 selective region？?什么region proposal，找到區(qū)域

r-cnn，是這個region算法和cnn的結(jié)合，先找出2000個左右（已經(jīng)算少了）可能的區(qū)域，然后縮放到網(wǎng)絡(luò)尺寸。

第二個問題看不懂什么意思

fast r-cnn? ?共享參數(shù)，像上面一樣，用一個網(wǎng)絡(luò)，但是還有r導(dǎo)致cpu瓶頸，推理速度變慢

faster r-cnn? ?把r變成卷積層，速度變快

????????????????????他是建立在最后一層conv feature map層上的，然后3x3卷積核（還有anchor什么的，改變長寬比，具體咋改沒聽懂）就提取出了位置信息，這說明昨天的假設(shè)和理解是對的，神經(jīng)元以小數(shù)級別編碼了位置信息，位置信息流和特征信息流是并行在網(wǎng)絡(luò)架構(gòu)中的，而且它們并沒有分開來，我們也看不出哪個是哪個。如果認真剖析也許能看出一點點

用一個卷積特征圖來做所有事情。這是訓(xùn)練的（用網(wǎng)絡(luò)框架，拿反向傳播，強行擬合中間所有值為尾部輸出層最佳），那怎么能讓他學(xué)到更好的東西，比如，建立更多概念抽象，以及能夠表達概念，和別人溝通這個概念的符號（圖像 文字或聲音）？能想到一個東西就是時間的連續(xù)性的認知，就是視覺動態(tài)時間性的認知，識別物體運動的那些神經(jīng)元，這些神經(jīng)元怎么編碼的？--轉(zhuǎn)念一想，也許只有時間連續(xù)性的概念才需要這個功能，這個還未知一定是認識世界不可或缺的因素（時間連續(xù)運動），但好像又是。應(yīng)該是的，不然這個世界的很多重要基本概念認知，都是建立不了的。比如物體的恒一性，位置移動連續(xù)性，3維坐標近大遠小3D轉(zhuǎn)身3D建模，…物體之間的關(guān)系…都是孤立的（時間上不連續(xù)）的信息（如照片數(shù)據(jù)集，是不同時間不同地點的照片，而不是一段視頻）。這樣它建立不了 物體的同一性，3d建模認知沒有，只會有‘相似度/激活程度’的認知能力，所以只能做（近似/激活）識別，或者（近似/激活）生成。比如圖像識別，chatgpt。圖像識別人臉是比較好，近似好像也不會出問題。但是語義分割卻比較近似，而且沒有同一性，沒有做分類，沒有記憶功能（工業(yè)零件缺陷識別）。chatgpt只能輸出激活值較高的答案，網(wǎng)絡(luò)結(jié)構(gòu)可以容納一定相關(guān)聯(lián)的特征，但是邏輯這種非關(guān)聯(lián)而是因果鏈的固定規(guī)律卻沒有辦法很好的讓網(wǎng)絡(luò)學(xué)習(xí)到（在反向傳播這種近似/激活學(xué)習(xí)方法上，沒法讓網(wǎng)絡(luò)學(xué)到）。

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)怎么編碼邏輯？怎么訓(xùn)練邏輯？怎么推理邏輯漏洞？

----

靈感：

概念是多次被不同形式的內(nèi)容共同激活的時候，潛意識所積累的，總是會被激活的高層抽象激活部分，就是抽象概念部分，比如別人寫的7，老師寫的7，木棍擺的7，條紋組成的7，一橫一豎組成的7，一橫一斜組成的7，共同激活了某個高層抽象部分，橫和豎，還有橫豎組合的角落，還有橫短豎長（橫周圍的豎的xy占比大小比例）；

然后說‘7’的字的規(guī)則的時候：“這一橫（激活高層抽象：橫）和這一豎（激活高層抽象）構(gòu)成了‘7’”，然后大腦內(nèi)：“激活橫”“激活豎”“激活橫和豎聯(lián)結(jié)的地方”→就“是”→“7”

這個“是”，就是一種，還不太清楚是什么，但應(yīng)該是一種邏輯/推理/產(chǎn)生式/鏈式推理/鏈式思維的神經(jīng)元聯(lián)結(jié)作用。這個“是”，是7的2個筆畫激活后被激活的，主動產(chǎn)生的一種大腦內(nèi)的規(guī)則表達方式方法。

xx“是”xx。也許，這就是從感官（高層抽象）到概念（詞語？定義？符號？）的過程橋梁？

YOLO

把object detection當成regression。每個圖片分成7*7網(wǎng)格，每個網(wǎng)格有box和置信度，以及分類類別。剩下的就是丟到cnn，出來一個 我也不清楚是什么后面發(fā)生的事情

YOLO很快（2016），但是沒有faster r-cnn準（2016）.不過據(jù)評論說，現(xiàn)在yolo是天下了。