僅簡要闡述思路，作備忘和拋磚引玉之用。

目前由AI生成動畫的流程是由原本的動畫（手書、MMD、Flash等）取每一幀作為源圖，以相同的關(guān)鍵字，做IMG2IMG（圖生圖）。這樣做的缺點是：將幀與幀割裂開來，忽視了幀與幀之間的聯(lián)系。

所以，單抽每一幀畫面出來都是精品，但是連續(xù)播放時，當前幀的背景和人物，與上一幀的背景和人物實際上沒有聯(lián)系，是不斷變化的，造成抖動、閃爍。

目前主流的視頻壓縮算法，都考慮到一段連續(xù)場景中，任意兩幀之間變化不大。若僅存儲變化的部分，便能節(jié)省存儲空間。

早到VCD用的MPEG-1，晚到現(xiàn)在最新的H.265、VP9，都有這種思路在里面。

一段視頻是由一串幀構(gòu)成的，可以簡要分為關(guān)鍵幀和過渡幀。關(guān)鍵幀是一幀完整的圖像。而過渡幀只記錄當前幀基于上一幀的變化信息。何時取關(guān)鍵幀、何時取過渡幀，（不嚴謹?shù)恼f）可以按如下的策略：

1. 定時產(chǎn)生關(guān)鍵幀。這個時間間隔一般是幾秒左右。

2. 畫面變化劇烈，如場景的切換，存儲畫面變化信息的代價大于直接存下這一幀完整圖像的代價，此時將該幀存為關(guān)鍵幀。

這也就能解釋幾個現(xiàn)象：

1. 我們平時看直播如果網(wǎng)絡(luò)不好、或是看本地損壞的視頻，可能會出現(xiàn)馬賽克（綠塊）。這些馬賽克將持續(xù)一段時間，還會蠕動（因為這幀被破壞了，之后來的如果還是過渡幀，那就只能在這個破壞的畫面上做變化。），當且僅當幾秒鐘后或主播的畫面發(fā)生劇烈變化時（關(guān)鍵幀來了），這些馬賽克會消失。

2. 看電視劇、電影或動畫的華麗復雜的場面（爆炸、還有現(xiàn)在短視頻常用的OHOHOH~~等特效）時，畫質(zhì)會突然變模糊變差，因為這些場面下兩幀之間差異過于巨大，以至于幀幀都是關(guān)鍵幀，信息量陡增，為了避免給傳輸、解碼造成突發(fā)的負擔，只好在每個關(guān)鍵幀的壓縮上下工夫，使整段視頻的碼率穩(wěn)定在平均值附近。

3. 相同時長、分辨率、幀率、碼率、編碼方式的(A)網(wǎng)課視頻、(B)動畫、(C)真人電影，大小上A<<B<C。道理也很簡單：網(wǎng)課視頻，幀與幀變化一般只有黑板上的字跡，以及老師的攝像頭圖像，過渡幀數(shù)量>>關(guān)鍵幀數(shù)量；而動畫雖沒有這么夸張，但是和真人電影比起來畫面變化的豐富程度也是要少的。

從源視頻的每一幀是關(guān)鍵幀還是過渡幀，就能得到幀與幀之間關(guān)聯(lián)的信息。

對于源視頻中的關(guān)鍵幀，直接對該幀進行以圖生圖即可。這部分可以引入人工干預，保證每個關(guān)鍵幀中，人物是同一個人物，場景是同一個場景。

對于源視頻中的過渡幀，則以上一幀為基準，對變化部分進行重繪幅度較低的局部重繪。

之后，還要保證AI生成的若干新幀，幀與幀之間也存在相同的聯(lián)系。可以將這些幀作為視頻編碼器的輸入（當然，實際操作過程中，不必這么麻煩，這里僅是說思路）。如果原來是過渡幀的，被AI畫完變成了關(guān)鍵幀，說明原來變化不大的部分， 畫完之后變化大了，顯然此時需要重新生成。

下面簡要展示up構(gòu)想的一套流程。