大家好，我是龍一，專注AI輕創(chuàng)副業(yè)項目分享，今天給大家分享一款阿里近日推出的開源的圖片生成視頻的Ai工具，目前可免費使用，沒有使用次數(shù)的限制，效果非常好，不得不說比RunwayGen2香多了。

可以根據用戶輸入的靜態(tài)圖像和文本生成目標接近、語義相同的視頻，生成的視頻具高清(1280 * 720)、寬屏(16:9)、時序連貫、質感好等特點。

這個項目的名字叫I2VGen-XL，由阿里達摩院研發(fā)的高清視頻生成基礎模型，旨在解決根據輸入圖像生成高清視頻任務。生成的視頻還支持二次修改和高清化，你要是覺得不滿意可以多點幾下重新生成，內容要是不滿意還可以輸入提示詞調整視頻內容、運鏡、運動方向等等，輸出高清視頻。

具體的原理如下，參數(shù)量共計約37億，總結下來分為兩個階段，就是通過輸入圖片生成圖片序列，然后可以通過文字進行微調并生成高清圖片。

下面展示一下具體的生成的案例，由于文章無法放入視頻，我選擇插入gif圖片，展示效果會大打折扣，想搞完整高清的可以去我的視頻號看最新視頻介紹。左邊是原圖，右邊是生成的效果。

同時還支持自己部署，不過對于設備的要求比較高。I2VGen-XL包含2個模型：圖片生成視頻模型MS-Image2Video和視頻生成視頻模型MS-Vid2Vid。

MS-Image2Video建立在Stable Diffusion之上，如給出的原理圖所示，通過專門設計的時空UNet在隱空間中進行時空建模并通過解碼器重建出最終視頻。

在1*A100的環(huán)境配置下運行 (可以單卡運行, 圖生視頻模型顯存要求20G，視頻生成視頻顯存要求28G)

• torch2.0.1+cu117，python>=3.8

# 安裝minicondawget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# 一直[ENTER], 最后一個選項yes即可sh Miniconda3-latest-Linux-x86_64.sh# conda虛擬環(huán)境搭建conda create --name ms-sft python=3.8conda activate ms-sft# 安裝最新的ModelScopepip install "modelscope" --upgrade -f https://pypi.org/project/modelscope/# 確定你的系統(tǒng)安裝了ffmpeg命令，如果沒有，可以通過以下命令來安裝sudo apt-get update && apt-get install ffmpeg libsm6 libxext6 ?-y# 安裝依賴庫pip install xformers==0.0.20pip install torch==2.0.1pip install torchsdepip install open_clip_torch>=2.0.2pip install opencv-python-headlesspip install opencv-python pip install einops>=0.4pip install rotary-embedding-torchpip install fairscale pip install scipypip install imageiopip install pytorch-lightning

下載好模型，模型鏈接后臺回復Ai視頻即可獲取。

通過以下代碼，實現(xiàn)模型的下載和推理。

第一步：圖生視頻 (所需顯存單卡20G)

from modelscope.pipelines import pipelinefrom modelscope.outputs import OutputKeyspipe = pipeline(task="image-to-video", model='damo/Image-to-Video', model_revision='v1.1.0')# IMG_PATH: your image path (url or local file)IMG_PATH = './example.png'output_video_path = pipe(IMG_PATH, output_video='./output.mp4')[OutputKeys.OUTPUT_VIDEO]print(output_video_path)

第二步：提升視頻分辨率 (所需顯存單卡28G)

pipe =pipeline(task="video-to-video", model='damo/Video-to-Video', model_revision='v1.1.0')

# VID_PATH: your video path
# TEXT : your text description
VID_PATH = './output.mp4'
TEXT = 'A lovely little fox is among the flowers.'
p_input = {
? ? ? ? ? ?'video_path': VID_PATH,
? ? ? ? ? ?'text': TEXT
? ? ? ?}

output_video_path = pipe(p_input, output_video='./output.mp4')[OutputKeys.OUTPUT_VIDEO]
print(output_video_path)

如果自己不想部署，想白嫖的兄弟，公z浩【龍一的編程life】后臺回復Ai視頻獲取體驗鏈接。

其他更多Ai干貨看我往期作品！

好了內容分享到這里就結束了，我是龍一，持續(xù)為大家分享AI+自媒體的干貨，請大家多多關注點贊！

整理不易《點贊+在看》感謝，請大家動動發(fā)財?shù)男∈?/strong>

《我才有動力持續(xù)分享白嫖喲》