Hugging Face 社區(qū)沖刺活動(dòng)來啦！
上周，我們宣布了與 arXiv 的合作——論文的 Demos 標(biāo)簽頁可以展示運(yùn)行在 Hugging Face Spaces 上的、基于該論文的開源演示內(nèi)容，這將有助于增進(jìn)論文的趣味性和易用程度。今天，我們邀請(qǐng)全球的社區(qū)成員們參加我們的 Hugging Face ?? arXiv 社區(qū)沖刺活動(dòng)。
Hugging Face ?? arXiv 社區(qū)沖刺活動(dòng)介紹
在這場(chǎng)社區(qū)沖刺活動(dòng)里，我們的目標(biāo)是將一些?開源模型?制作成 Hugging Face Space 應(yīng)用來進(jìn)行展示，提升這些開源模型在社區(qū)中的易用性。特別提醒的是，不論這個(gè)開源模型是否在 arXiv 論文中有提及，我們都?xì)g迎你提交。
我們經(jīng)常會(huì)聽到說「AI 黑科技」，可以修復(fù)舊照片、把低清圖變?yōu)楦咔宓鹊?。只是聽說，在哪里可以親自嘗試一下呢？Hugging Face Spaces 就提供了這樣的功能，可以將其托管的模型構(gòu)建為一個(gè)可交互的界面，用戶可以輸入內(nèi)容，然后由模型處理后輸出結(jié)果。
比如我們剛提到的基于騰訊開源的舊照片修復(fù)算法 GFPGAN 構(gòu)建的 Space 應(yīng)用: https://hf.co/spaces/Xintao/GFPGAN
本次社區(qū)沖刺活動(dòng)，我們將構(gòu)建 Space 應(yīng)用來展示開源模型，有幾個(gè)重點(diǎn)簡(jiǎn)單提醒如下:
選擇論文中已經(jīng)公開了 checkpoint 的開源模型
如果它沒有 checkpoint 的話，不要?從頭開始訓(xùn)練新模型
可以選擇好幾個(gè)不同的模型串聯(lián)起來進(jìn)行構(gòu)建，盡情發(fā)揮！??
如何參與此次活動(dòng)？
1.加入我們的官方 Discord 社區(qū):
https://hf.co/join/discord
2.同意社區(qū)規(guī)則之后，在?#role-assignment?頻道選擇社區(qū)角色為?Collaborate?(第一個(gè)角色)。
3.在協(xié)作表格里加入你計(jì)劃實(shí)現(xiàn)的 Space 應(yīng)用:
在這個(gè) Google 表格中使用評(píng)論功能，加入論文鏈接和你的名字等信息:
https://bit.ly/official-working-group來 Discord 社區(qū)的?
making-demo?頻道發(fā)言，我們和其他社區(qū)成員們會(huì)盡力幫助你完成 Space 應(yīng)用的構(gòu)建
然后就可以開始構(gòu)建你的 Space 應(yīng)用啦！
中國(guó)社區(qū)的參與方式 (可選，強(qiáng)烈建議以上面提到的方式直接參與)
為了方便無法訪問 Google 表格的用戶，我們把報(bào)名表格在騰訊文檔上做了同步 (不定期更新)，大家可以在這個(gè)文檔里看一下其他成員的計(jì)劃以找一些靈感和參考，但也同時(shí)注意，其他成員已經(jīng)在做或者做過了的 Space 應(yīng)用，大家就不要再重復(fù)造輪子啦:
https://docs.qq.com/sheet/DYWdMWE55SHJoUE9y
與此同時(shí)，你也可以通過本文下方的?留言功能?參與本次活動(dòng)，具體方式為：
將需要評(píng)論在官方 Google 表格 (或參考騰訊文檔)?的內(nèi)容?(A-D 列) 以留言的方式評(píng)論給本文
信息完整，我們會(huì)?公開?你的留言，并將留言內(nèi)容同步到官方 Google 表格
收藏本文，Space 應(yīng)用完成構(gòu)建后，在本文回復(fù)自己評(píng)論將自己的 HF Hub 和 Spaces 信息告訴我們 (E-F 列)，也可以直接在官方的 Google 表格自行評(píng)論
可以構(gòu)建的 Space 應(yīng)用
基于 checkpoint 在 GitHub 上的開源模型構(gòu)建 Space 應(yīng)用
從 GitHub 下載該模型，并在 Hugging Face 上創(chuàng)建一個(gè)模型倉庫 (瀏覽器中輸入網(wǎng)址?
hf.new?試試看 ??)通過?
huggingface_hub?Python 庫，使用?upload_folder()?函數(shù)，或者直接在 Hub 的 UI 界面上直接上傳文件填寫模型信息卡片，你可以使用論文或 GitHub 倉庫中的信息。
模型信息卡片 (model card) 本質(zhì)上就是模型庫中的?README.md?文件，它由兩部分組成，元數(shù)據(jù)和自定義文本。
元數(shù)據(jù)
元數(shù)據(jù)是在模型信息卡片最上面以?yaml?格式出現(xiàn)的信息對(duì)，用來介紹模型所解決的問題、用以訓(xùn)練的模型庫和許可證信息等，以便更輕松的在 Hugging Face Hub 上搜索模型。
自定義文本
自定義文本部分在?yaml?格式的元數(shù)據(jù)下方列出，它可以包括但不僅限于:
模型和它所訓(xùn)練的數(shù)據(jù)集的描述
偏見和限制的免責(zé)聲明
訓(xùn)練指標(biāo)
使用該模型的小代碼片段
舉個(gè)例子:
上面展示的模型信息卡片代碼在:
https://hf.co/google/maxim-s3-deblurring-gopro/blob/main/README.md
你也可以閱讀模型信息卡片文檔了解更多:
https://hf.co/docs/hub/model-cards
然后就是構(gòu)建 Space 應(yīng)用啦！(下一章節(jié)會(huì)提到)
基于 checkpoint 在 HF Hub 上的開源模型構(gòu)建 Space 應(yīng)用
恭喜！這種情況下，你就可以直接進(jìn)行 Space 應(yīng)用的構(gòu)建了，這里列出了幾篇 Space 應(yīng)用構(gòu)建的相關(guān)文檔：
如果你沒有接觸或者剛接觸 Gradio，請(qǐng)查看 Gradio 入門指南:
https://hf.co/course/chapter9/1使用 Gradio 載入 HF 上的模型和 Spaces:
https://bit.ly/loading-hf-models-n-spaces像調(diào)用函數(shù)一樣使用區(qū)塊 (block):
https://gradio.app/using_blocks_like_functions/
最后兩個(gè)文檔非常適合你將不同的 Space 應(yīng)用「混搭」起來使用，我們希望看到你的創(chuàng)意和想法！
基于已有的 Spaces「混搭」構(gòu)建 Space 應(yīng)用
你也可以把不同的模型和 Spaces 相結(jié)合來構(gòu)建 Space 應(yīng)用，像調(diào)用函數(shù)一樣調(diào)用不同的模型。
舉個(gè)例子:
Whisper 結(jié)合 Stable Diffusion
Whisper 是一個(gè)通用的語音識(shí)別模型，Stable Diffusion 是一個(gè)通過文本生成圖像的模型。它們們結(jié)合起來就是，你可以通過通過語音來直接生成圖像。
現(xiàn)在就試試看:
https://hf.co/spaces/fffiloni/whisper-to-stable-diffusion
Stable Diffusion Prism
這個(gè)「結(jié)合體」首先將圖片通過 CLIP Interrogator 獲得關(guān)于圖片內(nèi)容的提示詞，然后再通過這些提示詞使用 Stable Diffusion 生成圖片。
兩個(gè) Spaces 是使用?gr.Blocks.load()?載入的，示例代碼如下:
img_to_text?=?gr.Blocks.load(name="spaces/pharma/CLIP-Interrogator")
stable_diffusion?=?gr.Blocks.load(name="spaces/stabilityai/stable-diffusion")
現(xiàn)在就體驗(yàn)一下:
https://hf.co/spaces/pharma/sd-prism
成功提交沖刺活動(dòng)的例子
我們列舉了一些成功提交社區(qū)沖刺活動(dòng)的例子。
直接從論文中實(shí)現(xiàn)的三個(gè)例子
Anime Background GAN-Hosoda ??
動(dòng)漫風(fēng)格背景圖生成，這個(gè) Space 應(yīng)用所使用的開源模型是從 GitHub 上得到的，相關(guān)資料:
GitHub 倉庫:
https://github.com/venture-anime/cartoongan-pytorch模型倉庫:
https://hf.co/akiyamasho/AnimeBackgroundGAN-HosodaSpace 應(yīng)用地址:
https://huggingface.co/spaces/akiyamasho/AnimeBackgroundGAN
MAXIM ??
這是一個(gè)處理模糊圖像的模型，這個(gè) Space 應(yīng)用是通過?huggingface_hub?庫的?from_pretrained_keras?方法直接加載模型實(shí)現(xiàn)的。
模型倉庫:
https://hf.co/google/maxim-s3-deblurring-goproSpace 應(yīng)用地址:
https://hf.co/spaces/sayakpaul/gopro-deblurring-maxim
FLAN ??
模型倉庫:
https://hf.co/google/flan-t5-xlSpace 應(yīng)用地址:
https://hf.co/spaces/osanseviero/i-like-flan
創(chuàng)意 Space 應(yīng)用結(jié)合的兩個(gè)例子
我們上面已經(jīng)提到了的兩個(gè)結(jié)合了 Whisper 和 Stable Diffusion 的 Space 應(yīng)用，以及先獲得提示詞，再生成新的圖片的 Stable Diffusion Prism:
Whisper 結(jié)合 Stable Diffusion:
https://hf.co/spaces/fffiloni/whisper-to-stable-diffusionStable Diffusion Prism:
https://hf.co/spaces/pharma/sd-prism
獎(jiǎng)勵(lì)
只要在此次社區(qū)沖刺活動(dòng)期間完成提交，我們都將提供 Hugging Face 官方周邊小禮品商店 (hf.co/shop) 的禮品券，甚至可能會(huì)為你的 Space 應(yīng)用進(jìn)行硬件升級(jí)。如果有任何變動(dòng)，請(qǐng)以 Discord 官方頻道更新的內(nèi)容為準(zhǔn)。
