每天，開發(fā)人員和組織都在使用 Hugging Face 平臺(tái)上托管的模型，將想法變成用作概念驗(yàn)證（proof-of-concept）的 demo，再將 demo 變成生產(chǎn)級(jí)的應(yīng)用。

• Transformer 模型已成為廣泛的機(jī)器學(xué)習(xí)（ML）應(yīng)用的流行模型結(jié)構(gòu)，包括自然語言處理、計(jì)算機(jī)視覺、語音等；

• 擴(kuò)散模型（Diffusers）也已成為 text-to-image、image-to-image 類生成模型的流行模型結(jié)構(gòu)；

• 其他模型結(jié)構(gòu)在其他任務(wù)中也很受歡迎，而我們?cè)?Hugging Face Hub 上提供了這些模型結(jié)構(gòu)的所有信息。

在 Hugging Face，我們致力于在保障質(zhì)量的前提下，盡可能簡(jiǎn)化 ML 的相關(guān)開發(fā)和運(yùn)營(yíng)。讓開發(fā)者在一個(gè) ML 項(xiàng)目的整個(gè)生命周期中，可以絲滑地測(cè)試和部署最新模型。并保持最極致的優(yōu)化性價(jià)比，所以我們要感謝英特爾的朋友，他們向我們贊助了免費(fèi)的基于 CPU 的推理解決方案，這不僅是我們的合作關(guān)系中的另一個(gè)重要步驟，而且是我們的用戶社區(qū)的一個(gè)「福利」，大家現(xiàn)在可以零成本享受英特爾 Xeon Ice Lake 模型結(jié)構(gòu)帶來的速度提升。

現(xiàn)在，讓我們介紹一下你可以選擇的 "Hugging Face" 的推理相關(guān)解決方案：

推理組件（免費(fèi)）

在 HuggingFace Hub，我最喜歡的功能之一是推理組件，輕輕點(diǎn)擊一下位于模型頁面上的推理組件，便可以自動(dòng)上傳樣本數(shù)據(jù)并使用模型進(jìn)行預(yù)測(cè)。

比如這里有一個(gè)句子相似性的例子，我們采用了 sentence-transformers/all-MiniLM-L6-v2 模型:

如果想快速了解一個(gè)模型的作用、它的輸出，以及它在你數(shù)據(jù)集的幾個(gè)樣本上的表現(xiàn)，這是一個(gè)非常好的方法。當(dāng)收到 request 時(shí)，模型會(huì)免費(fèi)從我們的服務(wù)器上自動(dòng)加載，結(jié)束后自動(dòng)釋放，這個(gè)過程中無需任何代碼。

• 文檔:
  https://huggingface.co/docs/hub/models-widgets
  

• sentence-transformers/all-MiniLM-L6-v2 模型:
  https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2
  

推理 API（免費(fèi)版）

推理 API 是為推理組件提供動(dòng)力的引擎。通過一個(gè)簡(jiǎn)單的 HTTP 請(qǐng)求，你可以加載 hub 上的任何模型，并在幾秒鐘內(nèi)用它預(yù)測(cè)你的數(shù)據(jù)，只需要你提供模型的 URL 和一個(gè)有效的 hub token。下面的例子中，我們用一行代碼加載 xlm-roberta-base 模型 并進(jìn)行數(shù)據(jù)預(yù)測(cè)的案例：

推理 API 是建立預(yù)測(cè)服務(wù)的最簡(jiǎn)單方法，你可以在開發(fā)和測(cè)試期間實(shí)時(shí)地在應(yīng)用程序中調(diào)用，不需要一個(gè)定制的 API ，也不需要一個(gè)模型服務(wù)器。你也可以立即從一個(gè)模型切換到另一個(gè)，并在你的應(yīng)用程序中比較它們的性能。但由于速率限制，我們不建議在實(shí)際生產(chǎn)中使用推理API，你應(yīng)該考慮 推理 Endpoints。

• 文檔:
  https://huggingface.co/docs/api-inference/
  

• xlm-roberta-base 模型:
  https://huggingface.co/xlm-roberta-base

在生產(chǎn)環(huán)境中使用 推理 Endpoints

一旦你對(duì)你的 ML 模型的性能感到滿意，就該把它部署到生產(chǎn)環(huán)境中了。但問題是：離開沙盒，安全、擴(kuò)展、監(jiān)控等等都變成了問題，所以我們建立了推理 Endpoints 來解決些挑戰(zhàn)。

只需點(diǎn)擊幾下，推理 Endpoints 就可以讓你將 Hub 上的任何模型部署在安全和可擴(kuò)展的基礎(chǔ)設(shè)施上，將它托管在你選擇的地區(qū)的 AWS 或 Azure 云服務(wù)器上。CPU 和 GPU 托管，內(nèi)置自動(dòng)擴(kuò)展等其他設(shè)置，使我們擁有更好的性價(jià)比，定價(jià)低至0.06美元每小時(shí)。

• 價(jià)目表:
  https://huggingface.co/pricing#endpoints
  

推理 Endpoints 支持三個(gè)安全級(jí)別：

• Pubulic：Endpoints 運(yùn)行在公共的 Hugging Face 子網(wǎng)中，互聯(lián)網(wǎng)上的任何人都可以訪問，無需任何認(rèn)證。

• Protected：Endpoints 運(yùn)行在公共的 Hugging Face 子網(wǎng)，互聯(lián)網(wǎng)上任何擁有合適 Hugging Face Token 的人都可以訪問它。

• Privacy：Endpoints 運(yùn)行在私有的 Hugging Face 子網(wǎng)，不能通過互聯(lián)網(wǎng)訪問，只能通過你的 AWS 或 Azure 賬戶中的一個(gè)私有連接來使用，可以滿足最嚴(yán)格的合規(guī)要求。

要了解更多關(guān)于 推理 Endpoints 的信息，請(qǐng)閱讀本教程和文檔。

• 教程:
  https://huggingface.co/blog/inference-endpoints

• 文檔:
  https://huggingface.co/docs/inference-endpoints/

推理 Spaces

最后，如果你期待部署模型用于生產(chǎn)，推理 Spaces 是另一個(gè)很好的選項(xiàng)，你可以將你的模型部署在一個(gè)簡(jiǎn)單的 UI 框架（例如Gradio）之上進(jìn)行 推理 ，而且我們還支持硬件的升級(jí)，比如讓你采用更先進(jìn)的英特爾 CPU 和英偉達(dá) GPU ，沒有比這更好的方式來展示你的模型 demo 了!

要了解更多關(guān)于 Spaces 的信息，請(qǐng)瀏覽以下文檔，或者在我們的論壇上瀏覽帖子或提出問題。

• 文檔:
  https://huggingface.co/docs/hub/spaces

上手嘗試

登錄到 Hugging Face Hub，瀏覽我們的模型，一旦找到一個(gè)你喜歡的，你可以直接在頁面上嘗試推理 小組件。點(diǎn)擊 "Deploy" 按鈕，你可以拿到自動(dòng)生成的代碼，然后將模型部署在免費(fèi)的推理 API 上進(jìn)行評(píng)估，以及一個(gè)直接鏈接，你可以將模型部署到生產(chǎn)中的推理 Endpoints 或 Spaces。

快試一試，讓我們知道你的想法，我們很期待在 Hugging Face 論壇上看到你的反饋。

謝謝你的閱讀!?(*同時(shí)祝我們的管理員路哥早日陽康?*)

正文部分譯者:

丁繼崢 Johnson，微信號(hào)：ZJUer_0817 拾象 DAO 成員，浙江大學(xué)機(jī)器人工程專業(yè)，主要關(guān)注 AI 模型與交互的前沿進(jìn)展，專用機(jī)器人的產(chǎn)業(yè)落地，通用機(jī)器人的無限可能。

博客原網(wǎng)址：https://huggingface.co/blog/inference-update