什么是?AI 管道？AI 管道是一種自動化機器學(xué)習(xí)工作流程的方法。AI 管道?一般包括四個主要階段：

• 預(yù)處理

• 學(xué)習(xí)

• 評估

• 預(yù)言

一、什么是機器學(xué)習(xí)操作？

術(shù)語“Ops”是“操作”的簡寫，被附加到許多不同的術(shù)語中，以表示對適合單個學(xué)科的多個相互關(guān)聯(lián)的流程進行精簡。例如，這種框架設(shè)備更常見的用途之一是“DevOps”，或?qū)⒍鄠€流程（如測試、錯誤跟蹤、監(jiān)控和迭代敏捷開發(fā)）集成到單個管道中。

?集成操作發(fā)揮巨大作用的另一個地方是機器學(xué)習(xí)。機器學(xué)習(xí)是一個包含多個關(guān)鍵組件的復(fù)雜過程，而最佳地執(zhí)行這些組件可以證明是可靠機器學(xué)習(xí)平臺的成敗。

?MLOps?是 AI 平臺的關(guān)鍵部分，部分原因在于機器學(xué)習(xí)和 AI 之間的關(guān)系：

• ?人工智能平臺為智能機器提供動力：更大的機器，包括分析平臺和制造系統(tǒng)，由可以持決策和優(yōu)化的人工智能提供支持。人工智能通常包含幾個組件，其中之一是機器學(xué)習(xí)。

• ?神經(jīng)網(wǎng)絡(luò)大腦為人工智能提供動力：神經(jīng)網(wǎng)絡(luò)是根據(jù)我們在人腦中觀察到的情況建模的——也就是說，思維過程由神經(jīng)元等較小的組件組成，將輸入處理成越來越復(fù)雜的過程。創(chuàng)造性思維是相對簡單的任務(wù)完成的涌現(xiàn)結(jié)果。

• ?機器學(xué)習(xí)算法教授神經(jīng)網(wǎng)絡(luò)：機器學(xué)習(xí)算法在機器學(xué)習(xí)管道的推動下，獲取數(shù)據(jù)并通機器學(xué)習(xí)模型運行，以了解特定系統(tǒng)及其工作方式。機器學(xué)習(xí)算法使用的模型可能會改變它們的學(xué)習(xí)方式，但基線操作是算法優(yōu)化戰(zhàn)略思維，可以作為人工智能平臺的基礎(chǔ)。

因此，人工智能管道包括背景機器學(xué)習(xí)算法，這些算法向系統(tǒng)教授環(huán)境策略，形成一個更大的人工智能，可以驅(qū)動它所連接的任何系統(tǒng)或機器。人工智能管道本質(zhì)上是一個機器學(xué)習(xí)管道。

?

二、什么是?AI 管道？

人工智能或機器學(xué)習(xí)管道是相互連接且流線型的操作集合。從數(shù)據(jù)收集到訓(xùn)練模型，這些信息會進入并通過機器學(xué)習(xí)系統(tǒng)。

?AI 管道由“工作流”或交互路徑組成，數(shù)據(jù)通過這些路徑在機器學(xué)習(xí)平臺中移動。一般來說，這些工作流程由以下階段組成：

• ?數(shù)據(jù)攝取：人工智能訓(xùn)練需要大量信息才能實際訓(xùn)練運行它的算法。在現(xiàn)代數(shù)據(jù)平臺出現(xiàn)之前，收集這么多數(shù)據(jù)幾乎是不可能的?，F(xiàn)在，人工智能平臺從數(shù)據(jù)庫、用戶輸入和混合云系統(tǒng)等多個來源提取數(shù)據(jù)。

• 數(shù)據(jù)清理：通過這些方法收集的大多數(shù)數(shù)據(jù)都是非結(jié)構(gòu)化的。它不是遵循相同的清除、識別和分類過程的數(shù)據(jù)。第一步是篩選出損壞或重復(fù)的數(shù)據(jù)，或簡單的“虛擬數(shù)據(jù)”，這對機器學(xué)習(xí)沒有幫助。

• 預(yù)處理：顧名思義，非結(jié)構(gòu)化數(shù)據(jù)沒有以適當(dāng)處理所需的結(jié)構(gòu)化方式進行分類、格式化或存儲。預(yù)處理是在處理之前自動分類和存儲以供使用。

• 建模：機器學(xué)習(xí)系統(tǒng)然后根據(jù)給定的應(yīng)用領(lǐng)域創(chuàng)建或改進模型——本質(zhì)上，系統(tǒng)是使用攝取的數(shù)據(jù)進行訓(xùn)練的。機器學(xué)習(xí)系統(tǒng)將創(chuàng)建和利用模型來推動智能決策并為未來的模型提供信息。

• 部署：人工智能可以被部署以供最終用戶、業(yè)務(wù)用戶或數(shù)據(jù)科學(xué)家使用。

工作流（以及管道）將信息從收集轉(zhuǎn)移到最終部署，并代表一個迭代過程，該過程不斷將新信息（來自數(shù)據(jù)收集階段和用戶交互）提供給機器學(xué)習(xí)和人工智能系統(tǒng)，以用于學(xué)習(xí)和處理目的。

?三、ML工作流程如何塑造 AI 管道？

雖然我們了解?AI 管道的作用，但了解 AI 進程如何在這些管道中發(fā)揮作用也很重要。

?人工智能有幾個階段，作為其“學(xué)習(xí)”過程的一部分。這些階段包括：

（1）預(yù)處理

雖然我們已經(jīng)介紹了這一部分，但重要的是要了解?ML 工作流的幾個階段用作 AI 應(yīng)用程序的預(yù)處理。這包括清理數(shù)據(jù)、構(gòu)建數(shù)據(jù)并為 AI 學(xué)習(xí)模型做好準(zhǔn)備。

?（2）學(xué)習(xí)

機器學(xué)習(xí)本身就是一門完整的學(xué)科，也是人工智能的一個子集。作為人工智能系統(tǒng)的一部分，機器學(xué)習(xí)算法將使用不同的模型來處理數(shù)據(jù)。

?支持?AI 管道的一些最常見的機器學(xué)習(xí)形式包括：

• ?監(jiān)督學(xué)習(xí)：監(jiān)督學(xué)習(xí)是數(shù)據(jù)科學(xué)家如何根據(jù)樣本輸入為機器學(xué)習(xí)算法提供所需輸出的示例。然后，機器學(xué)習(xí)算法使用這種相關(guān)性來學(xué)習(xí)如何根據(jù)輸入和輸出之間的關(guān)系來最好地構(gòu)建它們的行為。這就像一個代數(shù)方程，機器學(xué)習(xí)在其中學(xué)習(xí)如何最好地求解給定樣本數(shù)的“X”。這種學(xué)習(xí)形式支持數(shù)據(jù)分類和分析等應(yīng)用類型。

• 無監(jiān)督學(xué)習(xí)：顧名思義，這種學(xué)習(xí)形式省略了任何結(jié)構(gòu)化輸出供機器學(xué)習(xí)學(xué)習(xí)。相反機器學(xué)習(xí)算法使用數(shù)據(jù)集來了解該數(shù)據(jù)中的固有模式以及如何最好地將其用于特定任務(wù)。這種機器學(xué)習(xí)支持數(shù)據(jù)挖掘和數(shù)據(jù)組織等高級戰(zhàn)略行動。

• 強化學(xué)習(xí)：強化學(xué)習(xí)主要與數(shù)字或物理系統(tǒng)中的代理相關(guān)，并使用行動和獎勵教學(xué)來幫助這些代理學(xué)習(xí)如何在這些環(huán)境中對戰(zhàn)略行動進行建模。這種學(xué)習(xí)最常用于多人游戲中。

• 深度學(xué)習(xí)：深度學(xué)習(xí)是一種教學(xué)形式，它使用神經(jīng)網(wǎng)絡(luò)層來促進復(fù)雜任務(wù)的機器學(xué)習(xí)，例如物理系統(tǒng)的模式識別，例如圖像和面部識別。這種學(xué)習(xí)形式并非排他性的，因為它由神經(jīng)網(wǎng)絡(luò)驅(qū)動，以促進更廣泛的學(xué)習(xí)技術(shù)。因此，例如，您可以將深度學(xué)習(xí)技術(shù)與列出的任何方法一起使用。深度強化學(xué)習(xí)是非常先進的系統(tǒng)機器學(xué)習(xí)的一種常見形式。

?（3）評估

人工智能系統(tǒng)由使用機器學(xué)習(xí)技術(shù)和技術(shù)創(chuàng)建的“訓(xùn)練有素”的大腦驅(qū)動，評估來自用戶輸入的傳入數(shù)據(jù)。此階段要求提供給?AI 的信息與其預(yù)期接收的信息相匹配，并且它已經(jīng)接受過培訓(xùn)。

請注意，在構(gòu)建用于?AI 平臺的非結(jié)構(gòu)化數(shù)據(jù)的過程中，必須以標(biāo)準(zhǔn)化的方式對其進行組織。無論您使用有監(jiān)督還是無監(jiān)督的數(shù)據(jù)，它都將以標(biāo)準(zhǔn)化的方式進行結(jié)構(gòu)化。

（4）預(yù)測

基于通過學(xué)習(xí)過程學(xué)到的策略，人工智能將根據(jù)信息做出預(yù)測，從而為決策提供信息。這可以包括機器為用戶提供的洞察力、它如何駕駛其他機器（如自動駕駛汽車或制造設(shè)備）或?qū)︼L(fēng)險管理表執(zhí)行復(fù)雜的分析。

?

四、使用?WEKA 云基礎(chǔ)架構(gòu)為 AI 管道供電

AI 管道需要大量資源：計算能力、隨時可用的存儲、災(zāi)難恢復(fù)和備份、機器學(xué)習(xí)應(yīng)用程序的專用硬件等。典型的云環(huán)境通常不具備這種能力。相反，數(shù)據(jù)科學(xué)家轉(zhuǎn)向?qū)ｉT的混合云環(huán)境來運行他們復(fù)雜的 AI 管道。

WEKA 提供了這樣一個環(huán)境，包括以下功能：

• 流線型和快速的云文件系統(tǒng)，將多個源組合到一個高性能計算系統(tǒng)中

• 業(yè)界最佳的?GPUDirect 性能（單個 DGX-2 為 113 Gbps，單個 DGX A100 為 162 Gbps）

• 針對治理、風(fēng)險和合規(guī)性要求的動態(tài)和靜態(tài)加密

• 邊緣、核心和云開發(fā)的敏捷訪問和管理

• 可擴展至數(shù)十億文件的?EB 級存儲

關(guān)于虹科云科技

虹科云科技，致力于為您提供云解決方案，我們通過分享公有云、私有云、數(shù)據(jù)庫等相關(guān)知識、產(chǎn)品信息、應(yīng)用案例及行業(yè)信息，幫助您找到最適合您的企業(yè)級云解決方案。

掃描下方二維碼，第一時間獲取企業(yè)級云解決方案！

? ? ? ?