vs-mlrt

該項(xiàng)目為各種平臺(tái)提供 VapourSynth ML 過(guò)濾器運(yùn)行時(shí)：

x86 CPU：vsov-cpu，vsort-cpu

英特爾 GPU（集成和離散）：vsov-gpu，vsncnn-vk

NVidia GPU：vsort-cuda、vstrt、vsncnn-vk

AMD GPU：vsncnn-vk

為了簡(jiǎn)化使用，我們還為所有捆綁的模型提供了一個(gè) Python 包裝器vsmlrt.py ，并提供了 一個(gè)統(tǒng)一的界面來(lái)選擇不同的后端。

有關(guān)支持的型號(hào)和使用信息，請(qǐng)參閱wiki 。

vsov：基于 OpenVINO 的純 CPU 和英特爾 GPU 運(yùn)行時(shí)

OpenVINO是 Intel 開(kāi)發(fā)的 AI 推理運(yùn)行時(shí)，主要針對(duì) x86 CPU 和 Intel GPU。

vs-openvino 插件為一些流行的 AI 過(guò)濾器提供優(yōu)化的純CPU 和 Intel GPU 運(yùn)行時(shí)。Intel GPU 在 Broadwell+ 和 Arc 系列 GPU 上支持 Gen 8+。

要安裝，請(qǐng)下載最新版本并將它們解壓縮到您的 VSplugins目錄中。

有關(guān)詳細(xì)信息，請(qǐng)?jiān)L問(wèn)vsov目錄。

vsort：基于 ONNX 運(yùn)行時(shí)的 CPU/GPU 運(yùn)行時(shí)

ONNX 運(yùn)行時(shí)是具有許多后端的 AI 推理運(yùn)行時(shí)。

vs-onnxruntime 插件為一些流行的 AI 過(guò)濾器提供優(yōu)化的 CPU 和 CUDA GPU 運(yùn)行時(shí)。

要安裝，請(qǐng)下載最新版本并將它們解壓縮到您的 VSplugins目錄中。

請(qǐng)?jiān)L問(wèn)vsort目錄了解詳細(xì)信息。

vstrt：基于 TensorRT 的 GPU 運(yùn)行時(shí)

TensorRT是針對(duì) NVidia GPU 的高度優(yōu)化的 AI 推理運(yùn)行時(shí)。它使用基準(zhǔn)測(cè)試來(lái)找到用于您的特定 GPU 的最佳內(nèi)核，因此有一個(gè)額外的步驟可以在您將要使用 vstrt 過(guò)濾器的機(jī)器上從 ONNX 網(wǎng)絡(luò)構(gòu)建引擎，這個(gè)額外的步驟使部署模型有點(diǎn)比其他運(yùn)行時(shí)更難。但是，由此產(chǎn)生的性能通常也 比vsort的 CUDA 后端好得多。

要安裝，請(qǐng)下載最新版本并將它們解壓縮到您的 VSplugins目錄中。

請(qǐng)?jiān)L問(wèn)vstrt目錄了解詳細(xì)信息。

vsncnn：基于 NCNN 的 GPU (Vulkan) 運(yùn)行時(shí)

ncnn是一種流行的 AI 推理運(yùn)行時(shí)。vsncnn 為一些 AI 過(guò)濾器提供了一個(gè)基于 vulkan 的運(yùn)行時(shí)。它包括對(duì) on-the-fly ONNX 到 ncnn 本機(jī)格式轉(zhuǎn)換的支持，以便在該項(xiàng)目提供的所有運(yùn)行時(shí)提供統(tǒng)一的接口。由于它使用與設(shè)備無(wú)關(guān)的 Vulkan接口進(jìn)行 GPU 加速推理，因此該插件支持所有提供 Vulkan 接口的 GPU（NVidia、AMD、Intel 集成和獨(dú)立 GPU 都提供此接口。）另一個(gè)好處是它的占用空間明顯小于其他 GPU 運(yùn)行時(shí)（vsort 和 vstrt CUDA 后端都需要 >1GB 的 CUDA 庫(kù)。）主要缺點(diǎn)是速度較慢。

要安裝，請(qǐng)下載最新版本并將它們解壓縮到您的 VSplugins目錄中。

有關(guān)詳細(xì)信息，請(qǐng)?jiān)L問(wèn)vsncnn目錄。https://github.com/AmusementClub/vs-mlrt/wiki