KServe：一個(gè)健壯且可擴(kuò)展的云原生模型服務(wù)器

作者：開(kāi)源云中文社區(qū) 2022-04-08 11:40:51

云計(jì)算

云原生 隨著模型服務(wù)成為MLOP的核心構(gòu)建塊，像KServe這樣的開(kāi)源項(xiàng)目變得非常重要。KServe的可擴(kuò)展性使其能夠使用現(xiàn)有和即將出現(xiàn)的運(yùn)行時(shí)，從而成為一個(gè)獨(dú)特的模型服務(wù)平臺(tái)。

10多年專注成都網(wǎng)站制作，成都定制網(wǎng)站，個(gè)人網(wǎng)站制作服務(wù)，為大家分享網(wǎng)站制作知識(shí)、方案，網(wǎng)站設(shè)計(jì)流程、步驟,成功服務(wù)上千家企業(yè)。為您提供網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)頁(yè)設(shè)計(jì)及定制高端網(wǎng)站建設(shè)服務(wù),專注于成都定制網(wǎng)站,高端網(wǎng)頁(yè)制作,對(duì)石雕等多個(gè)行業(yè)，擁有多年設(shè)計(jì)經(jīng)驗(yàn)。

如果你熟悉Kubeflow，你就會(huì)知道KFServing是平臺(tái)的模型服務(wù)器和推理引擎。去年9月，KFServing項(xiàng)目經(jīng)歷了一次轉(zhuǎn)型，變成了KServe。

除了名稱變更之外，KServe現(xiàn)在是從Kubeflow項(xiàng)目畢業(yè)的獨(dú)立組件。這種分離允許KServe發(fā)展為一個(gè)單獨(dú)的、云原生推理引擎，部署為一個(gè)獨(dú)立的模型服務(wù)器。當(dāng)然，它將繼續(xù)與Kubeflow緊密集成，但它們將被視為獨(dú)立的開(kāi)源項(xiàng)目來(lái)處理和維護(hù)。

KServe是由谷歌、IBM、彭博社、Nvidia和Seldon合作開(kāi)發(fā)的，是Kubernetes的開(kāi)源云原生模型服務(wù)器。最新版本0.8的重點(diǎn)是將模型服務(wù)器轉(zhuǎn)換為一個(gè)獨(dú)立的組件，并對(duì)分類法和命名法進(jìn)行了更改。

讓我們了解KServe的核心功能

模型服務(wù)器用于機(jī)器學(xué)習(xí)模型，就像應(yīng)用程序用于編寫二進(jìn)制代碼一樣。兩者都為部署提供運(yùn)行時(shí)和執(zhí)行上下文。KServer作為模型服務(wù)器，為機(jī)器學(xué)習(xí)和大規(guī)模的學(xué)習(xí)模型提供了基礎(chǔ)。

KServe可以部署為傳統(tǒng)的Kubernetes部署，也可以部署為支持零擴(kuò)展的無(wú)服務(wù)器部署。對(duì)于無(wú)服務(wù)器，它利用了面向無(wú)服務(wù)器的Knative Serving的優(yōu)勢(shì)，具有自動(dòng)縮放功能。Istio用作入口，向API使用者公開(kāi)服務(wù)端點(diǎn)。Istio和Knative服務(wù)的結(jié)合實(shí)現(xiàn)了令人興奮的場(chǎng)景，例如模型的藍(lán)/綠和金絲雀部署。

Kserve架構(gòu)圖

RawDeployment模式允許你在不使用Knative服務(wù)的情況下使用KServe，它支持傳統(tǒng)的縮放技術(shù)，如水平pod自動(dòng)縮放(HPA)，但不支持縮放到零。

KServe架構(gòu)

KServe model server有一個(gè)控制平面和一個(gè)數(shù)據(jù)平面?？刂破矫婀芾聿f(xié)調(diào)負(fù)責(zé)推理的自定義資源。在無(wú)服務(wù)器模式下，它與Knative資源協(xié)調(diào)管理自動(dòng)縮放。

KServe控制平面的核心是管理推理服務(wù)生命周期的KServe控制器。它負(fù)責(zé)創(chuàng)建服務(wù)、入口資源、模型服務(wù)器容器、模型代理容器，用于請(qǐng)求/響應(yīng)日志記錄、批處理，以及從模型存儲(chǔ)中提取模型。模型存儲(chǔ)是在模型服務(wù)器上注冊(cè)的模型的存儲(chǔ)庫(kù)。它通常是一種對(duì)象存儲(chǔ)服務(wù)，如Amazon S3、谷歌云存儲(chǔ)、Azure Storage或MinIO。

數(shù)據(jù)平面管理針對(duì)特定模型的請(qǐng)求/響應(yīng)周期。它有一個(gè)預(yù)測(cè)器、轉(zhuǎn)換器和解釋器組件。

AI應(yīng)用程序向預(yù)測(cè)器端點(diǎn)發(fā)送REST或gRPC請(qǐng)求。預(yù)測(cè)器充當(dāng)調(diào)用transformer組件的推理管道，transformer組件可以執(zhí)行入站數(shù)據(jù)(請(qǐng)求)的預(yù)處理和出站數(shù)據(jù)(響應(yīng))的后處理?；蛘?，可能會(huì)有一個(gè)解釋器組件，為托管模型帶來(lái)AI解釋能力。KServe鼓勵(lì)使用可互操作和可擴(kuò)展的V2協(xié)議。

數(shù)據(jù)平面還具有端點(diǎn)，用于檢查模型的就緒性和運(yùn)行狀況。它還公開(kāi)了用于檢索模型元數(shù)據(jù)的API。

支持的框架和運(yùn)行時(shí)

KServe支持廣泛的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)框架。深度學(xué)習(xí)框架和運(yùn)行時(shí)與現(xiàn)有的服務(wù)基礎(chǔ)設(shè)施(如TensorFlow Serving、TorchServe和Triton推理服務(wù)器)配合使用。KServe可以通過(guò)Triton 托管TensorFlow、ONNX、PyTorch和TensorRT運(yùn)行時(shí)。

對(duì)于基于SKLearn的經(jīng)典機(jī)器學(xué)習(xí)模型，XGBoost、Spark MLLib和LightGBM KServe依賴于Seldon的MLServer。

KServe的可擴(kuò)展框架使其能夠插入任何遵守V2推理協(xié)議的運(yùn)行時(shí)。

使用ModelMesh的多模式服務(wù)

KServe為每個(gè)推理部署一個(gè)模型，將平臺(tái)的可擴(kuò)展性限制在可用的CPU和GPU上。當(dāng)在昂貴且稀缺的計(jì)算資源GPU上運(yùn)行推理時(shí)，這種限制變得很明顯。

通過(guò)多模式服務(wù)，我們可以克服基礎(chǔ)設(shè)施的限制——計(jì)算資源、最大pod和最大IP地址。

ModelMesh Serving由IBM開(kāi)發(fā)，是一個(gè)基于Kubernetes的平臺(tái)，用于實(shí)時(shí)服務(wù)ML/DL模型，針對(duì)高容量/密度用例進(jìn)行了優(yōu)化。與管理流程以最佳利用可用資源的操作系統(tǒng)類似，ModelMesh優(yōu)化部署的模型以在集群內(nèi)高效運(yùn)行。

通過(guò)跨部署的pod集群智能管理內(nèi)存中的模型數(shù)據(jù)，以及隨著時(shí)間的推移對(duì)這些模型的使用，系統(tǒng)最大限度地利用了可用的集群資源。

ModelMesh Serving基于KServe v2數(shù)據(jù)平面API進(jìn)行推理，這使得它可以部署為類似于NVIDIA Triton推理服務(wù)器的運(yùn)行時(shí)。當(dāng)一個(gè)請(qǐng)求到達(dá)KServe數(shù)據(jù)平面時(shí)，它被簡(jiǎn)單地委托給ModelMesh Serving。

ModelMesh Serving與KServe的集成目前處于Alpha階段。隨著這兩個(gè)項(xiàng)目的成熟，將有一個(gè)更緊密的集成，使混合和匹配兩個(gè)平臺(tái)的功能和能力成為可能。

隨著模型服務(wù)成為MLOP的核心構(gòu)建塊，像KServe這樣的開(kāi)源項(xiàng)目變得非常重要。KServe的可擴(kuò)展性使其能夠使用現(xiàn)有和即將出現(xiàn)的運(yùn)行時(shí)，從而成為一個(gè)獨(dú)特的模型服務(wù)平臺(tái)。

名稱欄目：KServe：一個(gè)健壯且可擴(kuò)展的云原生模型服務(wù)器
鏈接地址：http://www.5511xx.com/article/dpoiepe.html