建站
咨詢
售后
建站咨詢
新聞中心
譯者 | 布加迪
創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),稷山企業(yè)網(wǎng)站建設(shè),稷山品牌網(wǎng)站建設(shè),網(wǎng)站定制,稷山網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,稷山網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。
審校 | 重樓
微服務(wù)架構(gòu)便于創(chuàng)建邊界明確定義的靈活獨(dú)立服務(wù)。這種可擴(kuò)展的方法使開發(fā)人員能夠在不影響整個(gè)應(yīng)用程序的情況下單獨(dú)維護(hù)和完善服務(wù)。然而，若要充分發(fā)揮微服務(wù)架構(gòu)的潛力、特別是針對基于人工智能的聊天應(yīng)用程序，需要與最新的大語言模型（LLM，比如Meta LLama V2和OpenAI的ChatGPT）以及基于各種應(yīng)用程序用例發(fā)布的其他經(jīng)過微調(diào)的LLM進(jìn)行強(qiáng)大的集成，從而為多樣化的解決方案提供多模型方法。
LLM是大規(guī)模模型，可以基于不同數(shù)據(jù)訓(xùn)練生成類似人類的文本。通過從互聯(lián)網(wǎng)上數(shù)十億的單詞中學(xué)習(xí)，LLM了解上下文并生成不同領(lǐng)域的調(diào)整后內(nèi)容。然而，由于需要獨(dú)特的接口、訪問端點(diǎn)和每個(gè)模型的特定載荷，將各種LLM集成到單個(gè)應(yīng)用程序中常常帶來挑戰(zhàn)。因此，擁有可以處理各種模型的單一集成服務(wù)就能改進(jìn)架構(gòu)設(shè)計(jì)，并加大獨(dú)立服務(wù)的規(guī)模。
本教程將介紹使用Node.js和Express在微服務(wù)架構(gòu)中針對LLama V2和ChatGPT的IntelliNode集成。
聊天機(jī)器人集成選項(xiàng)
以下是IntelliNode提供的幾個(gè)聊天集成選項(xiàng)：
1. LLama V2：您可以通過Replicate的API集成LLama V2模型，以實(shí)現(xiàn)簡單的流程，也可以通過AWS SageMaker主機(jī)集成LLama V2模型，以實(shí)現(xiàn)額外的控制。
LLama V2是一種功能強(qiáng)大的開源LLM，它已經(jīng)過預(yù)訓(xùn)練，并使用多達(dá)700億個(gè)參數(shù)進(jìn)行了微調(diào)。它擅長處理眾多領(lǐng)域的復(fù)雜推理任務(wù)，包括編程和創(chuàng)意寫作等專業(yè)領(lǐng)域。它的訓(xùn)練方法包括自我監(jiān)督數(shù)據(jù)，并通過從人類反饋中強(qiáng)化學(xué)習(xí)（RLHF）與人類偏好保持對齊。LLama V2超越了現(xiàn)有的開源模型，在易用性和安全性方面可與ChatGPT和BARD等閉源模型相媲美。
2. ChatGPT：通過簡單地提供OpenAI API密鑰，IntelliNode模塊允許在簡單的聊天界面中與模型集成。您可以通過GPT 3.5或GPT 4模型訪問ChatGPT。這些模型已使用了大量數(shù)據(jù)進(jìn)行訓(xùn)練，并經(jīng)過微調(diào)，以提供與上下文高度相關(guān)的、準(zhǔn)確的響應(yīng)。
逐步集成
不妨從初始化一個(gè)新的Node.js項(xiàng)目開始。打開終端，瀏覽到項(xiàng)目所在目錄，然后運(yùn)行以下命令：
npm init -y這個(gè)命令將為您的應(yīng)用程序創(chuàng)建一個(gè)新的“package.json”文件。
接下來，安裝Express.js，它將用于處理HTTP請求和響應(yīng)以及用于LLM模型連接的intellinode：
npm install express
npm install intellinode安裝完成后，在項(xiàng)目的根目錄下創(chuàng)建一個(gè)名為“app.js”的新文件，然后，在“app.js”中添加express初始化代碼。
使用Replicate的API集成LLama V2
通過API密鑰，Replicate提供了與LLama V2快速集成的路徑，IntelliNode提供了聊天機(jī)器人接口，將您的業(yè)務(wù)邏輯與Replicate后端實(shí)現(xiàn)分離，允許您在不同的聊天模型之間切換。
不妨從與托管在Replica后端的LLama集成開始：
從replicate.com獲取試用密鑰以激活集成。
使用AWS SageMaker集成LLama V2
現(xiàn)在介紹通過AWS SageMaker集成LLama V2，提供隱私和額外的控制層。
集成需要從您的AWS帳戶生成API端點(diǎn)，首先我們將在微服務(wù)應(yīng)用程序中設(shè)置集成代碼：
下列步驟是在您的帳戶中創(chuàng)建一個(gè)LLama端點(diǎn)，一旦您設(shè)置了API網(wǎng)關(guān)，復(fù)制用于運(yùn)行“/LLama /aws”服務(wù)的URL。
在您的AWS帳戶中設(shè)置LLama V2端點(diǎn)：
1.SageMaker服務(wù)：從您的AWS帳戶中選擇SageMaker服務(wù)，然后點(diǎn)擊域。
2.創(chuàng)建SageMaker域：先在您的AWS SageMaker上創(chuàng)建一個(gè)新域。這一步為您的SageMaker操作建立了受控空間。
3.部署LLama模型：利用SageMaker JumpStart來部署計(jì)劃集成的LLama模型。建議從2B模型開始，因?yàn)檫\(yùn)行70B模型的每月成本較高。
4.復(fù)制端點(diǎn)名稱：一旦您已部署了模型，確保注意端點(diǎn)名稱，這對后面的步驟至關(guān)重要。
5.創(chuàng)建Lambda函數(shù)：AWS Lambda允許運(yùn)行后端代碼而無需管理服務(wù)器。創(chuàng)建一個(gè)Node.js lambda函數(shù)，用于集成部署的模型。
6.設(shè)置環(huán)境變量：在Lambda中創(chuàng)建一個(gè)名為LLama_endpoint的環(huán)境變量，附有SageMaker端點(diǎn)的值。
7.Intellinode Lambda導(dǎo)入：您需要導(dǎo)入準(zhǔn)備好的Lambda zip文件，該文件建立到SageMaker LLama部署的連接。這個(gè)導(dǎo)出是一個(gè)zip文件，可以在lambda_LLama_sagemaker目錄中找到。
8.API網(wǎng)關(guān)配置：點(diǎn)擊Lambda函數(shù)頁面上的“添加觸發(fā)器”選項(xiàng)，從可用觸發(fā)器列表中選擇“API網(wǎng)關(guān)”。
9.Lambda函數(shù)設(shè)置：更新Lambda角色以授予訪問SageMaker端點(diǎn)所需的權(quán)限。此外，應(yīng)該延長函數(shù)的超時(shí)時(shí)間以適應(yīng)處理時(shí)間?？梢栽贚ambda函數(shù)的“Configuration”選項(xiàng)卡中進(jìn)行這些調(diào)整。
點(diǎn)擊角色名稱以更新權(quán)限，并提供訪問SageMaker的權(quán)限：
ChatGPT集成
最后，我們將闡述集成Openai ChatGPT、作為微服務(wù)架構(gòu)中另一個(gè)選項(xiàng)的步驟：
從platform.openai.com獲取試用密鑰。
進(jìn)行實(shí)驗(yàn)
先在終端中導(dǎo)出API密鑰，如下所示：
然后運(yùn)行node應(yīng)用程序：
node app.js在瀏覽器中輸入以下url以測試chatGPT服務(wù)：
http://localhost:3000/chatgpt?message=hello
我們構(gòu)建了一個(gè)微服務(wù)，基于LLama V2和OpenAI的ChatGPT等LLM具有的功能。這種集成為充分利用基于高級AI的無數(shù)業(yè)務(wù)場景打開了大門。
通過將機(jī)器學(xué)習(xí)需求轉(zhuǎn)換成解耦的微服務(wù)，您的應(yīng)用程序可以獲得靈活性和可擴(kuò)展性的好處。不用配置您的操作，以適應(yīng)整體式模型的約束，語言模型功能現(xiàn)在可加以單獨(dú)管理和開發(fā)，這有望提高效率，更容易進(jìn)行故障排查和升級管理。
原文標(biāo)題：Building Microservice for Multi-Chat Backends Using LLama and ChatGPT，作者：Ahmad Albarqawi
網(wǎng)站欄目：使用LLama和ChatGPT為多聊天后端構(gòu)建微服務(wù)
URL分享：http://www.5511xx.com/article/cccpdgh.html
