通義靈碼企業(yè)推理服務配置 - 一站式SFT模型微調服務

9.4.2. 企業(yè)推理服務配置

通義靈碼靈碼企業(yè)版基于百煉平臺提供一站式SFT模型微調服務，支持企業(yè)私有化模型快速接入與精準管控，實現(xiàn)業(yè)務場景定制化適配。

背景信息

在公共云上，許多中大型客戶對企業(yè)的個性化需求提出了更高的要求，希望通過模型微調SFT（Supervised Fine-Tuning）來實現(xiàn)更貼合自身業(yè)務場景的定制化適配。為此，公共云百煉平臺提供了從數(shù)據(jù)準備、模型微調訓練到推理部署的一站式解決方案，全面支持模型的SFT相關能力。通義靈碼靈碼可以無縫集成百煉的能力，快速響應并滿足客戶在模型微調和個性化適配方面的需求，助力企業(yè)高效實現(xiàn)定制化目標。

前提條件

1. 服務購買

   • 已開通百煉平臺模型訓練服務。若未開通可前往百煉控制臺開通百煉控制臺開通。

   • 已購買通義靈碼靈碼企業(yè)版（標準版/專屬版）。具體請參見企業(yè)標準版快速入門、企業(yè)專屬版快速入門。

2. 獲取推理服務 API

   • 通過百煉平臺（或其他支持的模型服務平臺）完成 SFT 模型的部署。具體請參見。

   • 生成推理服務 API地址，并記錄 API URL、模型名稱、API Key等關鍵信息。具體請參見首次調用通義千問API。

說明

目前僅支持百煉平臺和 DeepSeek 平臺的推理模型。

企業(yè)管理員完成自有推理服務 API 配置后，通義靈碼靈碼系統(tǒng)需確保：當企業(yè)授權開發(fā)者使用通義靈碼靈碼相關服務時，系統(tǒng)將自動調用企業(yè)內部配置的模型服務。

操作步驟

登錄靈碼控制臺，在左側導航欄選擇策略配置 > 推理服務配置。

1. 在推理服務配置頁面中，針對所需的場景（這里以AI程序員場景為例），完成模型服務配置：

   • 啟用模型服務配置的開關。

   • 填寫模型的URL地址、模型名稱、API密鑰信息。

2. 然后單擊測試連接。

   • 成功提示：模型服務連接成功。

   • 失敗提示：模型服務連接失敗，請確保配置內容準確后重新測試。

3. 最后單擊保存配置。

在IDE中，登錄企業(yè)版賬號，在所對應場景標簽里，即可看到所配置的模型。

免責聲明

重要

本服務支持連接客戶自有的第三方模型，對于這些第三方模型的可用性、合規(guī)性及安全性，通義靈碼靈碼不承擔任何責任。請您在使用前仔細評估并查閱相關第三方許可協(xié)議，確保您的使用行為合法且符合法規(guī)要求。