網(wǎng)宿科技發(fā)布邊緣AI網(wǎng)關(guān)，賦能開(kāi)發(fā)者簡(jiǎn)化AI構建流程
7月11日，網(wǎng)宿科技宣布正式推出其全新的AI服務(wù)——邊緣AI網(wǎng)關(guān)。
網(wǎng)宿科技CDN產(chǎn)品研發(fā)總監曾智全在發(fā)布會(huì )上表示，隨著(zhù)AI成為新一輪創(chuàng )新的焦點(diǎn)，越來(lái)越多的企業(yè)希望利用AI技術(shù)來(lái)推動(dòng)業(yè)務(wù)發(fā)展，但往往受限于技術(shù)或經(jīng)驗的缺乏。網(wǎng)宿科技此次推出的邊緣AI網(wǎng)關(guān)，正是為了幫助企業(yè)更簡(jiǎn)單、更安全、更有效地應用AI技術(shù)。
據悉，網(wǎng)宿邊緣AI網(wǎng)關(guān)旨在為企業(yè)在模型服務(wù)與AI應用之間搭建起一座橋梁。無(wú)論是個(gè)人開(kāi)發(fā)者還是大型企業(yè)，都可以通過(guò)網(wǎng)宿邊緣AI網(wǎng)關(guān)更加便捷地管理和集成模型服務(wù)，進(jìn)而更好地開(kāi)展AI應用創(chuàng )新。
近年來(lái)，隨著(zhù)GPT等大模型的興起，AI在各行各業(yè)的應用加速涌現。集成大模型已成為提升應用體驗和功能深度的普遍趨勢。然而，企業(yè)在使用多個(gè)模型或提供商時(shí)，面臨著(zhù)高昂的AI應用成本以及復雜的管理和運維難題。如何更好地管控模型使用、降低成本支出，并清晰地洞察AI使用現狀和服務(wù)問(wèn)題，成為企業(yè)構建AI應用的內在訴求。
此外，企業(yè)在使用模型服務(wù)的過(guò)程中，還面臨著(zhù)敏感數據泄露、內容不合規等風(fēng)險。目前，大多數企業(yè)組織還未著(zhù)手解決或正在解決這些AI相關(guān)風(fēng)險。
針對這些挑戰，網(wǎng)宿邊緣AI網(wǎng)關(guān)提供了一體化的解決方案。企業(yè)可以通過(guò)統一的控制平臺創(chuàng )建邊緣AI網(wǎng)關(guān)，添加通道，實(shí)現與多個(gè)AI服務(wù)商的模型對接，并且平臺支持多模型服務(wù)的可管、可控、可觀(guān)察。
在接入層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)已經(jīng)提前完成了與多個(gè)主流AI服務(wù)商的集成。企業(yè)開(kāi)發(fā)人員無(wú)需頻繁修改代碼，只需在控制臺進(jìn)行網(wǎng)關(guān)配置，即可一次接入并使用多個(gè)模型服務(wù)，大大提升了接入效率。
在管理層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)支持特殊配置，企業(yè)可以在A(yíng)I網(wǎng)關(guān)上靈活定義優(yōu)先級、負載均衡、限速等策略，按需配置不同模型服務(wù)，實(shí)現成本可控或減少濫用。同時(shí)，企業(yè)還可以在請求失敗情況下實(shí)現無(wú)縫切換，提升AI服務(wù)的可靠性。另外，啟用緩存功能后，一旦請求在A(yíng)I緩存中命中，則不必回到模型提供商，從而減少tokens數的消耗，降低成本并提高響應速度。
在運營(yíng)層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)提供數據可視化功能，聚合來(lái)自多個(gè)模型提供商的指標，并支持請求數、tokens數、緩存數、錯誤數等的分析展示。同時(shí)，提供實(shí)時(shí)日志記錄，讓企業(yè)可以觀(guān)測和控制模型服務(wù)的使用情況，以?xún)?yōu)化模型服務(wù)策略。
除了高效接入與管理外，網(wǎng)宿邊緣AI網(wǎng)關(guān)還注重確保模型服務(wù)的安全性、高性能以及可定制化。在安全性方面，企業(yè)可以在網(wǎng)關(guān)上配置提示詞過(guò)濾規則或執行內容安全審計，以確保交互內容的安全、合規和尊重用戶(hù)。在服務(wù)性能上，依托網(wǎng)宿強大的全球資源網(wǎng)絡(luò )，用戶(hù)可以就近接入邊緣分布式AI網(wǎng)關(guān)，確保訪(fǎng)問(wèn)的穩定性和速度。
目前，網(wǎng)宿邊緣AI網(wǎng)關(guān)已開(kāi)放限時(shí)免費測試，以支撐用戶(hù)的AI體驗。未來(lái)，網(wǎng)宿科技還將深入企業(yè)應用，聚焦特定的AI場(chǎng)景，打造更多如邊緣向量數據庫、邊緣模型推理服務(wù)等創(chuàng )新產(chǎn)品，計劃面向公眾開(kāi)放。
屆時(shí)，企業(yè)將能夠輕松集成公共或自有模型，通過(guò)邊緣AI網(wǎng)關(guān)合理管控模型應用，并獲取多模型運行數據。同時(shí)，他們還可以與邊緣函數、邊緣KV存儲、應用引擎等組合使用，靈活構建和擴展邊緣AI應用，執行智能問(wèn)答、內容創(chuàng )作、檢索增強、圖片識別等多樣化的AI任務(wù)。
隨著(zhù)AI時(shí)代的不斷發(fā)展，網(wǎng)宿科技在A(yíng)I領(lǐng)域的能力布局將持續深化。曾智全表示，網(wǎng)宿科技將致力于構建更加敏捷、適應性更強、更安全的AI生態(tài)系統，讓更多企業(yè)都能擁抱AI，并從中獲得創(chuàng )新與增長(cháng)。
