隨著AI技術(shù)的飛速發(fā)展，智能設(shè)備如AI手機(jī)、AI PC和AI眼鏡正逐步向AI Agent化邁進(jìn)。然而，這些小型終端要想充分利用大模型的能力，仍面臨一個關(guān)鍵難題：如何構(gòu)建一套端邊云聯(lián)動的解決方案，使小型設(shè)備也能承載大型模型的算力需求。
據(jù)行業(yè)觀察，大模型技術(shù)正呈現(xiàn)出一種新趨勢，即端邊云協(xié)同，以加速端智能場景的實際應(yīng)用。近年來，市場涌現(xiàn)出多種形態(tài)的端側(cè)AI產(chǎn)品，如智能門鎖、AI看護(hù)機(jī)和無人機(jī)等，它們主打輕量化部署，內(nèi)置的AI模型小巧易用。然而，由于功耗和算力的限制，這些設(shè)備在處理復(fù)雜計算任務(wù)時顯得力不從心，因此推理任務(wù)逐漸向邊緣和云端轉(zhuǎn)移。
在這一背景下，字節(jié)跳動旗下的云服務(wù)平臺火山引擎在2024年冬季的FORCE原動力大會上，宣布了其邊緣云的全面升級。此次升級優(yōu)化了物聯(lián)網(wǎng)平臺、智能平臺和邊緣大模型網(wǎng)關(guān)服務(wù)，并推出了邊緣原生智能體，旨在構(gòu)建一套完整的基礎(chǔ)設(shè)施，連接端側(cè)小模型應(yīng)用和邊云大模型能力。
火山引擎邊緣智能技術(shù)負(fù)責(zé)人表示，端側(cè)通過OneSDK一站式解決方案，使嵌入式設(shè)備也能接入大模型；邊緣側(cè)則部署了大模型網(wǎng)關(guān)，提升了調(diào)用過程的效率和穩(wěn)定性；中心側(cè)通過編排智能體，降低了大模型部署的難度；而邊緣原生智能體則可根據(jù)不同行業(yè)需求進(jìn)行個性化定制。
在談到邊緣智能技術(shù)的最新優(yōu)勢和應(yīng)用場景時，該負(fù)責(zé)人指出，邊緣AI的發(fā)展可分為基礎(chǔ)設(shè)施和應(yīng)用場景兩個方面?；A(chǔ)設(shè)施主要負(fù)責(zé)解決連接和計算問題，提供大模型的調(diào)度和計算推理能力。而應(yīng)用場景的發(fā)展則受限于碎片化和難以規(guī)?；膯栴}。一套支持端邊云聯(lián)動的智能邊緣架構(gòu)能夠在很大程度上解決這些問題，拓寬邊緣AI的部署范圍。
AI Agent與大模型的連接強(qiáng)化，以及計算任務(wù)的端邊云協(xié)同處理，是當(dāng)前技術(shù)發(fā)展的重點。火山引擎的邊緣智能解決方案針對這些難題，展現(xiàn)出了兩大技術(shù)優(yōu)勢。首先，該方案已被多家企業(yè)采用，無論是大型還是中小型企業(yè)，都能通過這一方案實現(xiàn)AI Agent的部署和應(yīng)用。其次，該方案通過智能決策器，實現(xiàn)了算力的優(yōu)化分配，既保證了計算任務(wù)的高效完成，又確保了數(shù)據(jù)的安全和隱私。
隨著AI Agent生態(tài)的蓬勃發(fā)展，越來越多的公司開始引入這一技術(shù)。據(jù)數(shù)據(jù)顯示，截至2025年1月4日，AI Agent的整體市值已達(dá)到173.6億美元，過去一周的漲幅接近50%。有調(diào)研報告顯示，超過半數(shù)的受訪者已在生產(chǎn)過程中使用AI Agent，中型公司最為活躍，主要用于提高生產(chǎn)效率。
火山引擎的邊緣智能基礎(chǔ)架構(gòu)，不僅優(yōu)化了端智能的接入流程，提升了推理請求的加速性能和安全性，還增強(qiáng)了模型分發(fā)和智能體配置等功能。該架構(gòu)已在國內(nèi)多家企業(yè)和單位中得到應(yīng)用，如潤欣科技、地瓜機(jī)器人等，助力其業(yè)務(wù)增長。
為了更好適應(yīng)AI Agent時代，火山引擎還推出了一系列端智能解決方案，包括OneSDK、OneCredential和OneStop。OneSDK提供了一站式解決方案，滿足設(shè)備運維、設(shè)備安全和智能需求；OneCredential支持跨云服務(wù)權(quán)限的端智能解決方案，降低了資源占用和證書創(chuàng)建成本；OneStop則通過深度融合端云技術(shù)，降低了端側(cè)智能體的開發(fā)與接入門檻。
火山引擎的智能決策器是另一個亮點。該決策器能夠根據(jù)提示詞等信息，將任務(wù)按需分發(fā)至本地、邊緣或云端處理。它采用基于規(guī)則和模型的動態(tài)決策方式，綜合考慮功耗、機(jī)型、溫度和任務(wù)復(fù)雜性等因素，確保數(shù)據(jù)安全和隱私成為首要考慮原則。例如，在智能座艙中，車內(nèi)攝像頭的隱私對話和行為記錄會被本地化處理，而復(fù)雜操作則交給云端大模型處理。
火山引擎的邊緣大模型網(wǎng)關(guān)也發(fā)揮了重要作用。它具備標(biāo)準(zhǔn)接口、就近訪問、推理加速和高魯棒性四大核心能力，適配多家主流大模型廠商和智能體提供商，實現(xiàn)了快速接入和降低延遲。同時，通過全球范圍的邊緣節(jié)點和智能流量調(diào)度策略，進(jìn)一步優(yōu)化了訪問效率。
邊緣原生智能體作為AI模型端側(cè)落地的重要形式，也受到了火山引擎的重視。它提出了四大必備能力，包括理解設(shè)備能力、連接物理世界、單智能體協(xié)同和多智能體協(xié)同。目前，邊緣原生智能體已應(yīng)用于智能數(shù)字工廠和智慧園區(qū)等領(lǐng)域，實現(xiàn)了工業(yè)質(zhì)檢和園區(qū)安防等功能。
火山引擎邊緣云的分布式云網(wǎng)基礎(chǔ)設(shè)施在全球擁有2500多個邊緣節(jié)點，網(wǎng)絡(luò)時延控制在1至40毫秒之間，支持端邊互聯(lián)、邊邊互聯(lián)和邊云互聯(lián)場景，實現(xiàn)了智能應(yīng)用的就近上云。同時，為了保障數(shù)據(jù)的安全傳輸，火山引擎還新增了針對AI Agent的邊緣安全防護(hù)功能，包括提示詞檢測、系統(tǒng)提示詞防御和結(jié)果檢查等。
