這不僅是業(yè)界在端側(cè)成功部署大模型的一次突破性實踐，更驗證了BPU®?對先進神經(jīng)網(wǎng)絡(luò)算法的高效支持，為大模型在端側(cè)實現(xiàn)產(chǎn)品級應(yīng)用拓展了更廣闊的想象空間。

 

　　大模型端側(cè)部署的技術(shù)實踐對加速智能化產(chǎn)業(yè)變革具有重要意義。端側(cè)部署具備實時性、低時延優(yōu)勢，能夠靈活支持弱網(wǎng)或無網(wǎng)等豐富場景，為終端用戶提供更流暢、穩(wěn)定的交互體驗；同時端側(cè)支持信息本地化處理，可有效保護用戶數(shù)據(jù)與隱私安全；端側(cè)計算還將大幅緩解云端算力壓力，端云協(xié)同更會驅(qū)動產(chǎn)業(yè)降本提效，加速實現(xiàn)大模型技術(shù)的應(yīng)用普惠。

 

 

　　然而，大模型端側(cè)推理部署仍面臨巨大挑戰(zhàn)。區(qū)別于云端推理部署計算資源應(yīng)用盡用，端側(cè)部署大模型并實現(xiàn)產(chǎn)品級應(yīng)用，則需綜合考量不同應(yīng)用間的計算資源分配，以及計算效率、帶寬占用與功耗等各項指標。如何在眾多約束條件下最大程度地提高大模型端側(cè)推理效率是面臨的首要技術(shù)挑戰(zhàn)。此外，推理過程將大量占用內(nèi)存帶寬，如何在不影響推理結(jié)果的前提下減少內(nèi)存訪問，降低帶寬依賴，進而減少推理耗時，則需要在軟件工程層面進行系統(tǒng)優(yōu)化。

 

　　作為軟硬協(xié)同技術(shù)路徑的堅定踐行者，地平線通過硬件資源的最大化利用和軟件工程的極致優(yōu)化，并成功在5 TOPS算力的邊緣計算芯片上部署高達14億級參數(shù)的大語言模型。這源于旭日3所搭載的雙核BPU®?伯努利計算單元對神經(jīng)網(wǎng)絡(luò)計算的原生性支持，能夠在處理大語言模型方面提供高性能、低功耗的計算處理能力。另一方面，地平線通過軟硬協(xié)同編譯，采用算子重寫、算子重排、算子融合和KV-Cache等技術(shù)，進一步優(yōu)化了模型結(jié)構(gòu)，實現(xiàn)推理速度的成倍提升。

 

 

　　從資源占用情況看，該大語言模型在旭日3上的應(yīng)用效果表現(xiàn)優(yōu)異，CPU占用單核60%、BPU占用單核50%，為后續(xù)其他應(yīng)用預(yù)留充足的算力資源；同時在5GB/s內(nèi)存帶寬基礎(chǔ)上實現(xiàn)了約4~5字/秒的生成速度，可充分滿足實時性需求；在最能體現(xiàn)真實效能的FPS/Watt指標上，該模型的運行效能相較于LLaMA.cpp等純CPU方案提升了2.5倍。這也意味著，旭日3對此大預(yù)言模型的支持性可達到產(chǎn)品級應(yīng)用水平。

 

 

　　地平線現(xiàn)已通過GitHub開放該模型的推理代碼，開發(fā)者可通過RDK X3系列開發(fā)者套件，即刻前往「NodeHub全開源機器人應(yīng)用中心」推薦項目（https://developer.horizon.cc/nodehubdetail/181982806623334400），嘗鮮體驗大語言模型在旭日3上的實際運行效果，更期待各位開發(fā)者參與「星光之路」活動，一同探索大模型在旭日3的上層應(yīng)用落地！

 

　　我們相信，通過軟硬協(xié)同的技術(shù)路徑，大模型端側(cè)應(yīng)用部署將驅(qū)動人機交互方式變革，多維度提升用戶智能化體驗，加速“智能計算平權(quán)”時代的到來。