在物聯(lián)網(wǎng)與AI融合的浪潮中，考慮延時、隱私、成本等因素，相比于將數(shù)據(jù)上傳到云，市場對邊緣AI計算平臺的需求日益迫切。從智慧城市到工業(yè)自動化，隨著世界的互聯(lián)和智能化水平的日益提升，在邊緣側處理AI工作負載的必要性已不可或缺。

Arm公司近日發(fā)布專為物聯(lián)網(wǎng)優(yōu)化的Armv9邊緣AI計算平臺，該平臺以全新的Arm Cortex-A320 CPU和領先的邊緣AI加速器Arm Ethos-U85 NPU為核心，覆蓋多個應用場景，實現(xiàn)包括視覺和自然語言在內的多模態(tài)的環(huán)境感知與理解，進而運行智能體AI、自主規(guī)劃、執(zhí)行復雜任務。該平臺具備強大的計算能力，比去年的基于Cortex-M85搭配Ethos-U85的平臺提升了八倍的ML計算性能，帶來了顯著的AI計算能力突破。該平臺可賦能邊緣AI設備輕松運行超過10億參數(shù)的大模型，助力大模型與生成式AI在物聯(lián)網(wǎng)領域的落地。

一、Armv9邊緣AI計算平臺：CPU和NPU的深度配合助推邊緣AI創(chuàng)新

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務拓展副總裁馬健表示，此次發(fā)布的邊緣AI計算平臺并非CPU和AI加速器的簡單堆疊，而是實現(xiàn)了深度配合，讓CPU和NPU相得益彰。

Cortex-A320可以為Ethos-U85提供更高的內存容量與帶寬，讓大模型在Ethos-U85上的執(zhí)行如虎添翼。任何開發(fā)者們不希望在Ethos-U85上運行的AI操作，可以回退到Cortex-A320，利用其Neon/SVE2引擎更靈活有效地在CPU上執(zhí)行。這使智能物聯(lián)網(wǎng)與消費類電子生態(tài)系統(tǒng)能夠在正確的時間，并在合適的地方運行最適合的工作負載。在Arm看來，這一創(chuàng)新將推動邊緣AI領域在未來多年內的持續(xù)發(fā)展。

目前，全新Armv9邊緣AI計算平臺已獲得亞馬遜云科技(AWS)、西門子和瑞薩電子等多家行業(yè)領先企業(yè)的支持。以AWS為例，AWS IoT Greengrass是一個開源的邊緣執(zhí)行程序和云服務，用于構建、部署和管理設備端軟件。目前，該邊緣執(zhí)行程序已經(jīng)能夠在眾多基于Arm架構的設備上運行，并支持遠程部署、管理和持續(xù)優(yōu)化AI功能。在云邊協(xié)同服務的場景下，安全性至關重要。因此，Armv9的安全特性成為物聯(lián)網(wǎng)服務成功落地，以及為終端用戶創(chuàng)造價值的關鍵創(chuàng)新。

二、Cortex-A320：首個專為物聯(lián)網(wǎng)應用優(yōu)化，基于Armv9架構的超高能效CPU

聚焦物聯(lián)網(wǎng)設備的邊緣AI能力時，此次全新發(fā)布的基于Arm架構的Cortex-A320為物聯(lián)網(wǎng)帶來了先進的AI功能和開發(fā)者優(yōu)勢，將Armv9架構的功能擴展到高能效設備，并提供全面的軟件支持。

Cortex-A320充分發(fā)揮了Armv9架構的優(yōu)勢，如針對ML性能的SVE2。相較于前代產品Cortex-A35，Cortex-A320的ML性能提升了十倍，標量性能提升了30%。

其所采用的Armv9.2架構還為最小的Cortex-A設備帶來了高級的安全功能，例如指針驗證(PAC)、分支目標識別(BTI)和內存標記擴展(MTE)。這些功能至關重要，因為邊緣設備通常在暴露的環(huán)境中運行并處理敏感數(shù)據(jù)。

Cortex-A320支持廣泛的邊緣AI應用類型，從入門級通用MPU、智能揚聲器、軟件定義智能攝像頭，到工廠車間內的自動駕駛車輛、自動化邊緣AI助手、AI人機界面和機器人控制器，Cortex-A320可在廣泛的應用中發(fā)揮上述優(yōu)勢。除邊緣AI應用外，Cortex-A320還可惠及包括智能手表和智能可穿戴設備，以及服務器基板管理控制器(BMC)等基礎設施設備在內的眾多關鍵細分市場。

三、強大的軟件生態(tài)支持

邊緣AI普及面臨的最主要障礙之一是軟件開發(fā)和部署的復雜性，為此，Arm將Arm Kleidi擴展到物聯(lián)網(wǎng)。作為一套面向AI框架開發(fā)者的計算庫，旨在優(yōu)化基于Arm CPU的AI和ML工作負載，無需開發(fā)者額外操作。KleidiAI已集成到常見的物聯(lián)網(wǎng)AI框架中，如Llama.cpp和ExecuTorch或LiteRT（通過XNNPACK），加速了Meta Llama 3和Phi-3等關鍵模型的性能。例如，在Llama.cpp上運行微軟的Tiny Stories數(shù)據(jù)集時，KleidiAI為新的Cortex-A320帶來了高達70%的性能提升。

可以說，軟件生態(tài)一直是Arm的聚焦重點之一。過去幾年中，Arm在IoT標準化方面推出了Arm SystemReady，旨在不同的IoT平臺上可以支持各種主流軟件和操作系統(tǒng)，確?！伴_機即用”。Arm SystemReady項目在全球的推廣非常成功，目前已經(jīng)累計頒發(fā)了超過了160張認證。在中國市場，去年11月Arm攜手中科創(chuàng)達成立了中國大陸首個Arm SystemReady Devicetree合規(guī)實驗室。該實驗室融合了中科創(chuàng)達在操作系統(tǒng)和工程方面全方位的專業(yè)能力，以及Arm經(jīng)過全球驗證的SystemReady項目，為芯片廠商、OEM/ODM 廠商 、系統(tǒng)集成商提供端到端的測試和技術支持服務，為智能設備啟動固件的標準化，加速萬物智能互聯(lián)時代的到來。

小結

展望未來，AI的發(fā)展趨勢將繼續(xù)轉向邊緣側，而全新Arm邊緣AI計算平臺將成為新一輪物聯(lián)網(wǎng)創(chuàng)新的催化劑。Armv9架構的特性、先進的AI功能和全面軟件支持的結合，為OEM廠商和開發(fā)者創(chuàng)造了新的可能性。隨著技術的不斷演進，我們也期待Armv9邊緣AI計算平臺能持續(xù)推動邊緣AI的廣泛應用和創(chuàng)新。