近日，Arm 宣布推出針對視覺應用設備的 Arm? 智能視覺參考設計，首次將 Arm 現有子系統 IP 與第三方 IP整合，其硬件參考設計包括 CPU、ISP、NPU、VPU 處理器選項，以及將這些元件粘合在一起的子系統 IP。值得一提的是，其中的VPU、NPU由安謀科技提供。據安謀科技智能物聯及汽車業務線負責人趙永超介紹：“Arm 智能視覺參考設計通過集成安謀科技‘玲瓏’VPU 和‘周易’ NPU，并由安謀科技將 Arm IP 與安謀科技自研 IP 進行集成和驗證，可進一步滿足國內客戶在不同場景下的差異化視頻處理需求，提高機器學習與視頻處理工作時的負載表現，從而加速視覺應用產品的創新落地。”
此外，Arm 還宣布了“Arm 智能視覺合作伙伴計劃”，聯合軟件、硬件、系統集成商伙伴，加速視覺應用設備的開發。目前已有十余家來自智能物聯網的芯片設計、系統集成、AI 算法、開發平臺等國內領先企業加入該項計劃。
智能未來“視”不可擋
人類的智慧體現在可以通過感知、思考和行動來改變世界。首先，人類通過感官接收外界的信息和刺激，識別模型并建立對世界的認知，進而形成信息系統。隨后，人類通過思考加工和處理感知到的信息，從而形成理解和見解，幫助人們解決問并做出決策，這就是模型系統。最終，行動使人類能夠將感知和思考轉化為實際的動作，逐步改變自然和社會環境，推動科學技術的進步、文明的發展和社會的演變。
長久以來，隨著算力的飛速提升，加之模型的不斷演進，使得原本專屬于人類的感知、思考和行動能力實現了向機器的轉移，而每一個能力轉移的拐點都將產生新范式。例如，在20 世紀末期，谷歌、百度等公司使信息的生產和獲取成本從邊際成本轉向固定成本，開啟了互聯網時代的新范式。如今，站在思考和模型構建從人類轉向機器的拐點，以OpenAI為代表的企業正在推動模型產生的成本從邊際成本轉化為固定成本，而這一拐點也勢必助推模型的極大豐富，并加速下一個拐點的到來，人機交互的模式將被重新定義。
而在模型和行動無處不在的新時代，智能視覺將變得必不可少。因為機器系統必須通過視覺等感官理解周圍環境，做出相應的決策和行動，例如，視覺信息為自動駕駛和機器人提供了關鍵的安全和避障能力，機器視覺可以通過捕捉人類的表情、手勢和動作，從中理解人類的意圖和情感，改善 AI 與人類的溝通和合作。
可以說，智能視覺技術對智慧家居、智慧城市、智慧零售和智能制造等領域的重塑與升級將日益加深——
在智能家居領域，除了安全監控、智能門禁和個性化的家庭環境體驗外，在國內人口老齡化的趨勢下，老人看護需求不斷提升，而智能視覺技術作為如今智能攝像頭的基礎功能支撐，可以幫助用戶實現老人室內活動監測、睡眠質量監測、異常情況報警等功能。
在智慧城市領域，我國已經率先將視覺技術應用于城市安全監控和智能交通管理方面，同時，智能視覺技術還可以應用于智能化的垃圾處理和回收，達到綠色環保的目的。
在智慧零售領域，通過智能攝像頭和視覺分析技術，可以實現人流統計和行為分析，有助于優化商店布局，推廣策略和服務響應，提升顧客體驗和銷售效益。
在智能制造領域，智能視覺技術在監測和質量控制、自動化導航和定位、工藝控制和輔助操作等方面都具有廣泛的應用，可以提高生產線的效率、質量和安全性。
面向智能視覺技術的快速發展，Arm 物聯網事業部業務拓展副總裁馬健分享了其觀察到的重要趨勢。
首先是云-邊-端的協同，由于視頻數據的規模龐大，再加上自動駕駛等應用對實時性提出更高要求，因此智能視覺系統需要將計算和決策任務分布在云、邊和終端設備上，實現協同工作。
其次是 AI 加持，未來智能視覺系統將繼續依賴深度學習模型和神經網絡，提高圖像和視頻數據的分析和識別能力，并利用強化學習和自主自適應學習，使系統能夠從環境中不斷學習和改進，并適應新的場景和任務。
第三是智能視覺系統需要準確和高質量的圖像處理，以支持更高效的特征提取、目標跟蹤和檢測、圖像分析和理解以及圖像的生成和合成。
第四是算力支持，復雜的模型和算法、大規模圖像數據處理對實時性、高精度、高并發的要求，使得智能視覺系統需要越來越強大的計算資源和算力支持。
此外，智能視覺系統廣泛應用引發了對隱私和安全的關注，馬健認為，未來的趨勢是采用加密匿名化等技術手段保護用戶的隱私，同時加強系統的安全性，防止被惡意攻擊和濫用。
與安謀科技強強聯合
在技術快速發展、應用規模化落地的過程中，智能視覺芯片架構經歷了一系列的演進，從功能固定難以編程的DSP和ASK，到通用性強易編程的CPU架構，再到如今最先進的綜合CPU、ISP圖像處理器、NPU AI加速器、VPU視頻編解碼器、GPU圖形處理器的異構SoC片上系統，已經逐步實現了低功耗、高性能和高度集成，適用于資源受限的邊緣設備，例如智能手機、攝像頭、機器人和物聯網設備等。
而作為全球領先的半導體IP供應商，Arm已經在智能攝像頭市場以九成以上的市占率獨占鰲頭，如今又面向中國市場發布 Arm 智能視覺參考設計，選用 Arm 廣泛應用于智能視覺領域的處理器和系統 IP，構建出了相對標準化的IP組合，并經過預先驗證，輔以該子系統的 Arm虛擬硬件、參考軟件棧，形成了設計智能視覺系統的堅實的系統技術平臺，使創新者們不需要從零開始，可以專注于產品的差異化性能開發，并快速將自己的想法轉化為產品并推向市場，顯著降低芯片開發的成本和風險，并大幅度縮短研發周期。同時，由于這種參考設計是半成品，Arm也可以根據應用的需求集成第三方 IP，給予客戶足夠的靈活性和選擇，以支持差異化創新。
具體來看，Arm 智能視覺參考設計包括：
Arm Corstone?-1000：整合 Cortex-A、Cortex-M 處理器與內建安全性，為不同應用在受限的功耗范圍內提供效率及高性能。
Arm Corstone-300：為機器學習工作負載提供“永遠在線”的低功耗子系統。
Arm Mali?-C55 圖像信號處理器 (ISP)：在極小的芯片面積條件下，提供可配置、高能效、高性能的圖像質量。
來自安謀科技的第三方 IP 在視頻和機器學習能力方面提供更多選項，其中，“玲瓏”V5 視頻處理器支持緊湊的、多格式 (例如H.264, H.265) 且高效能的視頻編解碼處理;“周易” NPU為廣泛的機器學習用例提供高達 4TOPS 的性能表現，并且支持業界主流的 AI 規模框架，例如 Tensorflow、Caffe、ONNX、Pytorch 等。
此外，生態伙伴可借由 Arm 虛擬硬件 (Arm Virtual Hardware, AVH) 的形式獲取 Arm 智能視覺參考設計的虛擬模型，助力軟件開發者在芯片完備前先著手開發并優化代碼。該參考設計具備可信任的底層 IP 技術，在增強安全、可移植性與兼容性方面，已取得 Arm SystemReady? IR 與 PSA Certified Level 2 等重要的業界標準認證。
如今，生成式AI、大語言模型的熱度高燒不退，拉動相關的技術與應用快速發展。正如Arm 物聯網事業部業務拓展副總裁馬健所言，隨著 AI 和大模型一日千里的發展，智能視覺技術將繼續在所有垂直行業得到更廣泛的應用，視覺將無處不在。在視覺成為一種普世能力的趨勢下，預先集成、預先驗證的標準化子系統會為加速視覺產品設計和創新提供堅實的基礎，這也是 Arm 和安謀科技攜手為中國市場打造智能視覺參考設計的初衷。
