作者:彭昭(智次方創始人、云和資本聯合創始合伙人)
這是我的第354篇專欄文章。
前幾篇文章,我們不斷探討小模型(SLM)在端側和邊緣側的崛起?,F在,邊緣側小模型已然成為不可忽視的發展趨勢。
AI模型猶如軟件,需要硬件作為載體方能發揮作用。
面對邊緣AI的迅猛發展,我們不禁要問:邊緣硬件是否已經做好準備了?
生成式AI模型要落地應用,離不開邊緣硬件的支撐。對開發者和最終用戶而言,邊緣硬件就是駕馭AI的利器。
一個優秀的硬件“工具”,如同一柄削鐵如泥的神兵,若能遇到善加利用的主人,定能所向披靡,威力驚人。
如今,邊緣設備的算力與日俱增,從過去的幾個TOPS@INT8(每秒可執行數兆次八位整數運算),躍升至數十TOPS的量級。這意味著邊緣硬件即使在斷網狀態下,也能獨立完成SLM的推理任務,大大拓寬了應用場景。
伴隨SLM的發展,多家企業紛紛推出針對SLM優化的邊緣智能開發板。尤其值得關注的是,在上周,英偉達發布了令人矚目的新品,將邊緣硬件的性能和性價比推向了新的高度。
12月17日,英偉達CEO黃仁勛在發布的視頻中,從烤箱端出最新“烹飪”的全新邊緣開發套件Jetson Orin Nano Super。
這款“邊緣AI大腦”不僅性能更為強勁,售價更是直降一半,僅需249美元(人民幣2000元以內)。這無疑將掀起邊緣AI的一場革命。
這一產品的問世,不僅將會掀起一場全球范圍內的邊緣AI開發板大戰,也為中國企業在邊緣AI領域的發展提供了難得的機遇。
本文將從英偉達新品的特點、邊緣AI開發板的競爭格局、中國企業的機遇與挑戰等角度,深入探討這場邊緣AI革命的意義與影響。
讓我們做好準備,一起迎接即將來臨的端側AI、邊緣AI硬件的“寒武紀”物種大爆發階段。
在介紹英偉達新品之前,有必要明確端側AI和邊緣側AI硬件所涵蓋的范圍相當廣泛,從數十元到數百萬的解決方案任選,可謂豐儉由君,應有盡有。
廣義而言,凡是無需聯網即可完成AI推理任務的硬件,都應歸入邊緣AI的范疇。相較端側,邊緣側對算力和功耗的要求更高。業界普遍認為,AI工業電腦、嵌入式設備、電池供電的可穿戴設備以及服務機器人等,都屬于邊緣側AI的典型應用。
當然,面向這些邊緣AI設備的解決方案也是形態各異,包括微處理器(MPU/SoC)開發板、類樹莓派型開發板、TPU加速棒等,當然也包括黃仁勛此次端上的“佳肴”:Jetson Orin Nano Super開發套件。
這款全新發布的產品是Jetson Nano系列的升級版,堪稱目前該系列中“性價比之王”。在性能大幅提升的同時,售價卻直降一半,僅需249美元(人民幣2000元以內)。
與前代產品相比,Nano Super的AI推理性能提高了1.7倍,整體性能飆升70%,達到驚人的67 TOPS@INT8。此外,Nano Super的內存帶寬增加至102GB/s,較前代提升50%:CPU頻率也從1.5GHz升至1.7GHz:而整機尺寸卻只有一個手掌大小,功耗僅需25瓦。
Jetson Orin Nano Super支持同時調用多達四個攝像頭,并提供比前代更高的分辨率和幀率。性能的全面升級,將為主流生成式AI模型和基于Transformer的計算機視覺算法帶來顯著增益。
這款革命性的AI開發套件,將讓機器人、工業自動化領域的開發者以及各行各業的硬件工程師,無需連接云平臺,即可在邊緣側實現高效AI運算,大幅降低成本和延遲。
在談到英偉達新品的同時,我們還需要關注美國對華芯片限制令可能帶來的影響。
就在新品發布隔日,12月19日,美國商務部要求英偉達調查該公司產品在過去一年中流入中國大陸的情況。
然而,查閱美國商務部工業和安全局(BIS)發布的額外出口管制規定可以發現,ECCN 3A090項下的相關注釋明確指出,非數據中心類且TPP未超過4800的芯片不在該項管制范圍內。這意味著絕大多數用于筆記本電腦、智能手機和游戲機等消費電子產品的芯片不受影響。
因此,英偉達Jetson系列產品可以通過正常渠道在中國銷售。這款新品的推出,必將點燃更多創新開發者和應用企業的熱情。
英偉達新品的問世,勢必引發一場AI開發板的激烈角逐。
市面上與Jetson Orin Nano相似的產品不在少數,各家都聲稱自己的算力高、性能強。曾有國外開發者對當時最熱門的三款AI開發板進行了橫向對比,分別是樹莓派+英特爾神經網絡計算棒、英偉達Jetson Orin Nano和Google Coral。
結果發現,沒有任何一款開發板能夠達到官方宣稱的最高效率。
測試之后,這名開發者還很可愛的透露:This post is sponsored by Coral from Google。可見谷歌也是相當“心大”,認可這份客觀中立、至少沒被打臉的測試結果。
無論哪家產品更勝一籌,對開發者而言,高性價比、算力強勁的AI開發板時代已經到來。今后,再也沒有“算力昂貴、難出佳作”的借口了。
由此,圍繞邊緣AI的最新“安迪-比爾定律”之爭也拉開了帷幕。這一定律曾為IT產業創造了一種完美模式:What Andy gives,Bill takes away。如今,這一法則正在邊緣AI領域重演。
除了本次新品,英偉達還計劃在2025年推出Jetson Thor,以爭奪更大的AI硬件市場份額:而OpenAI則計劃在2025年1月發布能夠獨立執行任務的AI代理Operator。
這對“準安迪-比爾”的持續迭代,不僅推動了AI技術的進一步成熟,也將重塑未來智能設備的功能和應用場景。
在上篇文章《2025智能代理大戰來襲,2026智能代理+Web3觸發萬物經濟》中,我曾介紹OpenAI的AI代理Operator不僅在技術上具備自主性,在功能設計上也充分考慮了多樣性,能夠控制計算機并獨立執行任務。與之呼應,英偉達則致力于通過硬件平臺為智能機器人賦能,二者形成了互補之勢。
在本次邊緣AI開發板的大戰中,中國企業有望占據一席之地。
這一預測既基于中國在芯片制造領域的快速進步,也得益于中國企業在當前“安迪-比爾定律”重構中的積極參與。
根據12月10日中國海關總署發布的最新數據,2024年前11個月,中國集成電路出口額突破萬億元大關,同比增長20.3%。這一里程碑式的成就,標志著中國在芯片研發、生產與制造領域的能力已經上升到一個新的高度。
經歷了6年的貿易戰考驗,中國已于2023年成為全球最大的芯片生產國,為中國企業參與邊緣AI硬件的競爭奠定了堅實基礎。
在新一輪“安迪-比爾定律”的演進中,中國企業正積極布局。一方面,中國企業可以充分利用自身在芯片制造領域的優勢,為邊緣AI開發板提供高性價比的核心組件:另一方面,中國企業也在加大研發投入,致力于打造性能卓越、功能豐富的邊緣AI開發板產品。
除了參與邊緣AI開發板的爭奪戰之外,英偉達新一代邊緣AI開發套件Jetson Orin Nano Super的發布,為中國企業在邊緣AI領域的發展提供了難得的機遇。
這款高性價比的產品,不僅讓更多開發者有機會接觸和應用AI技術,也為中國企業在硬件制造與AI服務整合方面開辟了新的可能性。
回顧過去數十年的國際分工,中國在硬件制造領域積累了顯著的比較優勢。然而,這種“硬件強、軟件弱”的非均衡發展模式,導致內需不足、服務業滯后等問題日益凸顯。而邊緣AI硬件的興起,恰恰為打破這一困局提供了契機。
邊緣AI硬件的特點在于,它將強大的AI運算能力與物理設備緊密結合,使得智能化服務能夠在本地實時交付。
這意味著,中國企業可以充分發揮自身在硬件設計和制造方面的優勢,同時通過邊緣AI實現服務能力的跨越式提升,最終實現制造業和服務業的均衡發展。
以服務機器人為例,它集成了先進的AI算法和傳感器技術,能夠根據用戶需求和環境狀況提供個性化、智能化的交互服務。毛茸茸的AI機器寵物、貼心的家庭陪伴機器人、懂人心的智能眼鏡等,都是邊緣AI服務設備的典型應用場景。這些創新產品的問世,將極大地豐富人們的生活體驗。
中國擁有完善的電子制造業供應鏈和龐大的消費市場,這為邊緣AI硬件的規?;a和應用提供了得天獨厚的條件。
如果中國企業能夠抓住這一機遇,積極布局邊緣AI硬件領域,不斷強化技術研發和產品創新能力,就有望在全球邊緣AI市場中占據一席之地,并帶動服務業的轉型升級。
不過,要真正實現“硬件+服務”的協同發展,中國企業還需要在以下幾個方面進行深入探索和實踐:
加強研發投入。邊緣AI的競爭歸根結底是技術的競爭。中國企業要在算法模型、芯片設計、傳感器集成等方面加大研發力度,突破關鍵核心技術,提升產品的智能化水平和性能表現。
深化產業鏈協同。邊緣AI硬件的研發和生產涉及芯片、算法、傳感器、結構件等多個環節,需要產業鏈上下游企業的緊密協作。中國企業要充分發揮產業集群優勢,建立健全的協同機制,提升供應鏈的效率和柔性。
創新商業模式。單純的硬件銷售很難獲得豐厚利潤,中國企業需要探索“硬件+服務”的創新商業模式??梢钥紤]通過硬件產品獲取用戶和數據,再通過軟件服務實現商業變現:或者針對特定行業提供端到端的整體解決方案,充分挖掘客戶需求。
培育開發者生態。邊緣AI的應用開發離不開廣大開發者的積極參與。中國企業要通過開放平臺、開發工具、社區活動等方式,積極培育開發者生態,激發開發者的創造力,共同豐富邊緣AI的應用場景。
注重隱私保護。邊緣AI的普及應用將產生大量的用戶數據,這對數據安全和隱私保護提出了更高要求。中國企業要嚴格遵守相關法律法規,加強數據全生命周期管理,增強用戶信任。
積極參與標準制定。邊緣AI尚處于起步階段,相關標準和規范亟待建立。中國企業要積極參與國際標準化組織的工作,爭取在關鍵技術領域掌握更多話語權,為邊緣AI產業的健康發展貢獻力量。
只有在技術、產品、服務、生態、安全等多個維度形成差異化優勢,中國企業才能在激烈的邊緣AI競爭中搶得先機。
英偉達最新發布的邊緣AI開發套件Jetson Orin Nano Super,以其強大的性能和超高的性價比,重新定義了邊緣AI的可能性。
這一產品的問世,不僅掀起了一場全球范圍內的邊緣AI開發板大戰,也為中國企業在邊緣AI領域的發展提供了契機。中國企業可以充分利用自身在硬件制造領域的優勢,同時通過邊緣AI實現服務能力的跨越式提升,最終實現制造業和服務業的均衡發展。
參考資料:
開發者如何選擇Edge AI開發方案,作者:Jack OmniXRI,來源:歐尼克斯實境互動工作室(OmniXRI)The Future is here: NVIDIA’s Pocket-Sized Supercomputer is set to Transform AI,來源:Edge Middle EastBenchmarking Edge Computing - Comparing Google, Intel, and NVIDIA accelerator hardware,作者:Alasdair Allan,來源:Medium