自DeepSeek面世以來,AI大模型開始以極快的迭代速度進行更新,其應用向千行百業加速席卷。DeepSeek橫空出世展現出的“開源開放、高效推理、端側友好”核心優勢,更是點亮了端側AI的落地前景。
在生成式AI的云端智能到端側AI本地智能落地的漫長技術周期里,DeepSeek的出現讓端側智能不再受限于硬件算力與能效,大模型通過蒸餾技術重構的小模型在端側部署的可行性大增。
在端側AI上下游,廠商們不斷探索著硬件平臺、端側算法、模型優化與場景落地的協同,探索著如何將智能帶到終端設備。當然,在以DeepSeek為代表的大模型的加持下,賦予終端設備本地智能仍然不是一件一蹴而就的事情。如何在更小的模型參數量里實現更智能的推理,如何平衡終端設備能效比等等問題,仍舊需要軟硬件協同的不斷打磨來解決。
對于端側AI的發展,物聯網智庫此前給出的判斷是產業已處在爆發前夕。移遠通信也對端側AI的大規模推進持積極態度。在不久前移遠通信端側AI專場直播上,其產品經理表示,得益于小模型性能的增強以及算力平臺的完善,端側AI正在加速落地。
從模型發展來看,去年,AI手機、AI PC上已經開始應用7B左右的端側小模型做落地嘗試,不過彼時模型能力有限,現在3-4B規模的端側小模型推理能力已經可以媲美去年7B左右模型。在DeepSeek興起后,基于MoE架構和優質模型蒸餾重構出的細分小模型,解決了小模型在Self-play學習中的不足,推理能力更強,也更便于在端側部署。
借用移遠通信直播中的表述,“DeepSeek的突破是一次面向產業痛點的工程范式升級,為AI推理開辟了‘少即是多’的新路徑”。對于端側AI來說,這意味著AI能夠在計算資源有限的終端設備上運行,從大模型到端側設備,AI開始具備無縫擴展的能力。利用MoE架構推動模型向端側發展,將會是未來明確的趨勢。
移遠通信基于其高算力AI智能模組SG885G,實現了DeepSeek模型的穩定運行,并完成了針對性微調,同時將其融合到移遠大模型解決方案中,為客戶提供更精準、更高效的端側AI服務。這些舉措不僅體現了移遠通信在端側AI領域的深度布局,更體現了其領先的工程化能力。
不僅是DeepSeek,移遠通信在大模型技術上還在不斷開拓,其端側大模型解決方案融合前沿的LLM(大語言模型)、RAG(檢索增強生成)與Agent(智能體)等業界主流技術。通過針對特定應用場景對模型進行微調,并合理調度多個模型資源,移遠端側大模型解決方案已滿足商用條件,助力終端廠商快速應用前沿AI技術,為硬件終端賦予本地智能。
AI如何在端側落地生根,讓終端設備真正“智能”起來。隨著模型的不斷優化改進,其在泛化性上已經有了較大提升,能夠在保證端側模型輕量化的同時,適應端側場景的復雜多變。而在端側場景硬件算力不一和能效問題上,則需要適配的AI算力模組來解決。
對終端廠商來說,探索如何將模型技術應用到自身產品中并不容易,終端硬件廠商在AI能力上參差不齊,為了縮短AI融合應用的上市時間,需要物聯網整體解決方案供應商為他們提供高效便捷的全棧AI能力,并針對具體需求做相應定制化的開發。
目前,移遠通信主推的搭載高通QCS8550平臺的高性能AI算力模組SG885G,成功實現了DeepSeek-R1蒸餾小模型的穩定運行,生成Tokens的速度超過每秒40個,且隨著性能的不斷優化,速度還在進一步提升。這款AI算力模組主打高算力、高性能,同時支持Linux、Android、Ubuntu等各種操作系統,在高端機器人等端側算力需求較大的場景中,能夠輕松滿足相關算力需求。
對于在計算能效上要求嚴苛的應用,移遠通信也能提供12 TOPS算力的SG560D,滿足需要兼顧算力、成本和功耗的端側應用。同時,搭載紫光展銳UIS7885平臺的SG530C也兼顧算力、成本和功耗。
從基礎的人臉識別、到工業視覺質量檢測、到機器人等各種碎片化的應用場景,移遠通信都能提供相應算力硬件,為端側AI落地提供支持。據悉,移遠通信正在規劃更高算力模組,滿足未來端側對算力更大的需求,解決不同終端的多層次的算力需求。
除了AI算力模組,近期移遠通信也發布了面向全球市場的QuecPi Alpha開源智能生態開發板,AI算力高達12 TOPS,充分滿足工業和消費類應用場景下對高速率、多媒體功能及AI算力的需求,加速工業類及消費類智能設備端側智能技術的突破,推動相關應用快速落地。
目前,AI算力模組已經能夠承擔更多計算量,減輕云端服務器的計算負擔。隨著算力模組的進一步擴充完善,更多的計算任務將直接在本地完成,這也意味著更多硬件終端能夠搭載更智能的“大腦”。從智能汽車、機器人到PC、家居、玩具及可穿戴設備等多元化設備,AI算力模組針對不同終端應用的持續優化,將大幅縮短端側智能相關產品的落地周期,越來越多的終端設備將享受到AI技術帶來的變革。
在眾多端側智能應用中,機器人無疑是最具想象力的智能產品,可以說是最能代表前沿科技成果的智能集合體。加之DeepSeek在高質量小模型和多模態推理模型方面上的創新,機器人在商用落地方面已經準備得十分充分。
對于機器人的應用方向,從落地的角度看,商業服務類機器人是通用智能機器人有望最先落地的場景。在大模型技術的賦能下,機器人在情景理解、知識融合、智能交互上實現了顯著增強,這是以往弱交互、弱推理的機器人所欠缺的。模型技術的應用,使機器人能夠快速集成先進的自然語言處理能力,并對信息初步處理與分析,從而在人機交互方面實現大幅優化。
移遠通信的大模型解決方案在機器人上的應用就是很好的例子。在移遠端側大模型解決方案的助力下,服務機器人可實現1s以內的意圖識別,解碼速率超過15 tokens/s。從KWS語音喚醒到VAD人聲檢測,再到ASR語音識別,最后通過TTS語音播報,移遠大模型解決方案在全語音鏈路上實現了無縫銜接與高效運行。
在移遠端側大模型解決方案的幫助下,服務機器人得以準確理解用戶意圖,并以清晰自然的語音進行反饋,在交互體驗和智能服務上遠勝于傳統的服務機器人。該方案展現出了顯著的落地價值,在眾多實際場景中得到了廣泛應用。
在端側AI專場直播中,移遠通信產品經理強調,在機器人方案規劃上,后續會基于控制器,為機器人集成更多外圍感知器件,用多維的感知來不斷賦予機器人更類人的交互能力。交互的前提是充分的感知,移遠通信將借助實時、精準、多維的感知技術,為機器人拓展更多如交互、決策等AI相關功能,充分發揮出端側AI在數據處理、分類、融合的價值,并通過完備的感知能力與擬人化的交互方式,進一步增強機器人的智能化程度。
移遠通信在MWC 2025上推出的全新AI智能無人零售解決方案,正是憑借動態視覺感知與端側識別模型,讓自動售貨機實現了跨越發展,這與通過多維感知不斷賦予機器人更類人的交互能力有著異曲同工之妙。
端側AI大模型技術與機器人的緊密結合,使得機器人在識別任務后,能夠自動拆解出涉及的機器人技能與子技能,并根據給定的最終目標任務,自主地進行從Language到Action的模型構建。在端側AI的助力下,自主編排和執行復雜任務,將成為未來具身智能機器人的發展方向。
隨著端側模型與端側算力平臺持續協同優化,二者將不再是制約智能終端硬件發展的枷鎖。更小、更精、更聚焦垂直領域的端側小模型,開始向各類終端滲透。從高算力到兼顧能效的算力模組,移遠通信針對不同場景對成本、功耗和算力的差異化需求,提供了多樣化的選擇。接下來,針對不同端側應用開發的端側AI解決方案將不斷涌現,這將大幅縮短智能終端的落地周期,促進千行百業的智能化變革。