DeepSeek的爆火，再次給“人工智能+”注入了強大力量，物聯(lián)網(wǎng)產(chǎn)業(yè)界也高度關(guān)注這一領(lǐng)域的發(fā)展。具有高級自然語言處理能力的大語言模型（LLM）為業(yè)界帶來很多好處，將其集成到物聯(lián)網(wǎng)系統(tǒng)中，可以有效發(fā)揮改進用戶交互、增強的數(shù)據(jù)分析和上下文感知服務(wù)的能力，讓物聯(lián)網(wǎng)系統(tǒng)的智能化和交互體驗得到大幅提升。隨著大模型的發(fā)展，應(yīng)用場景需求不斷拓展，IoT-LLM之間如何融合互動成為一個重要研究方向。從當前初步探索看，IoT-LLM融合呈現(xiàn)雙方互為驅(qū)動的兩個方向。
方向一：以大模型賦能物聯(lián)網(wǎng)場景豐富AIoT生態(tài)，但挑戰(zhàn)也非常明顯
大模型可以理解和處理復(fù)雜的人類語言，使物聯(lián)網(wǎng)設(shè)備更加用戶友好，并能夠智能地響應(yīng)語音命令和文本輸入。目前，大量廠商在多個場景中開始探索，例如，將大模型用于智能家居中的語音激活控制和個性化用戶體驗，工業(yè)物聯(lián)網(wǎng)中的預(yù)測性維護、異常檢測和報告分析，醫(yī)療健康物聯(lián)網(wǎng)中的患者監(jiān)控和實時數(shù)據(jù)分析。此外，也有廠商基于大模型，通過智能聊天機器人和虛擬助理來增強客戶服務(wù)，為用戶提供及時和上下文相關(guān)的信息。隨著物聯(lián)網(wǎng)廠商的不斷探索，大模型的集成將在推動創(chuàng)新和提供更智能、響應(yīng)更迅速、更高效的物聯(lián)網(wǎng)解決方案方面發(fā)揮至關(guān)重要的作用。
結(jié)合物聯(lián)網(wǎng)“云-邊-端”的架構(gòu)，前期探索中均實現(xiàn)了大模型在“云-邊-端”側(cè)有相關(guān)的部署方案和案例。
物聯(lián)網(wǎng)云平臺已加快部署，例如，日本物聯(lián)網(wǎng)虛擬運營商Soracom宣布推出服務(wù)，將大模型更深入地嵌入物聯(lián)網(wǎng)連接和服務(wù)平臺中，來加速更大、更復(fù)雜物聯(lián)網(wǎng)項目的部署，這兩項服務(wù)分別是Soracom Flux和Soracom Query Intelligence，前者是一個低代碼應(yīng)用構(gòu)建器，通過定義傳感器、攝像頭、執(zhí)行器、GenAI引擎和云之間的數(shù)據(jù)流，讓即使是非技術(shù)用戶也可以實時構(gòu)建集成人工智能的物聯(lián)網(wǎng)應(yīng)用，后者通過自然語言網(wǎng)絡(luò)數(shù)據(jù)分析簡化大型物聯(lián)網(wǎng)部署的管理。無源物聯(lián)網(wǎng)領(lǐng)域知名創(chuàng)業(yè)企業(yè)Wiliot去年也宣布發(fā)布首個生成式人工智能聊天機器人WiliBot，通過這一對話機器人，客戶可以問答的形式查詢他們的產(chǎn)品和供應(yīng)鏈狀況，例如，向WiliBot提問：該產(chǎn)品的保質(zhì)期是多久？它是如何到達商店的？下一步我應(yīng)該采購哪種產(chǎn)品，原因是什么？儲存這種物品安全嗎，為什么？該產(chǎn)品的碳足跡是多少，是什么因素導(dǎo)致它如此之高或如此之低？
邊緣側(cè)和端側(cè)大模型部署是當前的熱點，通過裁剪、蒸餾等技術(shù)，實現(xiàn)大模型能夠在邊緣側(cè)和端側(cè)部署，或者采用輕量化的小模型。例如，高通公司加速推動AI在端側(cè)落地，已推出面向PC、手機、汽車、XR等終端的產(chǎn)品；美格智能、廣和通等物聯(lián)網(wǎng)模組廠商也推出了AI模組，模組中集成了CPU\GPU\NPU等多種計算單元，可進行通用計算和異構(gòu)計算，用于零售、汽車、云服務(wù)器、無人機、機器視覺等場景；多家智能家居企業(yè)也推動大模型或小模型在家居終端和網(wǎng)關(guān)等邊緣設(shè)備的部署。
然而，將大模型集成到物聯(lián)網(wǎng)尤其是端側(cè)涉及多個挑戰(zhàn)，包括大模型所需的計算能力和能耗，這可能會使物聯(lián)網(wǎng)設(shè)備的有限資源緊張；在平衡邊緣和云計算時，實時處理需求帶來了延遲問題；鑒于物聯(lián)網(wǎng)數(shù)據(jù)的敏感性和大模型易受惡意攻擊的脆弱性，確保數(shù)據(jù)隱私和安全至關(guān)重要；確保跨不同物聯(lián)網(wǎng)平臺的兼容性和集成增加了復(fù)雜性；實施和持續(xù)運營的高成本使集成變得更加復(fù)雜。應(yīng)對這些挑戰(zhàn)需要人工智能、硬件、軟件和網(wǎng)絡(luò)安全的進步，才能釋放大模型增強物聯(lián)網(wǎng)系統(tǒng)的全部潛力。
其中，針對在資源受限的物聯(lián)網(wǎng)環(huán)境中減少大模型訓練、微調(diào)和推理的計算和內(nèi)存占用的優(yōu)化，以及針對在邊緣或設(shè)備端部署大模型進行優(yōu)化，以減少推理延遲并提高物聯(lián)網(wǎng)應(yīng)用中的實時處理能力，是當前物聯(lián)網(wǎng)領(lǐng)域擁抱大模型需要破解的突出難題。
眾所周知，低功耗廣域網(wǎng)絡(luò)（LPWAN）和無源物聯(lián)網(wǎng)讓資源極度受限的終端能夠?qū)崿F(xiàn)連接，使得萬物互聯(lián)網(wǎng)成為現(xiàn)實，目前很多輕量化的物聯(lián)網(wǎng)終端，僅有MCU單元，計算能力非常有限，那么，為實現(xiàn)萬物智能，是否需要更加輕量級的AI模型？目前，已有TinyML來實現(xiàn)低功耗物聯(lián)網(wǎng)終端的智能化部署，大模型能夠輕量化到什么程度？能夠覆蓋這些資源極其受限的終端上嗎？這個可能是未來研究的重要方向。
方向二：以物聯(lián)網(wǎng)對現(xiàn)實世界的真實反映，增強大模型推理能力
南洋理工大學和南京大學的研究人員此前發(fā)表的一篇論文指出，大模型在文本和視覺領(lǐng)域表現(xiàn)出非凡的能力，但經(jīng)常產(chǎn)生違反物理規(guī)律的輸出，揭示了它們對物理世界的理解存在差距。受人類認知的啟發(fā)，研究人員探索使用物聯(lián)網(wǎng)傳感器數(shù)據(jù)和物理世界中物聯(lián)網(wǎng)任務(wù)推理的相關(guān)知識來增強大模型的感知能力，最終實現(xiàn)較好的效果。
研究人員首先提出，處理密集的數(shù)據(jù)和復(fù)雜的時間序列輸入是大模型面臨的重大挑戰(zhàn)，因為它們無法捕捉上下文，它們無法在不同的環(huán)境中進行歸納，而這是現(xiàn)實世界中有效推理能力所必需的特征。例如，在像Chat-GPT 4這樣的大模型中，在處理原始物聯(lián)網(wǎng)數(shù)據(jù)后，僅實現(xiàn)了40%的活動識別準確率和50%的機器診斷準確率。
研究團隊提出了一個IoT-LLM框架，從而使用三步定制方法增強大模型在監(jiān)控真實世界場景中的推理能力。
第一步是預(yù)處理：將原始物聯(lián)網(wǎng)數(shù)據(jù)預(yù)處理成大模型易于理解的格式，這個過程簡化和豐富了數(shù)據(jù)，為大模型提供了更多的上下文。
第二步是常識知識激活：在這個步驟中，使用了思維鏈提示，以便更好地推理和解釋處理過的數(shù)據(jù)，復(fù)雜的任務(wù)被分解成更容易處理的任務(wù)，反映了人類的認知思維。在這些大模型中使用了固有的常識，并且專門的角色定義指導(dǎo)模型更好地理解上下文。
第三步是面向物聯(lián)網(wǎng)的檢索增強生成：在這一步中，大模型使用檢索增強生成模型來動態(tài)檢索特定于上下文的理解，該模型可以有效地使用當前上下文和先前獲得的知識，這種結(jié)合有助于快速適應(yīng)物聯(lián)網(wǎng)環(huán)境的實時變化。
這三個步驟的集成提高了大模型的能力，其中所有三個步驟的改進使任務(wù)準確度比使用其他傳統(tǒng)模型可達到的準確度高65%。總體來看，新的LLM-IoT框架解決了物聯(lián)網(wǎng)環(huán)境下的任務(wù)推理能力問題，尤其是優(yōu)化了大模型在處理物聯(lián)網(wǎng)數(shù)據(jù)方面的缺點，提升了大模型的推理能力。
總體來看，IoT-LLM融合沿著大模型賦能物聯(lián)網(wǎng)和物聯(lián)網(wǎng)賦能大模型兩個方向。未來，物聯(lián)網(wǎng)終端數(shù)規(guī)模依然會實現(xiàn)快速增長，在萬物互聯(lián)的基礎(chǔ)上，努力推動萬物智能的實現(xiàn)。
