深度學(xué)習(xí)模型最初的成功歸功于擁有大量內(nèi)存和GPU集群的大型服務(wù)器。深度學(xué)習(xí)的前景催生了一個為深度神經(jīng)網(wǎng)絡(luò)提供云計算服務(wù)的行業(yè)。因此，在幾乎無限的云資源上運行的大型神經(jīng)網(wǎng)絡(luò)變得非常流行，這對于具有充足預(yù)算的科技公司尤其如此。
但與此同時，近年來也出現(xiàn)了另一種相反的趨勢，即為邊緣設(shè)備創(chuàng)建機器學(xué)習(xí)模型。這些被稱為微型機器學(xué)習(xí)(TinyML)的模型適用于內(nèi)存和處理能力有限、互聯(lián)網(wǎng)連接不存在或有限的設(shè)備。
IBM和麻省理工學(xué)院(MIT)聯(lián)合開展的一項最新研究工作解決了卷積神經(jīng)網(wǎng)絡(luò)(CNN)的峰值內(nèi)存瓶頸問題。這是一種深度學(xué)習(xí)體系結(jié)構(gòu)，對計算機視覺應(yīng)用尤其重要。在NeurIPS 2021會議上提交的一篇論文中詳細介紹了稱為一種McUnETV2的模型，該模型能夠在低內(nèi)存和低功耗微控制器上運行卷積神經(jīng)網(wǎng)絡(luò)(CNN)。
1.為什么會出現(xiàn)微型機器學(xué)習(xí)(TinyML)?
雖然云端深度學(xué)習(xí)非常成功，但并不適用于所有情況。事實上，許多應(yīng)用程序往往都需要在硬件設(shè)備上直接完成推理任務(wù)。例如，在一些如無人機救援這樣的任務(wù)環(huán)境中，互聯(lián)網(wǎng)連接是無法保證的。在醫(yī)療保健等其他領(lǐng)域，隱私要求和法規(guī)約束等也使得將數(shù)據(jù)發(fā)送到云端進行處理變得非常困難。對于需要實時機器語言推斷的應(yīng)用程序來說，往返云計算所造成的延遲更是令人望而卻步。
上述所有必需滿足的條件使得機器學(xué)習(xí)設(shè)備在科學(xué)上和商業(yè)上都具有吸引力。例如，iPhone手機現(xiàn)在就有不少運行面部識別和語音識別的應(yīng)用程序，安卓手機也可以直接運行翻譯軟件。此外，Apple Watch已經(jīng)可以使用機器學(xué)習(xí)算法來檢測運動和ECG模式(注：ECG即心電圖一詞electrocardiogram的縮寫，又稱EKG，是一種測試實驗，用于記錄引發(fā)心跳的電信號序列的時間節(jié)點和強度。通過分析ECG圖像，醫(yī)生可以更好地診斷心率是否正常和心臟功能是否存在問題)。
上述這些設(shè)備上的ML模型在一定程度上是由支持神經(jīng)網(wǎng)絡(luò)緊湊、計算和存儲效率更高的技術(shù)進步而實現(xiàn)的。同時由于硬件技術(shù)的進步，這樣的ML模型在移動設(shè)置上的實現(xiàn)也成為可能。現(xiàn)在，我們的智能手機和可穿戴設(shè)備比30年前的高性能服務(wù)器擁有更多的計算能力，有些甚至配置專門的協(xié)處理器來實現(xiàn)機器語言推理。
TinyML將邊緣AI向前推進了一步，使得在微控制器(MCU)上運行深度學(xué)習(xí)模型成為可能，盡管微控制器比我們口袋里和手腕上攜帶的小型計算機還要受限于資源。
另一方面，微控制器價格低廉，平均售價不到0.50美元，它們幾乎無處不在，可以嵌入到從消費行業(yè)到工業(yè)設(shè)備的各個方面。同時，它們沒有通用計算設(shè)備中的資源，而且大多數(shù)都沒有操作系統(tǒng)。微控制器的CPU很小，只有幾百KB的低功耗內(nèi)存(SRAM)和幾兆字節(jié)的存儲空間，而且沒有任何網(wǎng)絡(luò)設(shè)備。它們大多沒有主電源，多年來都是必須使用紐扣電池。因此，在MCU上安裝深度學(xué)習(xí)模型可能為許多應(yīng)用開辟新的道路。
2.卷積神經(jīng)網(wǎng)絡(luò)中的內(nèi)存瓶頸
卷積神經(jīng)網(wǎng)絡(luò)(CNN)的架構(gòu)
為了將深度神經(jīng)網(wǎng)絡(luò)縮小到適合小型內(nèi)存計算設(shè)備的大小，人們已經(jīng)進行了多次努力。然而，這些努力大多集中在減少深度學(xué)習(xí)模型中的參數(shù)個數(shù)方面。例如，“剪枝”便是一種流行的優(yōu)化算法，它通過刪除模型輸出中不重要的參數(shù)來縮小神經(jīng)網(wǎng)絡(luò)。
剪枝方法的問題在于它們不能解決神經(jīng)網(wǎng)絡(luò)的內(nèi)存瓶頸。深度學(xué)習(xí)庫的標準實現(xiàn)需要將整個網(wǎng)絡(luò)層和激活層映射加載到內(nèi)存中。不幸的是，經(jīng)典的優(yōu)化方法不會對神經(jīng)網(wǎng)絡(luò)的早期計算層做出任何重大改變，尤其是在卷積神經(jīng)網(wǎng)絡(luò)中。
這會導(dǎo)致網(wǎng)絡(luò)不同層的大小不平衡，并導(dǎo)致“內(nèi)存峰值”問題：即使網(wǎng)絡(luò)在修剪后變得更輕量級，運行它的設(shè)備也必須擁有與最大層相同的內(nèi)存。例如，在流行的TinyML模型MobileNetV2中，早期層計算達到的內(nèi)存峰值約為1.4兆字節(jié)，而后期層的內(nèi)存占用非常小。要運行該模型，設(shè)備將需要與模型峰值相同的內(nèi)存。由于大多數(shù)MCU的內(nèi)存不超過幾百KB，所以它們無法運行MobileNetV2的現(xiàn)成版本。
MobileNetV2是一種針對邊緣設(shè)備進行優(yōu)化的神經(jīng)網(wǎng)絡(luò),但它的內(nèi)存峰值約為1.4兆字節(jié)，這使得許多微控制器無法訪問它。
另一種優(yōu)化神經(jīng)網(wǎng)絡(luò)的方法是減小模型的輸入大小。較小的輸入圖像需要較小的CNN即可執(zhí)行預(yù)測任務(wù)。然而，減少輸入大小本身就存在挑戰(zhàn)，并不是對所有計算機視覺任務(wù)都有效。例如，對象檢測深度學(xué)習(xí)模型對圖像大小非常敏感，當輸入分辨率降低時，其性能會迅速下降。
由上圖易知，圖像分類ML模型(橙色線)比目標檢測模型(藍色線)更容易降低分辨率。
3.MCUNetV2基于補丁的推理
為了解決卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)存瓶頸問題，研究人員創(chuàng)建了一個名為MCUNetV2的深度學(xué)習(xí)體系結(jié)構(gòu)，可以將其內(nèi)存帶寬調(diào)整到微控制器的極限。MCUNetV2是在同一科研小組之前的成果基礎(chǔ)上開發(fā)的，該工作已被NeurIPS 2020大會接受并成功提交。
MCUNetV2背后的主要思想是“基于補丁的推理”，這是一種在不降低CNN準確性的情況下減少其內(nèi)存占用的技術(shù)。MCUNetV2沒有將整個神經(jīng)網(wǎng)絡(luò)層加載到內(nèi)存中，而是在任何給定時間加載并計算該層的較小區(qū)域或“補丁”。然后，它逐塊迭代整個層并組合這些值，直到計算整個層的激活部分。
圖中左側(cè)是經(jīng)典深度學(xué)習(xí)系統(tǒng)計算一整層的情形，而右側(cè)給出的是MCUNetV2一次計算一個補丁，從而減少DL推理的內(nèi)存需求。
由于MCUNetV2一次只需要存儲一片神經(jīng)元，因此它在不降低模型分辨率或參數(shù)的情況下大幅降低內(nèi)存峰值。研究人員的實驗表明，MCUNetV2可以將內(nèi)存峰值降低至八分之一。
MCUNetV2能夠?qū)⑸疃葘W(xué)習(xí)模型的內(nèi)存峰值降低至八分之一
基于補丁的推理在節(jié)省內(nèi)存的同時也帶來了計算開銷的權(quán)衡問題。麻省理工學(xué)院(MIT)和IBM的研究人員發(fā)現(xiàn)，在不同的體系結(jié)構(gòu)中整體網(wǎng)絡(luò)計算可能會增加10-17%，這顯然不適用于低功耗的微控制器。
為了克服這個限制，研究人員重新分配了神經(jīng)網(wǎng)絡(luò)不同區(qū)塊的“感受野”(注：在CNN中,第n層特征圖中一個像素對應(yīng)作為第1層的輸入圖像的像素數(shù)，即為該層的感受野“receptive field”，簡稱“RF”)。在CNN中，感受野是在任何時刻可被處理的圖像區(qū)域。更大的感受野需要更大的補丁和補丁之間的重疊。當然，這就會產(chǎn)生更高的計算開銷。通過縮小網(wǎng)絡(luò)初始塊的感受野并擴大后期的感受野，研究人員能夠?qū)⒂嬎汩_銷減少三分之二以上。
感受野的重新分配有助于將MCUNetV2的計算開銷減少三分之二以上
最后，研究人員觀察到，MCUNetV2的調(diào)整在很大程度上取決于ML模型架構(gòu)、應(yīng)用程序以及目標設(shè)備的內(nèi)存和存儲容量。為了避免手動調(diào)整每個設(shè)備和應(yīng)用程序的深度學(xué)習(xí)模型，研究人員使用了“神經(jīng)算法搜索”，這是一個使用機器學(xué)習(xí)自動優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和推理調(diào)度的過程。
研究人員在幾個內(nèi)存容量較小的微控制器模型上測試了不同應(yīng)用中的深度學(xué)習(xí)架構(gòu)。結(jié)果表明，MCUNetV2優(yōu)于其他TinyML技術(shù)，能夠以較小的內(nèi)存需求和較低的延遲實現(xiàn)在圖像分類和目標檢測方面達到更高的精度。
如下圖所示，研究人員正在使用實時人物檢測、視覺喚醒詞和人臉/口罩檢測等方式使用MCUNetV2。
譯者注：此處展示的僅是youtube.com網(wǎng)站上展示的使用MCUNetV2的視頻中的一幅截圖。
4.TinyML應(yīng)用程序
在2018年一篇題為《機器學(xué)習(xí)程序的未來為何如此微小》(Why the Future of Machine Learning is Tiny)的文章中，軟件工程師皮特·沃登(Pete Warden)認為，MCU上的機器學(xué)習(xí)極其重要。沃登寫道：“我相信機器學(xué)習(xí)可以在小型、低功耗芯片上運行，這種結(jié)合將解決我們目前無法解決的大量問題。”
由于傳感器和CPU的進步，我們從世界各地獲取數(shù)據(jù)的能力大大增強。但我們通過機器學(xué)習(xí)模型處理和使用這些數(shù)據(jù)的能力卻受到網(wǎng)絡(luò)連接和云服務(wù)器訪問的限制。正如沃登所說，處理器和傳感器比藍牙和WiFi等無線電發(fā)射機更節(jié)能。
沃登寫道：“移動數(shù)據(jù)的物理過程似乎需要大量的能量。一次操作所需的能量與發(fā)送比特的距離成正比似乎是一條規(guī)則。CPU和傳感器發(fā)送僅需要幾個毫米發(fā)送比特數(shù)且價格便宜，而無線電發(fā)送的代價則需要幾米甚至更大距離才發(fā)送幾比特數(shù)據(jù)，而且價格昂貴……很明顯，一個有巨大潛力的市場正等待著用正確的技術(shù)來開辟。我們需要一種能在廉價微控制器上工作的設(shè)備，它使用的能源非常少，依賴于計算而不是無線電，它能把我們所有浪費的傳感器數(shù)據(jù)變成有用的數(shù)據(jù)。這就是機器學(xué)習(xí)，特別是深度學(xué)習(xí)將要填補的空白。”
由于MCUNetV2和TinyML在其他方面也取得了進步，沃登的預(yù)測很快會變成現(xiàn)實。在未來的幾年里，我們可以期待TinyML能夠進入到家庭、辦公室、醫(yī)院、工廠、農(nóng)場、道路、橋梁等的數(shù)十億微控制器中，從而有望實現(xiàn)以前根本不可能實現(xiàn)的應(yīng)用。
