在3月22到26日,TinyML基金會舉辦了2021 TinyML峰會,這是有史以來的第三屆。
雖然本屆峰會在云端舉辦,但同樣聲勢浩大,而且無論是影響力還是參會者都可謂上了一個新臺階。諸多國際一線企業、業內獨角獸初創公司和知名院校云集線上。
其中的代表性公司包括:ARM、高通、臉書、微軟、三星、Greenwaves、SensiML、Silicon Labs、Syntiant、Qeexo、普林斯頓大學、密歇根大學、埃里克斯霍爾姆大學、麻省理工學院、斯坦福大學等。
在此前的文章中,我曾介紹過微型機器學習TinyML,也就是在終端和邊緣側的微處理器上實現的機器學習過程。更準確地說,TinyML是指工程師們在mW功率范圍以下的設備上,實現機器學習的方法、工具和技術。
TinyML微型機器學習是機器學習和物聯網設備的交集,它是一門新興的工程學科,有可能在許多行業引發革命。
在這次峰會上,大家分享了TinyML的最新進展以及各種應用實例,值得關注的趨勢包括:
用戶對于隱私的關注推動了TinyML的發展
TinyML有可能將開啟音頻識別的新藍海
最新發布的TinyML產品和工具
保護隱私成為TinyML發展的推動力
消費者對于隱私問題的擔憂,成為TinyML發展的推動力,很多公司為了響應消費者需求,正在開發功耗更低、響應速度更快、隱私保護更佳的設備。
人工智能與設備的結合,經歷了三個發展階段:
第1階段--云端能
在人工智能發展的初期,機器學習模型是在云端訓練和托管的。運行AI所需的強大計算能力使云成為理想的選擇。
開發人員和數據科學家利用高端CPU和GPU訓練模型,然后托管它們以進行推理。每個消耗AI的應用程序都與云對話。該應用程序將與微控制器通信以管理傳感器和執行器。
第二階段--邊緣智能
隨著物聯網的發展,越來越多的遍布于工業自動化、智能醫療、智能聯網汽車中的場景,都要求人工智能模型能在本地運行。邊緣側成為在本地托管人工智能模型的理想選擇。邊緣智能可以有效避免云中運行相同AI所帶來的延遲。
但是鑒于邊緣資源有限,AI模型的訓練仍然需要云。這種方法提供了兩全其美的優勢,既有用于訓練的云端強大計算環境,又能兼顧用于推理的低延遲邊緣托管環境。但是由于與云端進行協作,邊緣智能仍舊無法解決消費者對于隱私性的擔憂。
階段3--微型人工智能
分布最廣的物聯網設備往往體積很小、電量有限。它們被作為終端硬件,通過嵌入式傳感器采集各種數據;計算能力有限,對功耗極為敏感。某些情況下,將這類設備連接到邊緣側以便實現智能,在成本上并不劃算。
直接在微處理器中嵌入人工智能,成為消費和工業物聯網場景的關鍵。這種方法并不依賴于外部程序,也不依賴邊緣和云端。這種方案能夠提供最佳的實時響應,同時對隱私提供極大保護。
TinyML峰會上提供的微型機器學習的例子包括,智能家居場景中,帶有傳感器洗衣機和冰箱可以在電機損壞之前主動發送信號。洗衣機可以根據衣服的重量,精準地調節水位。
具備TinyML的可穿戴設備,可以脫離云端持續監測用戶的睡眠水平、心率體征等健康數據。TinyML胰島素泵可以在不必時刻保持網絡連接的情況下,根據血糖水平自動釋放胰島素。這些不必時刻聯網的設備,讓數據處于私有狀態,更加安全并保護隱私。
TinyML開啟音頻分析的新藍海
過去我們極大的發展了機器視覺,現在我們正在賦予機器聽覺。
和視覺信息一樣,聲音無處不在。語音啟動的設備,在智能家居的應用中非常常見,最典型的比如智能音箱。
還有很多聲音,比如機床震動的聲音、車輛拋錨的聲音、報警器鳴響的聲音…這些聲音不同于語音,沒有語言模型。
目前越來越多的物聯網企業正在將分析的重點從視頻轉移到音頻。比如在家居場景中,亞馬遜推出了Guard這項在智能音箱中的功能,用來識別窗戶破碎的聲音并報警。在工業場景中,預測性維護已經取得了長足的發展,很多企業監測設備的振動和聲音,用來主動發現故障,為客戶節省數百萬元的維護成本。
在TinyML峰會中,一家名為Audio Analytic的公司分享了關于音頻分析的最新進展,并且認為TinyML即將開啟音頻分析的新藍海。
他們已經建立了包含700種不同聲音的配置文件,可以檢測到從火車進站到嬰兒啼哭,常見的和不常見的各種聲音。
借助TinyML,Audio Analytic公司展示了基于ARM Cortex-M0+處理器檢測聲音的方案。應用場景包括墻壁上安裝的小型傳感器,可以檢測玻璃破碎的聲音;降噪耳機通過識別疾馳而來的汽車的聲音,主動關閉降噪功能,以便讓佩戴者及時作出反應。
根據峰會中的分析,聲音檢測可能在4個場景取得大發展:
第一個是安全場景:比如根據玻璃破碎或者煙霧報警器的聲音,通知更多人員。
第二個是個人健康:比如檢測嬰兒的哭聲、打鼾的聲音,并且及時提醒。根據烹飪時發出的聲音,自動調節房間的空氣質量。
第三個是家庭娛樂:比如根據外部環境和回聲,根據房間大小,自動調整娛樂系統的音效。
第四個是工業應用:比如根據風力發電機振動的聲音,檢測葉片的裂紋并給予預警。
TinyML產品與工具陸續發布
Nordic Semiconductor在其nRF52和nRF53系列低功耗藍牙芯片中引入了TinyML,并且提供相應的開發套件,成為業界首個支持人工智能技術的藍牙產品。
Nordic將這些支持TinyML技術的藍牙SoC應用于瀕臨滅絕的動物保護,野生大象佩戴了Nordic提供的藍牙追蹤項圈,幫助護林員防止非法狩獵盜取象牙的事件發生,取得了很好的效果。
SensiML聯手Silicon Labs,為開發者快速研發支持TinyML的智能傳感應用程序提供便利。
使用Silicon Labs提供的Thunderboard Sense 2物聯網開發入門套件,配合使用SensiML提供的Analytics Toolkit AI/ ML開發軟件,開發者能夠快速創建運行于物聯網終端設備的智能方案。
這些方案將特別適用于低功耗和能源敏感型應用,包括能源、水表和燃氣表、樓宇自動化、警報及安防,和便攜式醫療/健身器材。
在峰會上,Raspberry Pi聯合創始人Eben Upton公布了“Pi Silicon”的未來路線,其內部專用集成電路ASIC團隊正在進行下一次迭代,并且正專注于研發針對超低功耗機器學習TinyML應用程序的輕量級加速器。
同期,Eben Upton發布了三款“Pi Silicon”樹莓派板,分別為SparkFun MicroMod RP2040、Arduino Nano RP2040 Connect和ArduCam Pico4ML。三款產品會將機器學習、攝像頭、麥克風和屏幕集成到Pico軟件包中。
尤其是售價僅為4美元的Pico4ML,提供對于TinyML的支持。比如在上圖展示的樣例中,Pico4ML可以同時檢測到兩張人臉,一個真人以及一個超級馬里奧,Pico4ML以百分比值做出判斷,在提供實時圖像的同時,顯示圖像是真人的概率。
寫在最后
劃個重點。
第一,TinyML將為數以億計的物聯網終端設備帶來“生命”,它將引發的變革不容小覷。
第二,消費者對于隱私問題的擔憂,成為TinyML發展的推動力,很多公司為了響應消費者需求,正在開發功耗更低、響應速度更快、隱私保護更佳的設備。
第三,目前越來越多的物聯網企業正在將分析的重點從視頻轉移到音頻,TinyML可能即將開啟音頻分析的新藍海。