AI大火，關工業制造、智慧城市等傳統行業什么事?答案還要從邊緣AI技術中找起。
當下AI潮涌，邊緣AI也正逐步推動技術格局進行重大轉變。
相比中心化的AI大模型+接口范式，邊緣AI使計算能力更接近數據源——
它允許在設備上進行數據處理，并實現實時、上下文感知(context-aware)的決策。同時，邊緣AI并不依賴基于云的處理，而是利用傳感器、攝像頭、智能手機和其他緊湊型設備等邊緣設備，在“邊緣側”上執行AI計算推理。
這種方法具有多種優勢，包括：更好的響應能力、更高帶寬效率、更高數據隱私，以及在連接有限或間歇性情況下提高可靠性等。
這兩天，工程與技術門戶Wevolver新發布一份《2023年邊緣人工智能技術報告》。
在報告中，他們詳細介紹了邊緣AI目前的行業概況、應用場景、邊緣AI優勢、平臺、軟硬件、傳感方式、算法及展望。
其中要點，智次方?物聯網智庫整理如下。相信任何想跟上AI浪潮的技術從業者及負責人，都值得一看。
如需免費領取完整版報告，請掃描下方二維碼添加智次方?物聯網智庫“小智慧”微信獲取。
行業概況及邊緣AI優勢
近年來，數據已經從集中式云數據中心，向更靠近數據源的本地數據中心或邊緣設備轉移，同時，基于本地化計算需求日益高漲，這導致了邊緣AI的出現和崛起。
據 Fortune Business Insights預測，邊緣AI市場預計將從2022年的156億美元，增長到2029年的1074.7億美元，復合年增長率(CAGR)為31.7%。
以工業制造業為例，工業現代化正逐步向智能制造加速轉變，并引發自動化、機器人以及工業物聯網(IIoT)的創新。
Cyber-Physical Production Systems (CPPS)
在生產車間快速的數字化轉型中，通過引入信息物理生產系統(CPPS)，收集和分析相關數據，如生產排程、質量檢驗以及設備維護，可獲得相關的生產流程優化見解，以此大幅提升自動化生產裝配、質量監控的效率和速度。
然而，基于云的數據處理方式，實現實時控制會產生明顯的延遲。為打破云計算對于實時控制的限制，越來越多的制造業企業開始嘗試邊緣AI。
此外，醫療健康服務、消費品、物流運輸、智慧城市、智慧家居……幾乎都需要邊緣AI，或處于體驗升級需要，或數據安全考量，諸如此類的原因。
報告指出，位于邊緣側的AI優勢明顯，具體來看：
降低時延，邊緣AI應用數據處理集中于數據源，不依賴網絡傳輸，能大幅降低數據處理時延問題。這對一些低時延應用尤為關鍵，比如工業機器人、無人駕駛汽車。
實時性能，可以在特定場景發揮作用，比如質檢，像生產線上的質量檢測、安全應用中異常行為檢測等。
安全和數據保護，邊緣AI應用暴露數據量很少，極大減少惡意攻擊和數據襲擊的可能性。
提升隱私控制，很多AI應用涉及敏感數據，如安全數據、知識產權、病患信息等。邊緣AI減少了數據對外傳輸和分享嗎，創建了一個比云更可信的數據管理環境。
能源效率，基于云的數據傳輸和處理需要不斷輸入輸出，還涉及大量GPU和TSU數據處理。邊緣AI無需I/O操作，且數據處理基于邊緣側，能有效降低碳排放和減少碳足跡。
節約成本，相比云端處理，邊緣AI不會過于依賴數據傳輸和處理，同時，它消耗更少的能量。其部署成本和操作成本遠低于云端AI。
設備智能，一些邊緣AI應用可以在單個設備上執行，比如物聯網設備、微型控制器等。這會助力性能更強、更加智能化設備開發，但基于云端這是幾乎無法實現的。
可擴展性，在AI應用中集成邊緣AI系統，可以提供幾年前沒有的能力。例如，在運輸、工廠以及其他工業場景中新增典型的實時性。
框架、工具與軟硬件選擇
對于邊緣AI來說，深度學習平臺、工具選擇要考慮的因素可能更多，這當中包括延遲、數據處理能力、功耗、尺寸、重量和散熱等等。
除此之外，使用的難易度也是問題，尤其邊緣AI面向千行百業，更為友好的平臺工具對技術服務企業及客戶都更為便捷。
最后，工具支持能力、生態兼容性及釋放開源免費也在考慮范圍內。
較為著名的框架及工具包括有TensorFlow Lite、PyTorch Mobile、OpenVINO、NVIDIA Jetson、Caffe2 和MXNet等。
篇幅有限，重點介紹如下幾個框架及工具：
TensorFlow Lite
TensorFlow Lite是一種用于設備端推斷的開源深度學習框架，號稱強大而多功能，專為邊緣設備部署ML模型設計，具備低延遲、跨平臺兼容性、用戶友好等特征，在樹莓派4微控制器板上，TensorFlow Lite實現了2.5毫秒的中位推理延遲。
此外，TensorFlow Lite還提供了全面的開發工具和API，支持多種編程語言，包括Python、C++和Java，增強了其多功能性和易用性。
PyTorch Mobile
該工具是PyTorch的移動設備拓展版本，PyTorch作為AI框架本就擁有很廣覆蓋，自帶靈活、易用性，經過速度、效率優化后，更適合部署在資源有限的低功耗設備上。
根據PyTorch的說法，用該平臺的模型，可在移動設備上實現低于10毫秒的延遲推理，當然，實際情況也取決于硬件能力、模型復雜度及輸入數據量級。其支持硬件平臺，包括CPU、GPU 和 DSP。
Caffe2
Caffe2是一個開源深度學習框架，其突出的優勢在于其高性能，能夠快速、準確地處理大型數據集。Caffe2針對CPU和GPU進行了精心優化，其與分布式計算環境的兼容性確保了輕松的可擴展性。
Caffe2以其推理低延遲而聞名，特別適合實時邊緣AI應用。需要注意的是，Caffe2由于大量使用GPU資源，其功耗往往較高。
值得一提的是，Caffe2核心作者之一是AI大牛賈揚清，今年他已離開阿里，投身大模型基礎設施創業。
MXNet
這也是一個開源深度學習軟件框架，用于訓練及部署深度神經網絡。MXNet顯著優勢之一是它對多種編程語言的廣泛支持，包括Python、C++和Julia，可與TensorFlow和PyTorch等其他深度學習框架無縫集成。
該框架數據處理能力也很高效，支持數據和模型并行性，使開發人員能夠跨多個GPU或機器擴展他們的模型。
此外，MXNet憑借輕量特性，能在樹莓派等低功耗設備上高效運行，對于追求緊湊便攜的邊緣AI系統，吸引力也很強。
OpenVINO
這是一個用于優化和部署AI推理的開源工具包，來自英特爾，可實現跨不同平臺的高效部署，包括CPU、GPU和FPGA。
面向TensorFlow、PyTorch和Caffe等流行的深度學習框架，OpenVINO提供了優化的庫和工具，其使用成本取決于模型大小、復雜性和所使用的硬件平臺等因素。此外，OpenVINO提供與多種編程語言的無縫集成，包括C++、Python和Java。
介紹完AI框架及工具，再來看看其他硬件硬件選擇的注意。
由于終端設備的處理、存儲、電池壽命有限，模型必須進行優化，以適應有限的資源。盡管如此，硬件處理能力依然重要，此外，還要考慮功耗、可用內存量及類型。
軟件選擇上，兼容性、可拓展性、數據處理精度及可解釋性對于諸多傳統行業也是重要因素。
值得一提的是，安全性同樣是邊緣AI落地應用很看重的方向，報告建議，采用SSL/TLS、SSH等安全通信協議，建立邊緣AI系統與其他系統之間數據傳輸的安全通道。
此外，還建議實施訪問控制和身份驗證機制，并對重要數據進行加密。
物聯網加密系統及攻擊路徑
值得重點一提的，是TinyML。
這是一種新型的嵌入式機器學習系統技術，可在微芯片和微控制器 (MCU) 上部署 AI 模型，以實現極低功耗的設備上數據分析。
此前物聯網智庫對其進行過介紹，該技術面向終端和邊緣側的微處理器，是一種在mW功率范圍以下的設備上，實現機器學習的方法、工具和技術。
MIT電子工程學院副教授韓松，今年剛獲得斯隆獎，被譽為TinyML開創者，其參與創立的AI公司OmniML，今年剛被英偉達收購。
TinyML是ML與嵌入式的結合
該技術優勢在于——
優化延遲、節能、節約帶寬、更強的數據隱私安全及更好的效率及靈活性。
前文提及TensorFlow Lite，本身就可結合TinyML。其另一個版本，TensorFlow Lite Micro，其核心運在Arm Cortex M3上行時，模型大小僅為16KB。
TinyML的應用，包括了終端設備上圖像識別、對象跟蹤和安全應用程序的實時事件檢測。
在物聯網傳感器應用中，TinyML用于解析圖像、聲音或振動等數據。在設備上進行推理，可將大量數據減少為壓縮元數據，減少功耗提升安全性。TinyML 還用于消費電子設備，例如耳塞的噪音濾除。
邊緣AI算法與傳感方式
算法方面，相比AI大模型，甚至幾年前的GPT-2，邊緣AI因計算設備資源有限，更多考慮的是算法是否能在硬件上流暢運行。平衡，成為落地中的關鍵詞。
當前，最流行、最適合部署在邊緣設備上的算法是：分類、檢測、分割和跟蹤算法。
這四種算法類型為從對象識別和跟蹤到質量控制和預測性維護的各種應用提供了實用的解決方案。
當然，上面幾類中，還可以介紹很多具體算法，比如分類算法中的支持向量機(SVM)、決策樹、隨機森林和卷積神經網絡(CNN)。再比如目標檢測算法中的大名鼎鼎的YOLO和何愷明參與的Faster R-CNN，這里不逐一展開。
基于 YOLOv4 直方圖的乳房X光片異常檢測模型
但值得提一提的，是視覺Transformer算法(ViT)。該技術與ChatGPT同源，此后，還有DeiT 和 SWIN-Transformers等算法出現，并能部署在邊緣端，其背后是邊緣算力的不斷演進。
另需要補充的是，對于邊緣場景，數據壓縮技術可能導致AI模型表現不準確，因此該方向也在近些年成為熱門話題之一。
說完AI軟硬件相關，報告還介紹了邊緣AI的傳感方式。
目前較為典型的邊緣AI傳感設備為攝像頭、麥克風、溫度傳感器和運動傳感器。設計領域包括自動駕駛、工業自動化和醫療保健。
其他傳感器還包括觸摸傳感器、壓力傳感器、接近傳感器等。
基于音頻的傳感系統
典型案例介紹
憑借輕量級的系統集成和靠近數據源的處理能力，邊緣AI正加速與各行各業深度融合，帶來天馬行空的想象力。
智慧城市
NoTraffic是一個基于AI的交通實時管理平臺，依托于英偉達技術，融合傳感器、軟件等，可以快速且全程響應交通狀況。
結合攝像機與雷達的NoTraffic物聯網傳感器，圖源：NoTraffic
基于邊緣AI技術，NoTraffic可以檢測、標記以及追蹤道路使用者，包括他們臨近路口時的速度、方向，并以此調整交通信號。
NoTraffic已與加州運輸部和亞利桑那州運輸部建立合作伙伴關系。該平臺被證明，可以減少超50%的交通等待時間，同時可能還對減少汽車排放有貢獻。
NoTraffic的另一個好處就是，基于邊緣AI能力構建的交通系統，可以助力智慧城市快速分析交通流量數據并提供決策。
綠色工業
Fero Labs研發出一套應用工業流程優化的邊緣AI軟件，據證實，該軟件可以在生產中實現提質降本，減少工廠浪費，實現碳排放量平均減少35%。
圖源：Fero Labs
實現方式上，該公司將機器學習模型部署于工廠中現有的邊緣設備中，通過軟件連接到標準工業數據庫，并通過本地化數據處理。
基于Fero Labs軟件解決方案，制造車間可以通過現有裝置進行生產預測、設備追蹤和維護，避免產品瑕疵，提高過程穩定性。
智慧醫療
Medtronic是一家在醫療領域應用邊緣AI的公司，該公司最近與英偉達合作，實現將英偉達全息掃描平臺集成于AI系統，以應用于醫療設備。
應用GIGenius智能內鏡模塊的結直腸癌檢測設備，圖源：Medtronic
Medtronic將全息掃描平臺集成進旗下的AI內鏡模塊，GIGenius，通過邊緣AI技術加持，醫生可以檢測出結直腸癌的早期跡象。
Medtronic同樣還將邊緣AI應用于其他醫療領域，比如一個連續血糖監測系統。通過將傳感器植入到皮下組織，就能起到血糖管理的作用，同時，利用AI能有優化且創建個性化糖尿病管理方案;還有Medtronic的起搏器，采用傳感算法來檢測并提醒患者心律失常的風險。
據該公司稱，他們將邊緣AI集成到醫療傳感器當中，極大提升醫療服務和檢測的個性化程度。
寫在最后
以上是報告的要點介紹，值得補充的是，盡管邊緣AI優勢盡顯，但仍有許多用例，需要云端數據中心參與。
比如報告提及，一些深度學習應用，需要大量數據點訓練，這類用例通常需要結合云AI和邊緣AI兩方面優勢。
基于邊緣和云處理的混合解決方案，圖源：Wevolver
巧合的是，上個月，高通技術公司同樣發布了一份白皮書——《混合AI是AI的未來》，當中提出類似的觀點：
“隨著生成式AI的飛速普及和計算需求的日益增長，混合處理的重要性空前凸顯。與僅在云端進行處理不同，混合AI架構的云端和邊緣終端之間分配并協同處理AI工作負載。云端和邊緣終端(如智能手機、汽車、個人電腦和物聯網終端)協同工作，能夠實現更強大、更高效且更普及的AI應用?！?/p>
但可以預見，邊緣AI及ChatGPT為代表的中心化的AI大模型+接口范式，仍在以日新月異速度發展，一個萬物智能的時代已經不遠。
欲了解更多案例內容，請掃描下方二維碼添加智次方?物聯網智庫“小智慧”微信獲取完整版報告。
參考資料：
1.Wevolver 2023年邊緣人工智能技術報告
2.https://www.wevolver.com/article/2023-edge-ai-technology-report?utm_source=edge-ai-report&utm_medium=edgeimpulse
3.https://mp.weixin.qq.com/s/Llqc6Elz1xY1ukN77EJFxw
