1994年，滾石樂隊首次決定對他們的演唱會進行網絡直播，在滾石登場前的半小時，處在不同城市的Severe Tire Damage(STD)樂隊似乎是作為暖場嘉賓出現的，他們表演了20分鐘，并且完成了很好的直播音畫效果，自此被記錄為世界上第一支現場音樂流，有關實時音視頻技術的迭代與商業應用自此開啟。
如今隨著物聯網帶來巨大產業機遇，實時音視頻在解決“人與硬件設備”交流溝通方面同樣持續獲得成果，不同種類的音視頻智能硬件滲透到了人們生活的方方面面，并且它們仍在更新迭代，時刻刷新智能時代的產業面貌。
10月24-25日，RTE2023第九屆實時互聯網大會在北京隆重召開，其中25日上午舉行的IoT專場以「RTC+IoT構建萬物互聯互動底座」為主題，邀請了中國信通院汽車云工作組組長馬龍飛、聲網IoT行業產品總監馮曉東、賦之大產品線與業務負責人夏大偉、移遠通信云產品部高級產品經理方飛、聲網平行操控技術負責人張樂陶、低速無人駕駛聯盟秘書長李進科、馭勢戰略產品部負責人蔡堯、九號機器人自動駕駛與AI產品線負責人胡哲華等行業大咖出席并參與分享，分享主題涵蓋消費端智能家居、產業端平行操控兩大領域，全面展現RTC與IoT融合的價值與魅力。
智能家居下半場 進入真互動時代
隨著各類型的音視頻硬件設備充斥生活，聲網IoT行業產品總監馮曉東表示智能硬件已進入真互動時代。在“人與物”的互動形式基礎上，人們對互動體驗的要求變得更加豐富、更加細致，比如期待能隨時隨地、遠距離、多角度、多人完成互動;比如希望感受更低的延遲、更高清的畫面、更高保真/立體的聲音。
在用戶需求升級的推動下，智能家居場景的設備也呈現出普遍的進化方向，即通過增加攝像頭和屏幕來加強實時互動，最典型的是帶貓眼和屏幕的智能門鎖廣受歡迎，其他品類如智能手表、智能音箱、智能寵物喂食器等也都有增加攝像頭或屏幕的新品推向市場。
馮曉東介紹，過去硬件本身的性能可能決定了用戶體驗的上限，但聲網的IoT解決方案通過軟件算法打破硬件上限，在不增加硬件成本的情況下，通過客戶端的視頻增強方式，基于深度學習的自研超分算法，可以支持1.5倍、2倍、3倍的移動端實時超分，幫助硬件從360P增加到720P，提升畫質清晰度。
不僅如此，聲網的多項音視頻黑科技不斷刷新用戶互動體驗天花板，有專為實時互動打造的自研高清語音引擎、視頻增強策略、實時美聲算法、AI降噪和回聲消除能力等技術，讓用戶擁有更高保真、更趣味、更高清畫質的音視頻體驗。
在門鈴門鎖場景，聲網聯合信通院泰爾實驗室聯合發布門鈴門鎖新標準，為品牌廠商提供了從定義體驗指標到測試體驗指標的參考依據。
此外，聲網的IoT解決方案擁有顯著的跨平臺互聯互通能力，包括對Linux、Android、Harmony、FreeRTOS、AliOS、LiteOS等各類型操作系統都完成了深度適配，以及支持與Native、Web、小程序、Amazon Alexa、Google Assistant的互通。
用實時互動硬件設備 增強家庭情感連接
賦之科技選擇切入家庭機器人賽道也是因為時下技術、需求和場景的推動。
在這之中，由于全球范圍內寵物數量上升及整體消費能力升級，賦之科技首先推出寵物守護機器人，目前憑EBO Air、EBO SE兩款成熟產品在全球獲得35萬用戶，其中近80% 的用戶為寵物主，剩余部分用戶使用該類產品滿足輕安防需求。
另外，賦之科技也計劃把家庭機器人的服務場景擴大到所有成員，因此推出了EBO X 綜合型家庭服務機器人，用戶包括老人、兒童、寵物等。
EBO X的功能包括三大類：1)安全守護，支持老人跌倒提醒、嬰兒/兒童哭聲&呼救聲提醒、特定區域闖入提醒、定點&移動巡航安防;2)溫暖陪伴，支持遠程雙向實時通訊、多人共享登錄、私人智能助理、寵物陪玩;3)娛樂酷玩，支持哈曼音質、豐富燈效、海量互聯網內容服務等。賦之大產品線與業務負責人夏大偉表示：“在涉及產品音視頻通話能力方面，聲網為賦之科技提供了重要的經驗分享和技術支撐。”
IoT+RTC 完整解決方案將推動產業升級
在智能硬件誕生的過程中，為設備獲取通信能力都是必要的。此次大會上，移遠通信云產品部高級產品經理方飛介紹了移遠通信智能模組產品已經滲透到大多數智能硬件和智能設備中，并同時為客戶提供開發者中心(IoTHub)、APP、SaaS垂直行業應用解決方案等一系列軟件服務，全方位幫助智能硬件快速升級。
此外，方飛以移遠通信低功耗可視門鎖解決方案為例，表示智能硬件的完整功能構建需要IoT技術和RTC技術的互相融合。方飛表示，該門鎖解決方案支持可視對講、遠程開門、異常告警、低功耗、設備分享、設備管理、設備OTA、云存儲等，既需要移遠模組及移遠IoT基座能力，也需要聲網專業的全場景實時音視頻互動能力。
應用在家居安防、戶外監控、在崗門衛、商超看店、梯控對講等其他場景，IoT結合RTC都將為智能硬件創造新的功能和體驗，IoT+RTC的融合范圍實則非常廣泛。
方飛形容：“如果我們把整個數字世界比作一個人，IoT是屬于人的感官和認知，它去感知并連接物理世界;RTC就是關鍵環節中的血脈和神經，通過實時高密度的媒體數據來連接人和物理世界。”
RTC結合智能網聯汽車 以標準規范產業發展
除了智能家居場景，本場大會的另一主題場景是平行操控。在提及與“車”相關的話題時，中國信通院汽車云工作組組長馬龍飛表示汽車工業正在經歷新四化變革(電氣化、智能化、網聯化、共享化)，隨著自動駕駛技術的不斷發展以及云計算、5G等通信技術的廣泛應用，智能網聯汽車已經成為汽車行業的重要發展趨勢。隨著智能網聯汽車行業的快速發展，汽車云上遠程運維能力的需求日益凸顯，各種遠程運維平臺如雨后春筍般涌現，但由于行業內缺乏統一的標準，導致行業內大部分平臺在技術、能力上存在較大差異，進而各大車廠遠程運維能力參差不齊，其安全性和可靠性也難以保障。
在此背景下，由信通院牽頭，聯合頭部整車廠、軟件開發商、解決方案商、學術產業共同參與的《智能網聯汽車遠程運維能力總體要求》公開面世，《要求》分為功能性和保障性兩大部分，其中功能性的包括車輛監測、遠程排障遠程干能預三項能力，保障性的包括平臺管理和安全管理兩項能力。
功能性能力要求主要關注遠程運維平臺直接服務于終端用戶的能力，包括讓用戶“隨時可看”的車輛監測能力、讓用戶在“運營結束后可管”的遠程排障能力和在“運營過程中可控”的遠程干預能力。
保障性能力要求則主要關注如何保障上述功能性能力可以在終端用戶的基礎設施中被安全地和可靠地使用，包括支撐運維服務運轉的平臺基礎系統能力，保障運維功能模塊可靠高效運行的平臺管理能力，以及確保運維過程和數據安全的安全管理能力。
馬龍飛進一步表示，聲網在遠程駕駛車輛的功能和分級指標等方面為《要求》做出了貢獻，主要有：1)通過回傳視頻查看現場實時畫面，并通過信令通道對車輛進行遠程控制，以實現遠程駕駛車輛的功能;2)建立3級指標，根據在弱網、延遲、卡頓率、畫質、車速、指令延時等不同范圍，提供標準支持。
超低延時助力平行操控極致體驗
在現場，聲網平行操控技術負責人張樂陶從低延時的技術層面，全方面講述了平行操控的意義、應用場景與創新方案。
平行操控，指遠程操控，通過超低延時視頻傳輸技術結合實時信令技術，遠程操控遠端的無人車或者機械設備,使用戶突破距離限制，可以操作幾百甚至上千公里外的設備。
目前，平行操控的應用場景集中在機場、港口、物流配送等應急接管場景;礦區、化工等高危/惡劣環境場景;以及云賽車、無人機、機器人操控等遠程服務場景。運維形式基本是機器替代人在當時場景下高可靠、高穩定地完成部分或全部作業。
聲網平行操控技術負責人張樂陶介紹，網絡的差異性和多樣化給遠程駕駛和操控帶了很大的挑戰，為保證車輛的安全運行，業務場景對音視頻的延時需求較高。對此聲網的平行操控解決方案給出了端到端的全鏈路延時優化方案，涵蓋了設備端的深度適配、底層傳輸大網、操控端多端支持等全套解決方案。
在設備端，深度適配了Nvidia Jetson生態，提供從采集、編碼到傳輸全套功能，支持車規級GMSL攝像頭的采集，支持超低延時信令。在操控端，基于Native深度優化，提供主流終端平臺的SDK。而依靠聲網自研的SD-RTN傳輸大網，能實現全球端到端延時中位數76ms，能高質量保障遠程操控過程中車輛畫面的低延時傳輸。此外，該解決方案提供云端錄制服務，支持記錄用戶每次遠程遙控的全過程并提供回看。在部署形式上，方案支持公網和私有化部署兩種類型。
“聲網的平行操控方案，在大量實際常規場景下的性能表現為：在4G路測弱網環境，視頻端到端延時低至100ms，95分位數為180ms，充分滿足脫困場景下延時不能高于200毫秒的行業要求。”張樂陶介紹。
圓桌會議：平行操控如何助力無人車體驗升級?
大會最后的圓桌環節由低速無人駕駛聯盟秘書長李進科擔任主持，中國信通信院汽車云工作組組長馬龍飛、聲網IoT行業產品總監馮曉東、馭勢戰略產品部負責人蔡堯、九號機器人自動駕駛與AI產品線負責人胡哲華作為嘉賓分享了一系列前沿觀點和實踐經驗。
馮曉東：“從我們的角度來看，目前無人車體驗上最關注兩點要求，一是盡可能低時延獲取實時畫面，二是在弱網情況下也能做到實時傳輸。”
蔡堯：“在技術商業化過程中，除了平行駕駛技術和網絡條件，實際可能還會引入更多策略。比如在極端網絡條件下，系統有意識選擇特定的攝像頭進行監控，關閉其他短時非必要的視頻流來減少帶寬;又比如在車端增加基礎的感知和邊緣計算能力，確保在網絡失效情況下也能保證基礎安全。”
馬龍飛：“無人駕駛場景的落地首先是涉及到數據采集，目前行業內標準化的動作和政策指導還不是特別完備，還需要做更好的分級規范。”
胡哲華：“無人車一定需要根據當地環境做很多本地化的工作，無論是氣候溫度、網絡基礎設施條件、社會穩定狀況等，都可能會對無人車的運行效果產生影響。”
