隨著各類(lèi)智能終端的普及和網(wǎng)絡(luò)帶寬的持續(xù)提升，音視頻技術(shù)已成為連接世界的關(guān)鍵橋梁。
在消費(fèi)互聯(lián)網(wǎng)側(cè)，據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心發(fā)布的第53次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至2023 年底，我國(guó)網(wǎng)絡(luò)視頻用戶規(guī)模為10.67 億人，占網(wǎng)民整體的97.7%，短視頻用戶規(guī)模為10.53 億人，占網(wǎng)民整體的96.4%，網(wǎng)絡(luò)直播用戶規(guī)模達(dá)8.16 億人，占網(wǎng)民整體的74.7%。
在物聯(lián)網(wǎng)側(cè)，2023年底，蜂窩物聯(lián)網(wǎng)終端用戶數(shù)達(dá)到23.32億，其中智慧零售和智慧家居的規(guī)模分別達(dá)到了4.54億和3.35億。IDC預(yù)測(cè)，智能家居及可穿戴設(shè)備是未來(lái)物聯(lián)網(wǎng)的主要增長(zhǎng)點(diǎn)，預(yù)計(jì)2026年連接數(shù)量接近60億個(gè)。視覺(jué)作為智能家居行業(yè)的核心端口，成為落地最快、覆蓋度最高的主流設(shè)備。
螢石作為領(lǐng)先的物聯(lián)網(wǎng)云平臺(tái)提供商，在音視頻領(lǐng)域持續(xù)引領(lǐng)，以云服務(wù)為依托，驅(qū)動(dòng)智能家居行業(yè)及以零售連鎖為代表的更多行業(yè)實(shí)現(xiàn)視覺(jué)智能應(yīng)用升級(jí)，幫助企業(yè)客戶降本增效。
目前，螢石云在智慧連鎖、智慧建筑、教育教學(xué)、應(yīng)急管理、醫(yī)療養(yǎng)老、娛樂(lè)競(jìng)技、智能制造等多個(gè)領(lǐng)域與優(yōu)秀的開(kāi)發(fā)者合作伙伴共同實(shí)現(xiàn)了一系列豐富的視覺(jué)應(yīng)用解決方案。截至2023年底，螢石云已經(jīng)擁有超過(guò)1.57億全球消費(fèi)者，31萬(wàn)以上的開(kāi)發(fā)者客戶，月活躍用戶超過(guò)5400萬(wàn)，全球接入IoT設(shè)備數(shù)量達(dá)到2.5億以上。
隨著行業(yè)需求的不斷深化和挑戰(zhàn)，螢石云也在不斷迭代和提升其平臺(tái)開(kāi)發(fā)能力。
螢石開(kāi)放平臺(tái)再升級(jí)，以AI助力自助服務(wù)場(chǎng)景
作為螢石業(yè)務(wù)開(kāi)展早期便采取開(kāi)放服務(wù)模式的螢石開(kāi)放平臺(tái)，一直在將沉淀、驗(yàn)證的PaaS組件能力輸出給行業(yè)，促進(jìn)行業(yè)解決方案實(shí)現(xiàn)視頻化、智能化。
目前，螢石云物聯(lián)網(wǎng)平臺(tái)已經(jīng)實(shí)現(xiàn)南北向都開(kāi)放，南向?yàn)樵O(shè)備制造商提供云接入能力，已經(jīng)有超過(guò)10萬(wàn)款設(shè)備型號(hào)內(nèi)置了螢石云協(xié)議。北向?yàn)樾袠I(yè)開(kāi)發(fā)者開(kāi)放云上沉淀的物聯(lián)音視頻能力，去輔助開(kāi)發(fā)者構(gòu)建自己的行業(yè)解決方案。平臺(tái)已經(jīng)累計(jì)發(fā)布了共計(jì)超過(guò)1000個(gè)開(kāi)放接口，涉及接入、直播、通話、存儲(chǔ)、AI、信令和用戶連接7個(gè)類(lèi)別，31組原子能力，以及20多款aPaaS場(chǎng)景化集成組件。
近年來(lái)，隨著音視頻技術(shù)的不斷發(fā)展和年輕一代對(duì)便捷自主消費(fèi)方式的偏好，使得自助消費(fèi)成為了一種趨勢(shì)，節(jié)省了消費(fèi)者時(shí)間的同時(shí)也幫助商家降低了運(yùn)營(yíng)成本。
基于對(duì)客戶場(chǎng)景的觀察，螢石發(fā)現(xiàn)遠(yuǎn)程化巡檢能力、及時(shí)響應(yīng)的連線服務(wù)能力和低成本運(yùn)維能力對(duì)于客戶物聯(lián)系統(tǒng)的支撐起到越來(lái)越關(guān)鍵的作用。
首先是遠(yuǎn)程化巡檢能力。隨著人工成本越來(lái)越高，利用現(xiàn)場(chǎng)攝像機(jī)疊加AI算法進(jìn)行視頻巡檢，已經(jīng)成為一種趨勢(shì)。但是傳統(tǒng)的小模型算法誤報(bào)率較高，需要投入大量人工進(jìn)行糾偏，這樣一來(lái)，巡檢省下的人工成本又體現(xiàn)在了算法糾偏上。
其次是及時(shí)響應(yīng)的連線服務(wù)能力。真人語(yǔ)音和視頻化的云店員方案，正在代替過(guò)去線下店員提供給顧客的及時(shí)反饋服務(wù)。在這種場(chǎng)景下，用戶體驗(yàn)很大程度上取決于云店員的智能程度。
最后是低成本運(yùn)維能力。這主要體現(xiàn)為系統(tǒng)出現(xiàn)問(wèn)題后，如何快速恢復(fù)。通常，為了保障時(shí)效性，運(yùn)維工作都交由本地化團(tuán)隊(duì)，但是大量物聯(lián)設(shè)備的應(yīng)用，讓物聯(lián)系統(tǒng)的復(fù)雜度急劇上升，從而導(dǎo)致人工的學(xué)習(xí)成本急劇上升。
大模型技術(shù)的突破，為應(yīng)對(duì)上述問(wèn)題、實(shí)現(xiàn)和升級(jí)相關(guān)能力提供了良好契機(jī)。
6月27日，在以“AI達(dá)百業(yè)，視之所向”為主題的2024ECDC螢石云開(kāi)發(fā)者大會(huì)上，螢石基于自研大模型技術(shù)對(duì)其開(kāi)放平臺(tái)進(jìn)行了重磅升級(jí)，推出了更優(yōu)的開(kāi)發(fā)者集成方案，包括智能視覺(jué)巡檢組件、智能視頻客服組件，以及遠(yuǎn)程排障專(zhuān)家工具，幫助企業(yè)快速升級(jí)智能化能力，保障項(xiàng)目盡快上線。
智能視頻巡檢組件。為了提升遠(yuǎn)程巡檢能力，螢石基于其自研大模型技術(shù)，對(duì)其智能視頻巡檢組件進(jìn)行了升級(jí)。一方面，延續(xù)了端云一體化設(shè)計(jì)，保障了視頻輪換、內(nèi)容抓取和存儲(chǔ)及算法執(zhí)行的性能和靈活性。大模型則提升了準(zhǔn)確度，也大幅降低了初始化訓(xùn)練的樣本。借助知識(shí)蒸餾技術(shù)，可以不斷升級(jí)設(shè)備中的各種算法，實(shí)現(xiàn)持續(xù)進(jìn)化，從而更好地控制長(zhǎng)期使用成本。該組件適用于各種行業(yè)的遠(yuǎn)程視頻巡檢場(chǎng)景，如臺(tái)球廳、收銀防飛單、餐飲規(guī)范治理及無(wú)人服務(wù)防糾紛等。
智能視頻客服組件。通過(guò)自研大模型的數(shù)字分身復(fù)刻能力和大語(yǔ)言模型能力，可以實(shí)現(xiàn)全天候不間斷的連線服務(wù)。通過(guò)這一組件，開(kāi)發(fā)者還可以維護(hù)自己所處行業(yè)擅長(zhǎng)的營(yíng)銷(xiāo)服務(wù)相關(guān)語(yǔ)料，實(shí)現(xiàn)更加個(gè)性化的服務(wù)。
遠(yuǎn)程排障專(zhuān)家工具。該工具能夠主動(dòng)收集設(shè)備的狀態(tài)和指標(biāo)，及時(shí)發(fā)現(xiàn)潛在問(wèn)題。還可以通過(guò)端云一體化的遠(yuǎn)程手段實(shí)現(xiàn)問(wèn)題定位和恢復(fù)。更重要的是，通過(guò)自研大模型基于智能家居場(chǎng)景訓(xùn)練的智能排障服務(wù)專(zhuān)家模型，可以通過(guò)圖文、語(yǔ)音、視頻連線等形式為客戶提供排障咨詢和幫助，大幅提升了運(yùn)維效率，降低了維護(hù)成本。
藍(lán)海大模型，讓音視頻開(kāi)發(fā)工作更智能
此次螢石開(kāi)放平臺(tái)升級(jí)背后的功臣，首推螢石自研的藍(lán)海大模型。藍(lán)海大模型是螢石自研的針對(duì)垂直物聯(lián)網(wǎng)場(chǎng)景的具身智能大模型，可以接入各類(lèi)感知設(shè)備，處理和理解多模態(tài)數(shù)據(jù)，最終實(shí)現(xiàn)智能化的行動(dòng)規(guī)劃。
螢石的AI技術(shù)策略旨在強(qiáng)化IoT與物理世界感知，構(gòu)建具身大腦，實(shí)現(xiàn)多智能體端云聯(lián)動(dòng)。根據(jù)復(fù)雜度對(duì)AI進(jìn)行能力層級(jí)定義，從L0到L4，依次為專(zhuān)有算法、單模態(tài)交互、多模態(tài)交互、具身式交互以及具身智能體。
藍(lán)海大模型具有以下特點(diǎn)：在開(kāi)發(fā)開(kāi)放方面，提供原子級(jí)算法，各層級(jí)能力可端云協(xié)同，大模型私有化；在基礎(chǔ)交互方面，支持IoT控制、語(yǔ)音問(wèn)答、多模態(tài)問(wèn)答、多模態(tài)生成等功能；在具身代理方面，提供開(kāi)發(fā)助手、陪伴助手、會(huì)議助手、安防助手等多種智能應(yīng)用。
螢石AI開(kāi)放技術(shù)提供智能物聯(lián)場(chǎng)景百余種算法，包括29大類(lèi)93種原子算法，涉及數(shù)據(jù)治理、音視頻處理和模型部署；73種L0深度算法，涵蓋文本、音頻和圖像視頻算法；26種L1-L3交互算法，支持語(yǔ)音交互、多模態(tài)交互、圖像生成和具身代理。螢石正在依照法律法規(guī)要求履行相關(guān)算法的安全測(cè)評(píng)、備案等手續(xù)。
新一代HomePlay OS架構(gòu)，提升大模型使用效率
為降低大模型的使用門(mén)檻，保持成本可控，螢石推出了新一代架構(gòu)——HomePlay OS。該架構(gòu)以提升用戶的生活和工作體驗(yàn)為核心，專(zhuān)注于人、家庭及商業(yè)環(huán)境，提供智能代理和以視覺(jué)為核心的AI能力，使開(kāi)發(fā)者能夠以快速、靈活、低成本的方式開(kāi)發(fā)智能場(chǎng)景或應(yīng)用。
首先，HomePlay OS采用AI核心，具備類(lèi)比人類(lèi)能力完成任務(wù)的特性，能夠感知、計(jì)算和反饋，并通過(guò)用戶學(xué)習(xí)和自我學(xué)習(xí)實(shí)現(xiàn)短期記憶與用戶交互。
其次，代理封裝功能使得開(kāi)發(fā)者更易于使用，通過(guò)代理角色服務(wù)用戶，并封裝協(xié)調(diào)復(fù)雜的模型和服務(wù)交互。
再次，端云協(xié)同能夠更高效地完成任務(wù)，包括初略和精細(xì)過(guò)濾模式、粗加工和精加工模式以及簡(jiǎn)單和復(fù)雜規(guī)劃的結(jié)合。隱私保護(hù)方面，系統(tǒng)通過(guò)數(shù)據(jù)端到端內(nèi)容加密、訓(xùn)練數(shù)據(jù)閉環(huán)受控和近場(chǎng)計(jì)算優(yōu)先等措施，確保用戶數(shù)據(jù)的安全性和隱私性。
最后，HomePlay OS強(qiáng)調(diào)全棧開(kāi)放性，支持多層不同形式的開(kāi)放性，包括算法開(kāi)放、硬件接入、模型和服務(wù)組合，支持開(kāi)發(fā)專(zhuān)屬代理以及低門(mén)檻使用，滿足不同開(kāi)發(fā)者的需求，促進(jìn)創(chuàng)新和發(fā)展。
落地案例印證螢石開(kāi)放平臺(tái)AI能力
以AI技術(shù)推動(dòng)服務(wù)升級(jí)，最終的效果如何需要通過(guò)客戶體驗(yàn)來(lái)判定。如果沒(méi)有用戶的積極反饋和認(rèn)可，所有的技術(shù)創(chuàng)新都是一廂情愿的無(wú)效努力。
談小娛是自助臺(tái)球開(kāi)創(chuàng)者，已在全國(guó)布局300多個(gè)城市，超過(guò)5000家門(mén)店，覆蓋用戶800多萬(wàn)人，談小娛輕裝上陣，利用視覺(jué)能力，讓監(jiān)控、運(yùn)營(yíng)、營(yíng)銷(xiāo)等重人力環(huán)節(jié)高效釋放，持續(xù)為業(yè)務(wù)擴(kuò)張?zhí)峁﹦?dòng)力。基于螢石云服務(wù)能力，談小娛創(chuàng)新性打造了視頻內(nèi)容生產(chǎn)和用戶直播功能，通過(guò)自動(dòng)獲取精彩瞬間、低延時(shí)直播等方式，進(jìn)一步放大臺(tái)球在短視頻時(shí)代的社交屬性。雙方在AI 應(yīng)用上合作精進(jìn)，已上線AI短視頻剪輯、AI視覺(jué)追蹤算法清臺(tái)、AI電子裁判及AI數(shù)據(jù)化運(yùn)營(yíng)等豐富的運(yùn)營(yíng)、管理方案。
酷店掌是專(zhuān)注于連鎖門(mén)店的數(shù)字化運(yùn)營(yíng)服務(wù)商，合作終端店鋪150,000+，對(duì)傳統(tǒng)門(mén)店智能化升級(jí)具備豐富的實(shí)踐經(jīng)驗(yàn)。基于螢石云物聯(lián)底座，酷店掌推出了數(shù)字化門(mén)店運(yùn)營(yíng)變革方案，新一代門(mén)店管理已全面啟用數(shù)字化、可視化和AI 智能化，涵蓋線上線下巡店、人員管理、運(yùn)營(yíng)管理、業(yè)務(wù)培訓(xùn)、經(jīng)營(yíng)分析等維度，不斷優(yōu)化門(mén)店降本增效的新策略。24年，酷店掌還進(jìn)一步引入了螢石物聯(lián)專(zhuān)有云服務(wù)，構(gòu)建專(zhuān)屬的視頻AIoT平臺(tái)，為自身業(yè)務(wù)不斷上漲的智能設(shè)備管理持續(xù)保駕護(hù)航。
通過(guò)與談小娛和酷店掌等領(lǐng)先企業(yè)的合作，螢石云不僅成功地將其AI能力轉(zhuǎn)化為可見(jiàn)的業(yè)務(wù)成果，還通過(guò)這些合作伙伴的成功案例，展示了AI技術(shù)在提高效率、優(yōu)化成本和增強(qiáng)用戶體驗(yàn)方面的真實(shí)潛力。
寫(xiě)在最后
讓AI技術(shù)走出比特世界，通過(guò)與實(shí)體設(shè)備結(jié)合進(jìn)而影響現(xiàn)實(shí)物理世界是AI技術(shù)發(fā)展的下一步。以螢石為代表的智能物聯(lián)及視覺(jué)技術(shù)服務(wù)企業(yè)，正依托于其扎實(shí)的業(yè)務(wù)基礎(chǔ)和對(duì)AI及行業(yè)未來(lái)趨勢(shì)的深刻理解，探索將AI技術(shù)與物聯(lián)網(wǎng)設(shè)備整合的新途徑。
基于藍(lán)海大模型和HomePlay OS架構(gòu)支撐的螢石開(kāi)放平臺(tái)，不僅為開(kāi)發(fā)者提供了強(qiáng)大的工具和資源，也為終端用戶創(chuàng)造了更加智能和便捷的生活方式。圍繞音視頻技術(shù)，螢石正在通過(guò)一系列從基礎(chǔ)算法到高級(jí)應(yīng)用的技術(shù)迭代，投身于一場(chǎng)旨在提升行業(yè)效率、增強(qiáng)用戶體驗(yàn)，并持續(xù)推動(dòng)物聯(lián)網(wǎng)生態(tài)創(chuàng)新的技術(shù)革命。
