最近FPGA這個市場好不熱鬧，國內(nèi)FPGA第一股安路科技登陸科創(chuàng)板，瑞薩宣布進(jìn)軍FPGA。老大賽靈思和老二Altera已經(jīng)相繼被收購，老三Lattice近年來憑借低功耗在FPGA市場闖出一番天地。過去四年來，Lattice的出貨量已達(dá)10億顆，儼然成為了全球出貨量最大的FPGA廠商。
FPGA已經(jīng)存在了幾十年，發(fā)展到現(xiàn)在，將FPGA用于AI是一大趨勢。FPGA在加速 AI 相關(guān)工作負(fù)載（尤其是推理）方面顯示出巨大潛力。使用 FPGA 加速機(jī)器學(xué)習(xí)和深度學(xué)習(xí)過程的主要優(yōu)勢是它們的靈活性、自定義并行性以及為多種目的重新編程的能力。現(xiàn)在Lattice嗅到了邊緣計算AI推理的商機(jī)。
為什么選擇FPGA實(shí)現(xiàn)網(wǎng)絡(luò)邊緣AI？
目前，網(wǎng)絡(luò)邊緣的計算正在快速興起。有很多新的應(yīng)用都在邊緣端發(fā)展出新的應(yīng)用和使用場景。據(jù)ABI的研究調(diào)查表明，預(yù)計到2024年設(shè)備端的AI推理功能將覆蓋近60%的設(shè)備。Lattice看到了這其中的機(jī)會，正在將FPGA運(yùn)用到邊緣計算AI推理中。
那為什么要選擇FPGA來實(shí)現(xiàn)網(wǎng)絡(luò)邊緣的AI呢？要知道，AI的算法靈活多變，技術(shù)每天都在推陳出新。FPGA相對來說是更適合網(wǎng)絡(luò)邊緣來實(shí)現(xiàn)AI計算的技術(shù)。因?yàn)镕PGA硬件可編程的最大特點(diǎn)也可以適應(yīng)快速變化的機(jī)器學(xué)習(xí)算法。憑借本身的特點(diǎn)，可以做靈活的計算資源，包括預(yù)處理、后處理、圖像處理和濾波等數(shù)據(jù)。還能進(jìn)行性能擴(kuò)展，可并行和串行執(zhí)行多個案例。
再來很重要的一點(diǎn)是，由于邊緣端對功耗的敏感度和尺寸的大小是有比較嚴(yán)格的要求，而小封裝和低功耗恰好是Lattice FPGA的特點(diǎn)。Lattice的FPGA可以在網(wǎng)絡(luò)邊緣AI實(shí)現(xiàn)一毫瓦到低于一瓦的超低功耗。同時，Lattice FPGA內(nèi)嵌了很多安全功能區(qū)域，具有很高的安全性。
反過來，AI技術(shù)的快速創(chuàng)新對可編程邏輯器件FPGA來說是有利的，F(xiàn)PGA可以配合AI技術(shù)隨時為用戶提供最佳體驗(yàn)。據(jù)Lattice亞太區(qū)資深市場開拓經(jīng)理林國松的深一步解釋，近十年來AI模型快速發(fā)展，從下圖中可以看到從2012年到2021年AI分類模型創(chuàng)新的數(shù)量在逐年遞增。由于AI技術(shù)的不斷創(chuàng)新，導(dǎo)致不斷有新的實(shí)現(xiàn)方式產(chǎn)生。而新的實(shí)現(xiàn)方式的產(chǎn)生需要有更快的硬件來實(shí)現(xiàn)，這就需要硬件和算法上的優(yōu)化。
對此，深諳邊緣計算需求的Lattice，此次更新了其低功耗、AI/ML解決方案的最新路線圖。
發(fā)布SenseAI 4.1，AI與傳感器的融合
現(xiàn)在客戶端計算設(shè)備越來越需要快速響應(yīng)和情景感知式的用戶體驗(yàn)、高質(zhì)量視頻會議和協(xié)作式應(yīng)用。于是Lattice將其sensAITM與Nexus?這兩個解決方案集合在一起，發(fā)布了sensAI解決方案集合的最新版本4.1，來幫助OEM廠商開發(fā)智能、實(shí)時在線、具有低功耗和硬件加速AI功能的設(shè)備。它支持萊迪思基于AI的應(yīng)用路線圖。
本次新推出的sensAI 4.1會增加支持的器件是Lattice今年剛剛推出的Nexus系列產(chǎn)品CetusPro-NX器件。并對這個器件進(jìn)行了優(yōu)化，提升了CetusPro-NX的容量，同時計算的能力和功效也會提高，在這塊器件基礎(chǔ)上，Lattice推出了相對應(yīng)的開發(fā)版，他們稱之為聲音和視覺機(jī)器學(xué)習(xí)版。也提供了支持這塊新芯片的CNN Plus加速器，以及相對應(yīng)的sensAI Studio（后文有詳細(xì)介紹）。
sensAI 4.1將會提供三個參考設(shè)計，包括人員偵測、注意力追蹤和目標(biāo)分類。同時，在智能家居、智慧城市、工廠、智能汽車這些方面Lattice也都可以提供相對應(yīng)的設(shè)計服務(wù)。Lattice一直使用的訓(xùn)練設(shè)計的方法是通過標(biāo)準(zhǔn)的Caffe、TensorFlow、TensorFlowLite、Keras等常用培訓(xùn)網(wǎng)絡(luò)培訓(xùn)完之后，再交由Lattice提供的神經(jīng)網(wǎng)絡(luò)編譯器，編譯成相對應(yīng)的可執(zhí)行指令，這些指令最終會由Lattice的芯片調(diào)取使用。
林國松也介紹了Lattice在軟硬件方面所進(jìn)行的優(yōu)化方法。在硬件優(yōu)化上，主要是兩方面的結(jié)合，一個是把SenseAI組件通過FPGA的設(shè)計工具，將Lattice Radiant和DIAMOND結(jié)合之后，產(chǎn)生FPGA比特流。另一個是，把訓(xùn)練后的模型錄進(jìn)神經(jīng)網(wǎng)絡(luò)編譯器，這樣產(chǎn)生一個類似于中央處理器的功能，而后產(chǎn)生的量化的權(quán)重和指令更多指向于執(zhí)行的代碼，這兩個結(jié)合之后，最終產(chǎn)生機(jī)器學(xué)習(xí)的框架。
在軟件設(shè)計層面，為了便于大家開發(fā)設(shè)計，Lattice專門提供了一個PROPEL的軟件，它能對整個內(nèi)部結(jié)果進(jìn)行類似于C代碼的控制，而不是使用比較難以上手的FPGA的開發(fā)代碼，便于初學(xué)者能夠調(diào)用一些基本的指令進(jìn)行一些控制。具體設(shè)計參看下圖，下圖中左側(cè)更多指的是Lattice的開發(fā)AI引擎的一些架構(gòu)，包括機(jī)器學(xué)習(xí)引擎，以此能夠做視覺的收取，同時做軟核的控制。
Lattice還推出了一款易于使用的工具sensAI Studio，這是一款基于GUI的工具，擁有AI模型庫，經(jīng)過配置和訓(xùn)練可適用于各類主流應(yīng)用場景。林國松解釋道，之所以推出這個Studio是因?yàn)槲覀兪盏搅撕芏嚓P(guān)于配置機(jī)器學(xué)習(xí)培訓(xùn)環(huán)境的反饋，用戶在這方面會遇到一些難題，主要是由于這些培訓(xùn)環(huán)境的應(yīng)用場景，應(yīng)用軟件更新的非常快，有可能幾天就會有一次更新，所以軟件和軟件之間的兼容性就很難解決。為了解決這樣的問題，Lattice特別推出了Lattice sensAI Studio。
在具體的應(yīng)用中，SenseAI 4.1可以以低功耗追蹤多個目標(biāo)，例如其最新推出的CrossLink-NX，在分辨率為224×224×3色RGB的情況下，其速度可以達(dá)到33fps，可以進(jìn)行目標(biāo)分類和追蹤多個目標(biāo)，例如在條形碼檢測、瑕疵檢測及機(jī)器人導(dǎo)航。值得一提的是，CrossLink-NX這個器件本身是作為低功耗的器件，是Lattice花了很大的力氣，專為網(wǎng)絡(luò)邊緣應(yīng)用打造的。
SenseAI助力下一代PC體驗(yàn)
現(xiàn)在PC已經(jīng)成為大家工作和生活中接觸時間最長的電子工具之一。根據(jù)smartinsights的調(diào)查，用戶習(xí)慣于在白天的時候使用手提電腦，而晚上更多是使用臺式電腦。而Lattice也觀察到，下一代PC的趨勢將集中在智能和感知，強(qiáng)大的協(xié)作能力和輕薄的外形三個方面。
Lattice sensAI的智能和感知AI解決方案提供了用戶檢測、注意力追蹤、旁觀者檢測及面部取景功能。具體來看，現(xiàn)在多數(shù)的電腦都是以鼠標(biāo)是否移動來判定用戶是否在使用電腦的，如果鼠標(biāo)長期未移動，電腦就會息屏。Lattice更高端的用戶檢測，通過注意力追蹤可以延長28%的電池壽命，具體表現(xiàn)為在人接近電腦時自動開啟，并持續(xù)追蹤注意力，在離開時自動鎖屏；旁觀者檢測可以保護(hù)用戶隱私數(shù)據(jù)，而面部取景也是很多協(xié)作式會議所需的場景。
可能很多人會擔(dān)心用戶隱私的問題，這點(diǎn)林國松也做出了解釋，sensAI是符合道德和合理的AI設(shè)計考量。使用Lattice sensAI可以不把圖像傳給電腦，直接在硬件上處理。也就是通過Lattice sensAI只會傳出一個結(jié)果，而不會傳輸圖像，這樣的話用戶的肖像權(quán)就不會受到侵害。同時Lattice sensAI也專注于用戶體驗(yàn)，針對不同的復(fù)雜場景進(jìn)行壓力測試，包括燈光，場景及用戶面部和頭部穿戴的變化。
為了能夠讓Lattice這款產(chǎn)品能夠在PC上得到落實(shí)，Lattice需要和OEM、芯片廠商、操作系統(tǒng)和軟件的支持，還需要傳感器的合作。在傳感器方面，Lattice本身就與很多傳感器廠商有很好的合作，可以保證傳感器輸出的信息能夠和不同的AP的處理器進(jìn)行很好的互聯(lián)。
寫在最后
在FPGA這個市場上，Lattice一直穩(wěn)扎穩(wěn)打，而且這幾年的攻勢愈發(fā)迅猛。可以看到，近幾年Lattice推出新器件的步伐明顯增快，差不多每年都會推出一款新器件，包括CrossLink-NX，Certus-NX這兩款都是去年推出的，Mach-NX、CertusPro-NX都是今年推的，明年上半年還會有新產(chǎn)品發(fā)布，同時后續(xù)的一系列產(chǎn)品都已經(jīng)在細(xì)化中。
資訊來源：半導(dǎo)體行業(yè)觀察
