你知道一部智能手機有多少顆芯片嗎?
作為當下每個人最離不開的電子設備,一部智能手機雖然只有巴掌大小,但它內部卻至少集成了100顆以上的芯片。其中,大家最熟悉的自然還是SoC了,SoC被稱為系統級芯片,其集成了CPU、GPU、ISP、NPU等,因此我們可以說SoC是手機的“核心處理器”。
這么多的芯片中,NPU(神經網絡處理器)的名字不像CPU和GPU那么響亮,但它扮演的卻是最聰明的角色,專門負責實現AI運算和AI應用,直接影響手機AI能力的強弱。NPU具備的AI能力可以顯著改變現有的手機功能,而影像就是一個極富應用前景的領域。
在12月14日的OPPO 2021年度未來科技大會上,OPPO就發布了首個自研NPU芯片馬里亞納 MariSilicon X,這顆芯片是全球首顆為影像而生的專用NPU芯片,它的出現將極大提升計算攝影的能力和參與程度。其背后展示了OPPO對于“自研芯片”的決心,也透露出其未來發展的新思路。
至此,中國智能手機四大頭部廠商也均加入了自研芯片的「芯」賽道。
智能手機中蘊含的芯片有很多,也表示著手機廠商在自研芯片的選擇上有非常多的方向,為何OPPO偏偏選擇了影像NPU作為其首個自研的方向呢?其背后的發展邏輯與OPPO堅持的技術賽道密不可分。
OPPO Find X3
很長一段時間里,用戶對智能手機最高的需求就是對于影像品質的追求。對于手機品牌而言,要滿足用戶需求,就必然要在影像技術上實現關鍵性突破。
要想增強影像能力,最直接的方式就是換用尺寸更大的傳感器,但機身空間有限的智能手機注定不允許動輒三四個碩大的影像傳感器的存在;再加之尺寸更大的傳感器需要更長的物理焦距,維持等效27mm左右的主流焦距時會讓手機的厚度同步激增,這注定不是一個可持續的發展方向。
OPPO經過過去R系列、Reno系列、Find系列數年在影像技術上的探索,發現想要從傳感器、鏡頭等光學方面繼續提升移動影像素質已經遇到了瓶頸。只有通過影像專用NPU,才能解決目前ISP功能局限和通用算力不足、傳感器尺寸和鏡組光學素質止步不前的難題,這也是未來影像發展的主流方向。
而且,目前來看上游供應商提供的通用芯片以及NPU芯片都無法滿足AI對計算影像提出的算力和能效要求。因此,要兼顧高算力和低能耗,OPPO也不得不自研影像專用的NPU。
此次OPPO之所以將項目的名稱定為「馬里亞納」也頗為形象,其背后有兩個原因。其一,如果想要達到OPPO期待的移動端優質AI影像體驗,更加成熟的芯片生產制程(如12nm)已經無法滿足,所以其首個自研芯片就直接上馬6nm制程工藝,這對于OPPO整個自研芯片團隊都是一個極大的挑戰。
另一方面,「馬里亞納」的名字也是OPPO對于自研芯片挑戰的一個決心,同時也表達了OPPO將以自己最擅長的領域,對手機最底層的芯片發起沖擊。
被OPPO寄予厚望的馬里亞納 MariSilicon X到底是怎樣的一款芯片呢?
首先,我們要了解馬里亞納 MariSilicon X是一款NPU芯片,而不是ISP模塊,有著后者所不具備的AI計算能力,能夠用神經網絡實現影像的降噪和細節提升。它采用了AI時代的DSA新黃金架構理念,旨在針對OPPO的AI影像需求,放棄對次要能力的兼容,而是將全部芯片面積和算力都投入影像領域中,也就是所謂的“專芯專用”,任務更明確,性能自然也就更強。目前全球前沿科技公司都在采用DSA做AI,比如Google的TPU。但是,使用DSA架構也意味著這顆芯片的專用性,對于廠商的芯片方向規劃要求極高,需要提前預判在芯片研發到商用的幾年內,影像風口究竟在哪里。
其內部架構由“MariNeuro”自研AI計算單元、“MariLumi”自研影像處理單元、配套的影像專用內存子系統和I/O組件等組成。
此外,馬里亞納 MariSilicon X制程方面直接上馬目前行業非常先進的6nm制程工藝,由臺積電進行代工。選擇6nm雖然可以帶來更強的性能表現,但隨之而來的高投入、高風險、高難度和高不確定性不言而喻。
據行業報道,6nm芯片1次流片費用高達1個億,正式流片實驗前沒人知道是否成功,一旦失敗就面臨推倒重來。好在OPPO在流片階段一次就成功了,據OPPO芯片產品高級總監姜波回憶:“記得流片拿回來之后沒有絲毫耽誤,點亮過程中就是24小時,整個研發團隊都非常激動,我們完成了一個巨大的挑戰!”
對于用戶實際使用上的提升,馬里亞納 MariSilicon X將主要用AI技術解決傳統手機影像難題——弱光視頻畫質,將計算攝影推向了4K+20bit RAW+AI+Ultra HDR的新極限。對于不懂攝影的人來說這串復雜的名詞可能難以理解,說白了就是要讓畫面擁有豐富細節(4k分辨率是主流1080p的4倍,畫面細節更豐富)、高寬容度(畫面中非常亮的部分與極暗的部分都清晰可見)、純凈畫面(通過AI計算實現近乎無噪點的夜景視頻)和無損計算(影像數據損耗小,保留更多信息和細節,對后期更友好),盡可能保證畫面的「原汁原味」。
舉個簡單的例子,比如我們在一個昏暗的劇場中拍照,如果是沒有AI計算攝影,整個畫面中可能是全部黑暗,又或者只能看到微弱的色彩。而未來有了馬里亞納 MariSilicon X,OPPO可以借助其“MariLumi”影像處理單元,顯著提升HDR(高動態范圍成像)能力表現,讓劇場中拍攝的畫面,都可以還原出人眼看到的狀態。
聽起來這個改變很簡單,但其背后是非常困難的研發過程。要知道現在安卓旗艦平臺驍龍8也僅支持18bit HDR,OPPO這第一次自研芯片,就可以將其位寬提高到20Bit。這2Bit之間,畫面寬容度整整提升4倍(2的20次方與2的18次方對比),直接從原來的25萬:1,提升到100萬:1。
此外,馬里亞納 MariSilicon X還可以實現4K 30幀AI夜景。拍照比拼已難分勝負,視頻是下一個競爭賽道,而視頻的實時處理特性,令其難度遠大于照片的先拍后算。OPPO能同時實現4K+AI+HDR規格夜景視頻,已經摸到了目前手機影像性能的天花板。
在發布之初,OPPO還公布了一段「馬里亞納 MariSilicon X原型機」、iPhone 13 Pro Max以及OPPO Find X3 Pro三臺手機在4K極限暗環境下實拍對比。從中我們可以看到,無論是亮度、色彩以及細節的還原,三者之間差距都非常明顯。
之所以能實現如此優異表現,也離不開馬里亞納 MariSilicon X高達18TOPS@int8的計算能力,它的表現比搭載驍龍888的OPPO Find X3快了20倍,單從AI算力上來講,它已經超越蘋果目前最新的A15 SoC處理器,后者AI算力約15.8TOPS。
當然,馬里亞納 MariSilicon X 能力不止這一方面,其還擁有實時RAW計算、RGBW Pro以及雙層存儲等等很多的特點。簡單理解的話,馬里亞納 MariSilicon X未來在智能手機中的應用將獨立于SoC存在,而不是替代SoC中AI能力,最終目的是對手機影像的獨立提升,實現1+1>2的結果。
目前的手機行業中,大多采用的都是主流SoC的平臺架構,其承載了手機運行過程中的主要處理工作,其實它也是集成了CPU、GPU以及NPU等不同的芯片模塊,只是封裝到同一顆芯片而已。
對于手機廠商來說,在自研芯片領域如果直接挑戰SoC的研發,需要更長的時間成本、人力成本以及投入成本,其背后需要極為豐富的經驗和試錯過程,包括異構設計能力、解決算法問題以及與生產廠商的制程工藝選擇等等一系列問題。
對于現在這個階段,夯實某一功能的芯片自研技術變得更加現實,并且從中還可以得到更多的經驗。通過雙芯甚至多芯協同的做法,在某一垂直優化路線上也可以做到功能的跨越式提升,構筑自家的技術壁壘。
OPPO已經計劃于2022年第一季度中的下一代Find X系列旗艦級智能手機中搭載馬里亞納 MariSilicon X,這個動作也證明了OPPO對其芯片能力的信心。
不過,我們從OPPO直接選擇NPU,而沒有選擇ISP也可以看出,OPPO已經將芯片的異構設計能力納入自研范圍之內。OPPO的終極目標是通過芯片自研開啟手機科技創新與影像能力躍升的新時代,此次發布的馬里亞納 MariSilicon X是OPPO檢驗自身技術能力和實力的產品,也使其像華為、蘋果一樣,成為擁有自研芯片能力的科技公司。相信這顆影像專用NPU只是現階段的嘗試,后續還將有更多動作尚待揭曉。