1. GPT4：AI技術和工程的偉大創新，邁向AGI時代
GPT4：全球領先的“智能涌現”AI大模型
GPT-4 是世界第一個最接近AGI的先進AI系統。Generative Pre-trained Transformer 4 ( GPT-4 ) 是OpenAI創建的 多模態大型語言模型，于 2023 年 3 月 14 日發布，并已通過ChatGPT Plus和商業API形式對外提供服務。 ChatGPT是OpenAI在2022年11月推出的基于 GPT-3.5的新型 AI聊天機器人，只需向ChatGPT提出需求，即可實現文 章創作、代碼創作、回答問題等功能。ChatGPT從推出到月用戶過億僅用了2個月時間，是世界上增速最快消費級應用。
GPT4的顯著特征“涌現能力”， LLM的涌現能力被正式定義為“在小型模型中不存在，但在大型模型中出現的能力” 。 涌現能力出現時的一個顯著特點：當模型規模達到一定程度時，性能顯著提升。這種涌現模式與物理學中的相變現象有 著密切的聯系。原則上，涌現能力也可以根據一些復雜任務來定義。 涌現是非線性深度網絡的基本特征，也是群體智能行為與復雜思維，感知與認知的基本特質。
OpenAI： AG I的重要推手
GPT-4 幕后的研發團隊大致可分為七個部分：預訓練(Pretraining)、長上下文(Long context)、視覺(Vision)、強 化學習 & 對齊(RL & alignment)、評估 & 分析(Evaluation & analysis)、部署(Deployment)，以及其他。
GPT4六大顛覆式技術創新：大參數+大數據+算法創新
參數擴大是提高LLM模型能力的關鍵因素。GPT-3首先 將模型大小增加到175B參數的極大規模。語言模型前期 的性能和模型規模大致呈線性關系，當模型規模大到一 定程度時，任務性能有了明顯的突變。 大規模語言模型基座的可擴展性很強，實現反復自我迭代。 因此，LLM也被看作是實現通用人工智能AGI的希望。
模型能力不僅與模型大小有關，還與數據 大小和總計算量有關。同時，預訓練數據 的質量對取得良好的性能起著關鍵作用， 因此在擴展預訓練語料庫時，數據收集和 清洗策略是非常重要的考慮。 預訓練語料庫的來源大致可以分為兩類: 通用數據：如網頁、書籍和對話文本， 由于其龐大、多樣化和可訪問性，被 大多數LLM使用，可以增強LLM的語 言建模和泛化能力。 專業數據：如多語言數據、科學數據 和代碼，使LLM具有特定的任務解決 能力。
GPT4六大顛覆式技術創新：Transformer
Self-Attention自注意力機制：當模型處理每個詞(輸入序列中的每個位置)時，Self-Attention 機制使得模型不僅能夠 關注當前位置的詞，而且能夠關注句子中其他位置的詞，從而可以更好地編碼這個詞。即單詞自己記住我和哪些單詞在同一 句話里面。 Transformer基于自注意力機制，學會單詞和單詞之間共同出現的概率，在語料輸入后，可以輸出單詞和單詞共同出現的 概率，同時，Transformer能夠挖掘長距離上下文的詞之間的雙向關系。
GPT4六大顛覆式技術創新：Prompt
語境學習(in-context learning, ICL)作為一種特殊的提示形式與GPT-3一起被首次提出，并已成為一種典型的利用LL的 方法。首先，從任務描述開始，從任務數據集中選擇一些示例作為演示。然后，將它們按照特定的順序組合起來，形成具 有特殊設計模板的自然語言提示。最后，測試實例被附加到演示中，作為LLM生成輸出的輸入。基于任務演示，LLM可以 在不顯式梯度更新的情況下識別并執行新任務。
2. AI算力：GPT的基座，顯著受益于新一輪科技革命
GPT開啟AI新紀元：對標Wi ndo ws的生態價值
ChatGPT的發布類似于Windows的誕生。 ChatGTP作為大語言模型，將會起到信息系統入口的作用，同時，ChatGPT或將重塑目前的軟件生態。 2022年，Windows在全球PC操作系統市占率約75%，應用數量3000萬以上，是世界上生態規模最龐大的商業操作系統。 圍繞Windows所創造的桌面軟件生態，誕生了現有的全球互聯網巨頭，亞馬遜、谷歌、META、阿里巴巴、騰訊、百度等。
算力是大模型的根基，GPT的率先受益賽道
算力是對信息數據進行處理輸出目標結果的計算能力。隨著社會數字化轉型 的持續深入，算力已成為支撐和推動數字經濟發展的核心力量，并對推動科 技進步、社會治理等發揮著重要的作用。根據中國算力發展指數白皮書測算， 算力沒投入1元，將帶動3-4元的經濟產出。 2021年全球計算設備算力總規模達到615EFlops，同比增長44%，其中智 能算力規模為232EFlops，超級算力規模為14EFlops。智算中心、邊緣數 據中心將保持高速增長。
微軟投資10億美金打造OpenAI超算平臺。2020年5月，微軟投資10億美金與OpenAI獨家合作打造了Azure AI超算平臺 亮相，性能位居全球前五，擁有超過28.5萬個CPU核心、1萬個GPU、每GPU擁有400Gbps網絡帶寬的超級計算機，主要 用于大規模分布式AI模型訓練。 據OpenAI報告，訓練一次1746億參數的 GPT-3模型需要的算力約為3640 PFlop/s-day。即假如每秒計算一千萬億次， 也需要計算3640天。
3. 計算：GPU為算力核心，服務器為重要載體
服務器：AI算力的重要載體
服務器通常是指那些具有較高計算能力，能夠提供給多個用戶使用的計算機。服務器與PC機的不同點很多，例如PC機在 一個時刻通常只為一個用戶服務。服務器與主機不同，主機是通過終端給用戶使用的，服務器是通過網絡給客戶端用戶使 用的，所以除了要擁有終端設備，還要利用網絡才能使用服務器電腦，但用戶連上線后就能使用服務器上的特定服務了。
AI服務器是一種能夠提供人工智能(AI)計算的服務器。它既可以用來支持本地應用程序和網頁，也可以為云和本地服務 器提供復雜的AI模型和服務。AI服務器有助于為各種實時AI應用提供實時計算服務。AI服務器按應用場景可分為訓練和推 理兩種，其中訓練對芯片算力要求更高，推理對算力的要求偏低。
GPU：AI算力的核心
AI芯片是算力的核心。AI芯片也被稱為AI加速器或計算卡，即專門用于處理人工智能應用中的大量計算任務的模 塊(其他非計算任務仍由CPU負責)。伴隨數據海量增長，算法模型趨向復雜，處理對象異構，計算性能要求高， AI 芯片在人工智能的算法和應用上做針對性設計，可高效處理人工智能應用中日漸多樣繁雜的計算任務。
GPU是目前最廣泛應用的AI芯片。AI芯片主要包括圖形處理器(GPU)、現場可編程門陣列(FPGA)、專用 集成電路(ASIC)、神經擬態芯片(NPU)等。GPU屬于通用型芯片，ASIC屬于專用型芯片，而FPGA則是 介于兩者之間的半定制化芯片。2022年，我國GPU服務器占AI服務器的89%。
CUDA是英偉達2007年推出的一種并行計算平臺和應用程序編程接口(API)，允許軟件使用某些類型的GPU進行通用計 算機處理。CUDA與 NVIDIA GPU 無縫協作，加速跨多個領域的應用程序開發和部署。 目前，超過一百萬的開發人員正在使用 CUDA-X，它提供了提高生產力的能力，同時受益于持續的應用程序性能。
4. 網絡：數據中心算力瓶頸，光模塊需求放量
網絡：算力的瓶頸之一，英偉達布局I nf i ni Band
數據通信設備(網絡設備、ICT設備)泛指實現IP網絡接入終端、局域網、廣域網間連接、數據交換及相關安全防護等功能的 通信設備，主要大類包括交換機、路由器、WLAN。其中主要的是交換機和路由器。 網絡設備是互聯網基本的物理設施層，屬于信息化建設所需的基礎架構產品。
網絡設備制造服務行業，上游主要為芯片、PCB、電源、各類電子元器件等生產商，直接下游為各網絡設備品牌 商， 終下游包括運營商、政府、金融、教育、能源、電力、交通、中小企業、醫院等各個行業。 網絡設備根據應用領域分為電信級、企業級和消費級。電信級網絡設備主要應用于電信運營商市場，用于搭建核心骨干 互聯網;企業級網絡設備主要應用于非運營商的各種企業級應用市場，包括政府、金融、電力、醫療、教育、制造業、 中小企業等市場;消費級網絡設備主要針對家庭及個人消費市場。
英偉達NVSwitch。第三代 NVSwitch 技術包 括位于節點內部和外部的交換機，用于連接服 務器、集群和數據中心環境中的多個 GPU。 節點內的每個 NVSwitch 具有 64 個第四代 NVLink 鏈路端口，可加速多 GPU 連接。交 換機總吞吐量從上一代的 7.2Tb/s 提升到 13.6Tb/s。新的第三代NVSwitch 技術還通過 組播和 NVIDIA SHARP 在網計算，為集合運 算提供硬件加速。 英偉達結合全新 NVLINK 和 NVSwitch 技術， 構建大型NVLink Switch 系統網絡，實現前 所未有的通信帶寬水平。 NVLink Switch 系統 最多可支持 256 個 GPU。互連節點能夠提供 57.6 TB 的多對多帶寬，可提供高達 1 exaFLOP 級別的 FP8 稀疏計算算力。
光模塊：網絡核心器件，AI訓練提振800G需求
光模塊行業的上游主要包括光芯片、電芯片、光組件企業。光組件行業的供應商較多，但高端光芯片和電芯片技術壁壘高， 研發成本高昂，主要由境外企業壟斷。光模塊行業位于產業鏈的中游，屬于封裝環節。光模塊行業下游包括互聯網及云計算 企業、電信運營商、數據通信和光通信設備商等。
作為信息化和互連通信系統中必需的核心器件，光通信模塊的發展對 5G 通信、電子、大數據、互聯網行業的影響至關重 要。全球數據流量的增長，光通信模塊速率的提升，光通信技術的創新等推動光模塊產業規模持續增長。全球光模塊市場 Lightcounting 預測，全球光模塊的市場規模在未來 5 年將以 CAGR11%保持增長，2027 年將突破 200 億美元。另外， 高算力、低功耗是未來市場的重要發展方向，CPO、硅光技術或將成為高算力場景 下“降本增效”的解決方案。
光模塊應用場景主要可以分為數據通信和網絡通信兩大領域。數據通信領域主要是指互聯網數據中心以及企業數據中心。網 絡通信主要包括光纖接入網、城域網/骨干網以及5G接入、承載網為代表的移動網絡應用。
5. 存儲：人工智能“內存墻”，3D工藝持續突破
存儲：半導體產業核心支柱，AI算力的“內存墻”
計算機存儲器是一種利用半導體、磁性介質等技術制成的存儲資料的電子設備。其電子電路中的資料以二進制方式存儲， 不同存儲器產品中基本單元的名稱也不一樣。 存儲芯片可分為掉電易失和掉電非易失兩種，其中易失存儲芯片主要包含靜態隨機存取存儲器(SRAM)和動態隨機存取 存儲器(DRAM);非易失性存儲器主要包括可編程只讀存儲器(PROM)，閃存存儲器(Flash)和可擦除可編程只讀 寄存器(EPROM/EEPROM)等。NAND Flash和DRAM存儲器領域合計占半導體存儲器市場比例達到95%以上。
NVIDIA DGX GH200 是第一臺通過GPU的NVLink 聯接實現144TB 內存的超級計算機。NVIDIA DGX GH200 通過 NVLink 為 GPU 共享內存編程模型提供了近 500 倍的內存，形成了一個巨大的數據中心大小的 GPU。NVIDIA DGX GH200 是第一臺通過在 256 個NVIDIA Grace Hopper 超級芯片上提供 144TB 海量共享內存空間的 AI 超級計算機。 NVIDIA DGX GH200中的每個NVIDIA Grace Hopper超級芯片具有480 GB LPDDR5 CPU內存，每GB的功率是 DDR5和96 GB fast HBM3的八分之一。NVIDIA Grace CPU和Hopper GPU通過NVLink互連，每個GPU都可以以 900GBps的速度訪問其他GPU的內存和NVIDIA Grace CPU的擴展GPU內存。
NAND：大容量存儲的最佳方案，3D NAND技術持續突破
NAND Flash是大容量存儲器當前應用最廣和最有效的解決方案。據Gartner統計,NAND Flash2020年市場規模為534.1 億美元。隨著人工智能、物聯網、大數據、5G等新興應用場景不斷落地，電子設備需要存儲的數據也越來越龐大，NAND Flash需求量巨大，市場前景廣闊。 目前全球具備NAND Flash晶圓生產能力的主要有三星、鎧俠、西部數據、美光、SK海力士、英特爾等企業，國產廠商長 江存儲處于起步狀態，正在市場份額與技術上奮起直追。根據Omdia的數據統計，2020年六大NAND Flash晶圓廠占據了 98%的市場份額。
DRAM：存儲器最大細分市場，3 D成為重要方向
DRAM(Dynamic Random Access Memory，動態隨機存取存儲器)是一種半導體存儲器，主要的作用原理是利用電 容內存儲電荷的多寡來代表一個二進制比特(bit)是1還是0。DRAM根據應用設備可分為計算機(DDR)、移動 (LPDDR)、圖形存儲器DRAM(GDDR)，DDR和LPDDR合計占DRAM應用比例約90%。 DRAM優勢：體積容量高、成本低、高密度、結構簡單; DRAM挑戰：訪問速度慢、耗電量大。
HBM(High Bandwidth Memory)高帶寬存儲器，是一種面向 需要極高吞吐量的數據密集型應用程序的DRAM。 HBM特點：更高帶寬、更多I/O數量、更低功耗、更小尺寸。 HBM挑戰：靈活性不足、容量小、訪問延遲高。 超高的帶寬讓HBM成為了高性能GPU的核心組件。根據 TrendForce報告，目前市場上主要的HBM制造商為SK 海力士、 三星、美光，市占率分別為50%、40%、10%。
