谷歌第五代定制張量處理器(TPU)芯片TPU v5e用于大模型訓(xùn)練和推理，訓(xùn)練和運(yùn)行AI模型的速度提高了5倍。與上一代芯片相比，TPU v5e每一美元的訓(xùn)練性能提高2倍，每一美元的推理性能提高2.5倍。
谷歌第五代定制張量處理器(TPU)芯片TPU v5e用于大模型訓(xùn)練和推理，訓(xùn)練和運(yùn)行AI模型的速度提高了5倍。
當(dāng)?shù)貢r(shí)間8月29日，谷歌在舊金山的年度云會(huì)議Google Cloud Next上發(fā)布了新的人工智能芯片，即第五代定制張量處理器(TPU)芯片TPU v5e，用于大模型訓(xùn)練和推理。與上一代芯片相比，TPU v5e每一美元的訓(xùn)練性能提高2倍，每一美元的推理性能提高2.5倍。
TPU是谷歌為神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的專用芯片，TPU經(jīng)過優(yōu)化可加快機(jī)器學(xué)習(xí)模型的訓(xùn)練和推斷速度，2016年推出第一代TPU，2021年發(fā)布第四代定制處理器TPU，2022年面向開發(fā)者提供。云TPU(Cloud TPU)是一項(xiàng)谷歌云服務(wù)，適合訓(xùn)練需要進(jìn)行大量矩陣計(jì)算的大型復(fù)雜深度學(xué)習(xí)模型，例如大語(yǔ)言模型、蛋白質(zhì)折疊建模和藥物研發(fā)等，幫助企業(yè)在實(shí)現(xiàn)AI工作負(fù)載時(shí)節(jié)省資金和時(shí)間。
此次推出的TPU v5e專為中大型模型訓(xùn)練和推理所需的成本效益和性能而構(gòu)建。谷歌云表示，該版本芯片的開發(fā)重點(diǎn)是效率，與上一代TPU v4相比，TPU v5e每一美元的訓(xùn)練性能提高2倍，每一美元的推理性能提高2.5倍，而成本不到TPU v4的一半，使得更多組織能夠訓(xùn)練和部署更大更復(fù)雜的AI模型。客戶不需要通過犧牲性能或靈活性來(lái)獲得這些成本效益。谷歌云將TPU v5e描述為“超級(jí)計(jì)算機(jī)”，最多允許256個(gè)芯片互連，總帶寬超過400 Tb/s，支持八種不同的虛擬機(jī)配置，客戶可選擇合適的配置服務(wù)于各種大語(yǔ)言模型和生成式AI模型。根據(jù)速度基準(zhǔn)測(cè)試，在TPU v5e上訓(xùn)練和運(yùn)行AI模型時(shí)速度提高了5倍。
據(jù)科技媒體TechCrunch報(bào)道，谷歌云計(jì)算和機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施副總裁兼總經(jīng)理馬克·洛邁爾(Mark Lohmeyer) 表示，“這是迄今為止最具成本效益且易于訪問的云TPU。” 洛邁爾強(qiáng)調(diào)，谷歌云確保用戶能夠?qū)⑵銽PU集群擴(kuò)展到以前無(wú)法達(dá)到的水平，讓客戶能夠輕松擴(kuò)展他們的人工智能模型，超越單個(gè)TPU集群的物理邊界。也就是說，單個(gè)大型人工智能工作負(fù)載可以跨越多個(gè)物理TPU集群，擴(kuò)展到數(shù)萬(wàn)個(gè)芯片，并且經(jīng)濟(jì)高效。“在云GPU和云TPU方面，我們?yōu)榭蛻籼峁┝撕芏噙x擇和靈活性，以滿足我們看到的人工智能工作負(fù)載的廣泛需求。”
除了新一代TPU，谷歌云還宣布將在下個(gè)月推出基于英偉達(dá)H100 GPU的A3系列虛擬機(jī)，作為GPU超級(jí)計(jì)算機(jī)進(jìn)行交付，為人工智能大模型提供動(dòng)力。
