來(lái)源：中關(guān)村在線

以各類GPT為代表的生成式AI讓人們看到了智能世界的無(wú)限可能，與此同時(shí)，新一代AI技術(shù)對(duì)IT基礎(chǔ)架構(gòu)的要求也在與日俱增，使得CXL、HBM、光模塊市場(chǎng)呈現(xiàn)了高速增長(zhǎng)。其中，HBM自2013年上市以來(lái)，就被視為推動(dòng)高性能和加速計(jì)算的有效途徑之一，HBM是一種基于3D堆棧工藝的高性能DRAM架構(gòu)，能夠?qū)崿F(xiàn)巨大的內(nèi)存帶寬，尤其是HBM3與CPU整合使用之后，可以顯著推動(dòng)片中內(nèi)存的發(fā)展，讓多元的業(yè)務(wù)負(fù)載能夠充分受益于共享計(jì)算、內(nèi)存、存儲(chǔ)資源融合后的內(nèi)存級(jí)結(jié)構(gòu)創(chuàng)新。

“AI應(yīng)用和基礎(chǔ)設(shè)施與內(nèi)存的成長(zhǎng)息息相關(guān)。”美光副總裁暨計(jì)算與網(wǎng)絡(luò)事業(yè)部計(jì)算產(chǎn)品事業(yè)群總經(jīng)理Praveen Vaidyanathan表示，“AI服務(wù)器與通用型服務(wù)器不同，其所需的內(nèi)存是一般服務(wù)器的六至八倍，其中包括與CPU相連的內(nèi)存，如DDR、與GPU相連的內(nèi)存，如HBM，以及其他相關(guān)的內(nèi)存解決方案。由于HBM能支持AI應(yīng)用和服務(wù)器基礎(chǔ)構(gòu)架的成長(zhǎng)，我們預(yù)測(cè)未來(lái)三年HBM市場(chǎng)將有巨大增長(zhǎng)，年復(fù)合增長(zhǎng)率超過(guò)50%。”

(資料圖片)

美光副總裁暨計(jì)算與網(wǎng)絡(luò)事業(yè)部計(jì)算產(chǎn)品事業(yè)群總經(jīng)理Praveen Vaidyanathan

美光將AI分為三大類，第一類是生成式AI，例如利用Mid-Journey、ChatGPT等生成文字、圖片或視頻，驅(qū)動(dòng)了大量的計(jì)算性能需求和內(nèi)存需求；第二類是深度學(xué)習(xí)，例如虛擬助理、聊天機(jī)器人和醫(yī)療診斷，需要處理大量的數(shù)據(jù)，會(huì)通過(guò)算法來(lái)詮釋數(shù)據(jù)，并加以預(yù)測(cè)，是推動(dòng)AI和高效能計(jì)算增長(zhǎng)的重要領(lǐng)域；第三類是高效能計(jì)算，例如要解決天氣預(yù)報(bào)等重大的科學(xué)問(wèn)題時(shí)，會(huì)涉及全基因體定序（genome sequencing），這同樣驅(qū)動(dòng)了龐大的計(jì)算和內(nèi)存需求增長(zhǎng)。

這些應(yīng)用需要通過(guò)服務(wù)器等基礎(chǔ)設(shè)施來(lái)支持，像服務(wù)器要考慮性能、容量、功耗的要求，驅(qū)動(dòng)生成式AI的LLM（大型語(yǔ)言模型）離不開(kāi)強(qiáng)勁的算力，這需要足夠的內(nèi)存帶寬，通常來(lái)說(shuō)，計(jì)算性能的瓶頸超過(guò)半數(shù)都與內(nèi)存的帶寬有關(guān)。隨著LLM的參數(shù)數(shù)量迅速攀升，要在足夠小的體積內(nèi)存放足夠多的數(shù)據(jù)，就需要架構(gòu)層面的創(chuàng)新，同時(shí)，還要確保功耗盡可能低。要知道有數(shù)據(jù)顯示，未來(lái)七年內(nèi)，全球近8%的電力將消耗在數(shù)據(jù)中心上。

為了滿足上述需求，美光推出了首款8層堆疊的24GB容量第二代HBM3內(nèi)存，其帶寬超過(guò)1.2TB/s，引腳速率超過(guò)9.2Gb/s（NRZ），比當(dāng)前市面上現(xiàn)有的HBM3解決方案性能可提升最高50%，美光第二代HBM3產(chǎn)品與前一代產(chǎn)品相比，每瓦性能提高2.5倍，可以縮短大型語(yǔ)言模型（如GPT-4及更高版本）的訓(xùn)練時(shí)間（減少30%以上），為AI推理提供高效的基礎(chǔ)設(shè)施，并降低TCO，在已經(jīng)部署的1000萬(wàn)個(gè)圖形處理器用例中，單個(gè)HBM模塊可節(jié)約5W功耗，能在五年內(nèi)節(jié)省5.5億美元的運(yùn)營(yíng)費(fèi)用。2024年第一季度，美光12層堆疊的36GB容量產(chǎn)品也將開(kāi)始出樣。美光第二代HBM3內(nèi)存會(huì)在日本工廠生產(chǎn)，并在中國(guó)臺(tái)灣進(jìn)行封裝。

8層堆疊的24GB容量第二代HBM3內(nèi)存

據(jù)了解，美光采用了互補(bǔ)式金屬氧化物半導(dǎo)體（CMOS）技術(shù)打造晶體管，并在邏輯基礎(chǔ)層和DRAM堆疊中加入了很多制程方面的技術(shù)，驅(qū)動(dòng)了更快的時(shí)序速度。封裝方面，美光提供了兩倍的硅通孔（TSV）數(shù)量，所有晶粒對(duì)晶粒的封裝互聯(lián)縮小了25%（DRAM最上層和下層TSV的距離）。同時(shí)，在電路設(shè)計(jì)上注重時(shí)間控制，使速度更快，再加上噪聲容限設(shè)計(jì)（Noise tolerance）等技術(shù)，構(gòu)成了更優(yōu)的信號(hào)完整性、配電網(wǎng)絡(luò)、電源完整性，獲得了更高的性能表現(xiàn)。

提升硅通孔和封裝互聯(lián)數(shù)量、DRAM層間空間等設(shè)計(jì)，可以讓內(nèi)存內(nèi)部的熱量快速?gòu)妮^熱層傳到較冷層，再加上增加金屬密度，并采用高能效數(shù)據(jù)路徑設(shè)計(jì)，可以解決HBM的熱阻抗問(wèn)題，降低功耗。數(shù)據(jù)中心的能耗降低后，就可以把更多的電力分配給GPU或ASIC，提升了整體的系統(tǒng)性能和效率。

作為在2.5D/3D堆疊和先進(jìn)封裝技術(shù)領(lǐng)域的存儲(chǔ)領(lǐng)導(dǎo)廠商，美光也與臺(tái)積電共同組建了3DFabric聯(lián)盟，攜手推進(jìn)半導(dǎo)體和系統(tǒng)創(chuàng)新。在第二代HBM3產(chǎn)品開(kāi)發(fā)過(guò)程中，美光與臺(tái)積電攜手合作，為AI及高性能計(jì)算設(shè)計(jì)應(yīng)用中順利引入和集成計(jì)算系統(tǒng)奠定了基礎(chǔ)。目前，臺(tái)積電已收到美光第二代HBM3內(nèi)存樣片，正與美光密切合作進(jìn)行下一步的評(píng)估和測(cè)試，助力客戶的下一代高性能計(jì)算應(yīng)用創(chuàng)新。

美光將硅通孔（TSV）數(shù)量翻倍，增加5倍金屬密度以降低熱阻，以及設(shè)計(jì)更為節(jié)能的數(shù)據(jù)通路

硅通孔、DRAM堆疊是由美光獨(dú)立完成，中介層則是與臺(tái)積電合作。“盡管美光會(huì)自行打造封裝，但是我們也會(huì)和臺(tái)積電緊密合作，以便讓中介層與內(nèi)存、GPU、ASIC等元件可以完美整合。”Praveen Vaidyanathan介紹稱，“高帶寬可以滿足AI訓(xùn)練和推理的需求，例如某服務(wù)器集群要花三個(gè)月的時(shí)間訓(xùn)練大型語(yǔ)言模型，采用HBM3之后，可以節(jié)省30%以上的訓(xùn)練時(shí)間，減少至兩個(gè)月。在推理過(guò)程中，HBM3的使用可以讓每天的查詢量和提示量增加50%，減少等待時(shí)間。”

繼LPDDR5、DDR5之后，第二代HBM3內(nèi)存是美光推出的第三款1β制程的產(chǎn)品，2024年上半年，該公司還將推出基于1β節(jié)點(diǎn)、32Gb單塊DRAM裸片的128GB容量DDR5模組，同時(shí)，美光還在與伙伴合作研發(fā)下一代產(chǎn)品，即“HBM Next”，每秒帶寬將超過(guò)1.5TB，容量會(huì)增至36GB以上。為了應(yīng)對(duì)生成式AI領(lǐng)域快速增長(zhǎng)的模型規(guī)模，HBM可以在設(shè)備端以非常高效的方式提供所需的帶寬和容量。而在一些AI推理的場(chǎng)景中，需要用到高算力和高內(nèi)存帶寬，但不需要更大的容量，則可以使用GDDR來(lái)滿足要求。

因此，美光在AI基礎(chǔ)設(shè)施領(lǐng)域提供了全面的解決方案，例如GDDR6X、GDDR7（研發(fā)中，明年推出）可以融入內(nèi)存組合，滿足帶寬需求，從GPU內(nèi)存到CPU內(nèi)存，192GB、256GB模塊將陸續(xù)應(yīng)用，此外，美光也在計(jì)劃開(kāi)發(fā)滿足各類新規(guī)格和標(biāo)準(zhǔn)的產(chǎn)品，打造更低功耗的DRAM，滿足新一代數(shù)據(jù)中心的要求，并且在持續(xù)探索連接GPU的高帶寬內(nèi)存、CPU的高容量?jī)?nèi)存、處理器的低功耗DRAM的架構(gòu)創(chuàng)新。

“可以說(shuō)，美光在技術(shù)、產(chǎn)品、功能上都是領(lǐng)先的，我們?cè)谌蛴兄鴱V泛的研發(fā)、設(shè)計(jì)、制造團(tuán)隊(duì)，對(duì)于質(zhì)量有著高標(biāo)準(zhǔn)的執(zhí)著追求，這種堅(jiān)持深度融入到我們的設(shè)計(jì)理念和方法論之中。憑借著我們?cè)诋a(chǎn)品技術(shù)上長(zhǎng)期深耕的經(jīng)驗(yàn)，以及技術(shù)的專業(yè)性，美光能夠在持續(xù)推出領(lǐng)先的創(chuàng)新制程、技術(shù)及產(chǎn)品的同時(shí)，提高制造效率。”Praveen Vaidyanathan表示，“我們?cè)诓煌I(lǐng)域擁有著很多的客戶，包括GPU制造商、數(shù)據(jù)中心，以及ASIC相關(guān)的企業(yè)，他們已經(jīng)收到這些產(chǎn)品并開(kāi)始進(jìn)行測(cè)試驗(yàn)證，帶來(lái)的反饋都是很好的，客戶覺(jué)得非常有價(jià)值。”

以各類GPT為代表的生成式AI讓人們看到了智能世界的無(wú)限可能，與此同時(shí)，新一代AI技術(shù)對(duì)IT基礎(chǔ)架構(gòu)的要求也在與日俱增，使得CXL、HBM、光模塊市場(chǎng)呈現(xiàn)了高速增長(zhǎng)。其中，HBM自2013年上市以來(lái)，就被視為推動(dòng)高性能和加速計(jì)算的有效途徑之一，HBM是一種基于3D堆棧工藝的高性能DRAM[LJ(G1] 架構(gòu)，能夠?qū)崿F(xiàn)巨大的內(nèi)存帶寬，尤其是HBM3與CPU整合使用之后，可以顯著推動(dòng)片中內(nèi)存的發(fā)展，讓多元的業(yè)務(wù)負(fù)載能夠充分受益于共享計(jì)算、內(nèi)存、存儲(chǔ)資源融合后的內(nèi)存級(jí)結(jié)構(gòu)創(chuàng)新。

“AI應(yīng)用和基礎(chǔ)設(shè)施與內(nèi)存的成長(zhǎng)息息相關(guān)。”美光副總裁暨計(jì)算與網(wǎng)絡(luò)事業(yè)部計(jì)算產(chǎn)品事業(yè)群總經(jīng)理Praveen Vaidyanathan表示，“AI服務(wù)器與通用型服務(wù)器不同，其所需的內(nèi)存是一般服務(wù)器的六至八倍，其中包括與CPU相連的內(nèi)存，如DDR、與GPU相連的內(nèi)存，如HBM，以及其他相關(guān)的內(nèi)存解決方案。由于HBM能支持AI應(yīng)用和服務(wù)器基礎(chǔ)構(gòu)架的成長(zhǎng)，我們預(yù)測(cè)未來(lái)三年HBM市場(chǎng)將有巨大增長(zhǎng)，年復(fù)合增長(zhǎng)率超過(guò)50%。”

[LJ(G1]確認(rèn)一下~這里是不是多了一個(gè)S

(8305800)

關(guān)鍵詞：