來源：中關村在線

以各類GPT為代表的生成式AI讓人們看到了智能世界的無限可能，與此同時，新一代AI技術對IT基礎架構的要求也在與日俱增，使得CXL、HBM、光模塊市場呈現(xiàn)了高速增長。其中，HBM自2013年上市以來，就被視為推動高性能和加速計算的有效途徑之一，HBM是一種基于3D堆棧工藝的高性能DRAM架構，能夠?qū)崿F(xiàn)巨大的內(nèi)存帶寬，尤其是HBM3與CPU整合使用之后，可以顯著推動片中內(nèi)存的發(fā)展，讓多元的業(yè)務負載能夠充分受益于共享計算、內(nèi)存、存儲資源融合后的內(nèi)存級結(jié)構創(chuàng)新。

“AI應用和基礎設施與內(nèi)存的成長息息相關。”美光副總裁暨計算與網(wǎng)絡事業(yè)部計算產(chǎn)品事業(yè)群總經(jīng)理Praveen Vaidyanathan表示，“AI服務器與通用型服務器不同，其所需的內(nèi)存是一般服務器的六至八倍，其中包括與CPU相連的內(nèi)存，如DDR、與GPU相連的內(nèi)存，如HBM，以及其他相關的內(nèi)存解決方案。由于HBM能支持AI應用和服務器基礎構架的成長，我們預測未來三年HBM市場將有巨大增長，年復合增長率超過50%。”

(資料圖片)

美光副總裁暨計算與網(wǎng)絡事業(yè)部計算產(chǎn)品事業(yè)群總經(jīng)理Praveen Vaidyanathan

美光將AI分為三大類，第一類是生成式AI，例如利用Mid-Journey、ChatGPT等生成文字、圖片或視頻，驅(qū)動了大量的計算性能需求和內(nèi)存需求；第二類是深度學習，例如虛擬助理、聊天機器人和醫(yī)療診斷，需要處理大量的數(shù)據(jù)，會通過算法來詮釋數(shù)據(jù)，并加以預測，是推動AI和高效能計算增長的重要領域；第三類是高效能計算，例如要解決天氣預報等重大的科學問題時，會涉及全基因體定序（genome sequencing），這同樣驅(qū)動了龐大的計算和內(nèi)存需求增長。

這些應用需要通過服務器等基礎設施來支持，像服務器要考慮性能、容量、功耗的要求，驅(qū)動生成式AI的LLM（大型語言模型）離不開強勁的算力，這需要足夠的內(nèi)存帶寬，通常來說，計算性能的瓶頸超過半數(shù)都與內(nèi)存的帶寬有關。隨著LLM的參數(shù)數(shù)量迅速攀升，要在足夠小的體積內(nèi)存放足夠多的數(shù)據(jù)，就需要架構層面的創(chuàng)新，同時，還要確保功耗盡可能低。要知道有數(shù)據(jù)顯示，未來七年內(nèi)，全球近8%的電力將消耗在數(shù)據(jù)中心上。

為了滿足上述需求，美光推出了首款8層堆疊的24GB容量第二代HBM3內(nèi)存，其帶寬超過1.2TB/s，引腳速率超過9.2Gb/s（NRZ），比當前市面上現(xiàn)有的HBM3解決方案性能可提升最高50%，美光第二代HBM3產(chǎn)品與前一代產(chǎn)品相比，每瓦性能提高2.5倍，可以縮短大型語言模型（如GPT-4及更高版本）的訓練時間（減少30%以上），為AI推理提供高效的基礎設施，并降低TCO，在已經(jīng)部署的1000萬個圖形處理器用例中，單個HBM模塊可節(jié)約5W功耗，能在五年內(nèi)節(jié)省5.5億美元的運營費用。2024年第一季度，美光12層堆疊的36GB容量產(chǎn)品也將開始出樣。美光第二代HBM3內(nèi)存會在日本工廠生產(chǎn)，并在中國臺灣進行封裝。

8層堆疊的24GB容量第二代HBM3內(nèi)存

據(jù)了解，美光采用了互補式金屬氧化物半導體（CMOS）技術打造晶體管，并在邏輯基礎層和DRAM堆疊中加入了很多制程方面的技術，驅(qū)動了更快的時序速度。封裝方面，美光提供了兩倍的硅通孔（TSV）數(shù)量，所有晶粒對晶粒的封裝互聯(lián)縮小了25%（DRAM最上層和下層TSV的距離）。同時，在電路設計上注重時間控制，使速度更快，再加上噪聲容限設計（Noise tolerance）等技術，構成了更優(yōu)的信號完整性、配電網(wǎng)絡、電源完整性，獲得了更高的性能表現(xiàn)。

提升硅通孔和封裝互聯(lián)數(shù)量、DRAM層間空間等設計，可以讓內(nèi)存內(nèi)部的熱量快速從較熱層傳到較冷層，再加上增加金屬密度，并采用高能效數(shù)據(jù)路徑設計，可以解決HBM的熱阻抗問題，降低功耗。數(shù)據(jù)中心的能耗降低后，就可以把更多的電力分配給GPU或ASIC，提升了整體的系統(tǒng)性能和效率。

作為在2.5D/3D堆疊和先進封裝技術領域的存儲領導廠商，美光也與臺積電共同組建了3DFabric聯(lián)盟，攜手推進半導體和系統(tǒng)創(chuàng)新。在第二代HBM3產(chǎn)品開發(fā)過程中，美光與臺積電攜手合作，為AI及高性能計算設計應用中順利引入和集成計算系統(tǒng)奠定了基礎。目前，臺積電已收到美光第二代HBM3內(nèi)存樣片，正與美光密切合作進行下一步的評估和測試，助力客戶的下一代高性能計算應用創(chuàng)新。

美光將硅通孔（TSV）數(shù)量翻倍，增加5倍金屬密度以降低熱阻，以及設計更為節(jié)能的數(shù)據(jù)通路

硅通孔、DRAM堆疊是由美光獨立完成，中介層則是與臺積電合作。“盡管美光會自行打造封裝，但是我們也會和臺積電緊密合作，以便讓中介層與內(nèi)存、GPU、ASIC等元件可以完美整合。”Praveen Vaidyanathan介紹稱，“高帶寬可以滿足AI訓練和推理的需求，例如某服務器集群要花三個月的時間訓練大型語言模型，采用HBM3之后，可以節(jié)省30%以上的訓練時間，減少至兩個月。在推理過程中，HBM3的使用可以讓每天的查詢量和提示量增加50%，減少等待時間。”

繼LPDDR5、DDR5之后，第二代HBM3內(nèi)存是美光推出的第三款1β制程的產(chǎn)品，2024年上半年，該公司還將推出基于1β節(jié)點、32Gb單塊DRAM裸片的128GB容量DDR5模組，同時，美光還在與伙伴合作研發(fā)下一代產(chǎn)品，即“HBM Next”，每秒帶寬將超過1.5TB，容量會增至36GB以上。為了應對生成式AI領域快速增長的模型規(guī)模，HBM可以在設備端以非常高效的方式提供所需的帶寬和容量。而在一些AI推理的場景中，需要用到高算力和高內(nèi)存帶寬，但不需要更大的容量，則可以使用GDDR來滿足要求。

因此，美光在AI基礎設施領域提供了全面的解決方案，例如GDDR6X、GDDR7（研發(fā)中，明年推出）可以融入內(nèi)存組合，滿足帶寬需求，從GPU內(nèi)存到CPU內(nèi)存，192GB、256GB模塊將陸續(xù)應用，此外，美光也在計劃開發(fā)滿足各類新規(guī)格和標準的產(chǎn)品，打造更低功耗的DRAM，滿足新一代數(shù)據(jù)中心的要求，并且在持續(xù)探索連接GPU的高帶寬內(nèi)存、CPU的高容量內(nèi)存、處理器的低功耗DRAM的架構創(chuàng)新。

“可以說，美光在技術、產(chǎn)品、功能上都是領先的，我們在全球有著廣泛的研發(fā)、設計、制造團隊，對于質(zhì)量有著高標準的執(zhí)著追求，這種堅持深度融入到我們的設計理念和方法論之中。憑借著我們在產(chǎn)品技術上長期深耕的經(jīng)驗，以及技術的專業(yè)性，美光能夠在持續(xù)推出領先的創(chuàng)新制程、技術及產(chǎn)品的同時，提高制造效率。”Praveen Vaidyanathan表示，“我們在不同領域擁有著很多的客戶，包括GPU制造商、數(shù)據(jù)中心，以及ASIC相關的企業(yè)，他們已經(jīng)收到這些產(chǎn)品并開始進行測試驗證，帶來的反饋都是很好的，客戶覺得非常有價值。”

以各類GPT為代表的生成式AI讓人們看到了智能世界的無限可能，與此同時，新一代AI技術對IT基礎架構的要求也在與日俱增，使得CXL、HBM、光模塊市場呈現(xiàn)了高速增長。其中，HBM自2013年上市以來，就被視為推動高性能和加速計算的有效途徑之一，HBM是一種基于3D堆棧工藝的高性能DRAM[LJ(G1] 架構，能夠?qū)崿F(xiàn)巨大的內(nèi)存帶寬，尤其是HBM3與CPU整合使用之后，可以顯著推動片中內(nèi)存的發(fā)展，讓多元的業(yè)務負載能夠充分受益于共享計算、內(nèi)存、存儲資源融合后的內(nèi)存級結(jié)構創(chuàng)新。

“AI應用和基礎設施與內(nèi)存的成長息息相關。”美光副總裁暨計算與網(wǎng)絡事業(yè)部計算產(chǎn)品事業(yè)群總經(jīng)理Praveen Vaidyanathan表示，“AI服務器與通用型服務器不同，其所需的內(nèi)存是一般服務器的六至八倍，其中包括與CPU相連的內(nèi)存，如DDR、與GPU相連的內(nèi)存，如HBM，以及其他相關的內(nèi)存解決方案。由于HBM能支持AI應用和服務器基礎構架的成長，我們預測未來三年HBM市場將有巨大增長，年復合增長率超過50%。”

[LJ(G1]確認一下~這里是不是多了一個S

(8305800)

關鍵詞：