NVIDIA在過去幾年中已經成為了人工智能巨頭,他們的GPU不僅成為HPC的首選,也成為了數據中心(包括人工智能和深度學習生態系統)的首選。最近,NVIDIA宣布,它正在利用人工智能來設計和開發遠遠優于人類創建的GPU,看起來NVIDIA的旗艦Hopper GPU就是對這一聲明的證明,該聲明的特點是近13000個電路實例完全由AI制作。
 
NVIDIA最先進的hopper GPU[有13000個AI設計電路]
 
在NVIDIA開發者網站上發布的博客中,該公司重申了其優勢以及它自己如何利用其AI能力創建其最大的GPU,即HopperH100。NVIDIAGPU主要使用最先進的EDA(電子設計自動化)工具設計,但在AI使用PrefixRL方法(使用深度強化學習優化并行前綴電路)的幫助下,公司可以創建更小、更快,更節能的芯片同時具有更好的性能。
 
計算機芯片中的算術電路是使用邏輯門網絡(例如NAND、NOR和XOR)和電線構建的。所需的電路應具有以下特性:
 
  1. ?。涸试S更多電路安裝在芯片上的底面。
  2. 快速:減少延遲以提高芯片性能。
  3. 消耗更少的功率:芯片的功耗更低。
 
NVIDIA使用這種方法設計了近13,000個AI輔助電路,與EDA工具相比,它們的面積減少了25%,而EDA工具的速度和功能相當。但是PrefixRL據說是一項計算量非常大的任務,并且物理模擬每個GPU需要256個CPU和超過32,000個GPU小時。為了消除這一瓶頸,NVIDIA開發了Raptor,這是一個內部分布式強化學習平臺,專門利用NVIDIA硬件進行此類工業強化學習。
 
NVIDIA最先進的hopper GPU[有13000個AI設計電路]
 
Raptor有幾個功能可以提高可擴展性和訓練速度,例如:B.作業調度、自定義網絡和支持GPU的數據結構。在PrefixRL的上下文中,Raptor允許將工作分布在CPU、GPU和Spot實例的混合中。
 
此強化學習應用程序中的網絡是多種多樣的,并受益于以下幾點。
 
  1. Raptor在NCCL之間切換以進行點對點傳輸以將模型參數直接從學習器GPU傳輸到推理GPU的能力。
  2. Redis用于異步和較小的消息,例如獎勵或統計信息。
  3. 一個JIT編譯的RPC來處理大容量、低延遲的請求,例如B.上傳經驗數據。
 
NVIDIA得出結論,將AI應用于現實世界的電路設計問題可能會在未來帶來更好的GPU設計。
裝機