NVIDIA DGX GH200: Üretken Yapay Zeka’da Oyun Değişiyor..
NVIDIA DGX GH200 Yapay Zekalı Süper Bilgisayarını Duyurdu
Yapay zekanın (AI) ışık hızında, sürekli gelişen ortamında, NVIDIA DGX GH200 bir yenilik ışığı olarak ortaya çıkıyor. En zorlu yapay zeka iş yükleri göz önünde bulundurularak tasarlanan bu güçlü sistem, kuruluşların Üretken Yapay Zeka yaklaşımında devrim yaratacak eksiksiz bir çözüm setidir. NVIDIA, GH200’ün nasıl bir araya geldiğini gösteren yeni ayrıntılara sahip ve bu yeni nesil GPU teknolojisiyle yapay zeka performansının nasıl göründüğüne dair bir zirve sunuyor.
Yapay Zekanın Trilyon Parametreli Enstrümanı
NVIDIA Grace Hopper™ Süper Çiplerini tekil bir aygıta bağlayan yeni bir AI süper bilgisayar sınıfıyla, üretken yapay zeka çağında muazzam bir potansiyelin önünü açın GPU. NVIDIA DGX™ GH200, devasa öneri sistemleri, üretken yapay zeka ve grafik analitiği için terabayt sınıfı modelleri işleyecek şekilde tasarlanmıştır ve çok büyük bir paylaşılan bellek alanı sunar. Dev yapay zeka modelleri için doğrusal ölçeklenebilirlik.
NVIDIA DGX GH200: Eksiksiz Bir Çözüm
DGX GH200 yalnızca gösterişli bir raf donanımı parçası değildir; yüksek performanslı bilgi işlemi (HPC) yapay zeka ile birleştiren kapsamlı bir çözümdür. Gerçekten benzersiz bir performans düzeyi sunarak en karmaşık yapay zeka iş yüklerinin üstesinden gelmek üzere tasarlanmıştır.
DGX GH200, NVIDIA GH200 Grace Hopper Superchip, NVIDIA NVLink-C2C, NVIDIA NVLink Switch System ve NVIDIA Quantum-2 InfiniBand dahil olmak üzere eksiksiz bir donanım yığınını tek bir sistemde bir araya getirir. NVIDIA tüm bunları, modellerin geliştirilmesini hızlandırmak için özel olarak tasarlanmış optimize edilmiş bir yazılım yığınıyla destekliyor.
| Şartname | Detaylar |
|---|---|
| GPU | Hazne 96 GB HBM3, 4 TB/sn |
| İşlemci | 72 Çekirdek Kol Neoverse V2 |
| CPU Belleği | 500 GB/sn’ye varan hızlarda 480 GB’a kadar LPDDR5, DDR5’ten 4 kat daha fazla enerji verimliliği |
| CPU’dan GPU’ya | NVLink-C2C 900 GB/s çift yönlü tutarlı bağlantı, PCIe Gen5’ten 5 kat daha fazla enerji verimliliği |
| GPU’dan GPU’ya | NVLink 900 GB/s çift yönlü |
| Yüksek hızlı I/O | 512 GB/sn’ye kadar 4x PCIe Gen5 x16 |
| TDP | 450W ila 1000W arasında yapılandırılabilir |
Genişletilmiş GPU Belleği
Genişletilmiş GPU Belleği (EGM) özelliğiyle donatılmış NVIDIA Grace Hopper Superchip, kendi HBM3 ve LPDDR5X bellek alt sistemlerinin kapasitesinden daha büyük, çok büyük bellek ayak izine sahip uygulamaları yönetecek şekilde tasarlanmıştır. Bu özellik, LPDDR5X hızlarında mümkün olan veri yüklemeleri, depolar ve atomik işlemlerle GPU’ların sistemdeki tüm CPU’lardan ve GPU’lardan 144 TB’a kadar belleğe erişmesine olanak tanır. EGM, standart MAGNUM IO kitaplıkları ile kullanılabilir ve NVIDIA NVLink ve NVLink-C2C bağlantıları aracılığıyla CPU ve diğer GPU’lar tarafından erişilebilir.
Dev Modeller içinDev HafızaNVIDIA DGX GH200, birbirine bağlı NVIDIA Grace Hopper Süper Çipleri üzerinden devasa bir paylaşılan bellek alanı sunan tek yapay zeka süper bilgisayarıdır ve geliştiricilere dev modeller oluşturmak için daha fazla hafıza sağlar. |
Süper Güç AçısındanVerimli Bilgi İşlemGrace Hopper Süper Çipleri, NVIDIA Grace™ CPU’yu bir ile birleştirerek geleneksel PCIe CPU-GPU bağlantısı ihtiyacını ortadan kaldırır. a>, bant genişliğini 7 kat artırır ve ara bağlantıyı azaltır güç tüketimi 5 kattan fazla arttı.aynı pakette NVIDIA Hopper™ GPU |
Entegre ve Çalıştırılmaya HazırAnahtar teslim DGX GH200 dağıtımıyla dev modelleri aylar yerine haftalar içinde oluşturun. Bu tam yığın veri merkezi sınıfı çözümü, entegre yazılım ve beyaz eldiven hizmetlerini
|
NVIDIA, NVIDIA Grace Hopper Superchip’teki Genişletilmiş GPU Belleği (EGM) özelliğinin geniş bir bellek kapasitesi sağlayarak Büyük Dil Modellerinin (LLM’ler) eğitimini önemli ölçüde iyileştirdiğini söylüyor. Bunun nedeni, LLM’lerin genellikle parametrelerini, hesaplamalarını depolamak ve eğitim veri kümelerini yönetmek için çok büyük miktarda belleğe ihtiyaç duymasıdır.
Sistemdeki tüm CPU ve GPU’lardan 144 TB’a kadar belleğe erişim imkanına sahip olan modeller, daha verimli ve etkili bir şekilde eğitilebiliyor. Büyük bir bellek kapasitesi, daha yüksek performansa, daha karmaşık modellere ve daha büyük, daha ayrıntılı veri kümeleriyle çalışma becerisine yol açmalı ve böylece bu modellerin doğruluğunu ve kullanışlılığını potansiyel olarak geliştirmelidir.
NVLink Anahtar Sistemi
Büyük Dil Modellerinin (LLM’ler) talepleri ağ yönetiminin sınırlarını zorlamaya devam ederken, NVIDIA’nın NVLink Anahtar Sistemi güçlü bir çözüm olmaya devam ediyor. Dördüncü nesil NVLink teknolojisinin ve üçüncü nesil NVSwitch mimarisinin gücünden yararlanan bu sistem, DGX GH200 sistemi içindeki etkileyici 256 NVIDIA Grace Hopper Süper Çipine yüksek bant genişliği ve düşük gecikmeli bağlantı sunar. Sonuç, veri aktarım hızlarında önemli bir sıçramaya işaret eden 25,6 Tbps’lik şaşırtıcı bir tam çift yönlü bant genişliğidir.
DGX GH200 sisteminde her GPU aslında meraklı bir komşudur ve NVLink ağındaki eşlerinin HBM3 ve LPDDR5X belleğine girebilmektedir. NVIDIA Magnum IO hızlandırma kütüphaneleriyle birleştiğinde, bu “meraklı mahalle” GPU iletişimlerini optimize eder, etkili bir şekilde ölçeklenir ve etkili ağ bant genişliğini ikiye katlar. Dolayısıyla, LLM eğitiminiz hızla artarken ve iletişim masrafları artarken, yapay zeka operasyonları da turbo artış gösteriyor.
DGX GH200’deki NVIDIA NVLink Anahtar Sistemi, çok sayıda GPU arasında yüksek bant genişliği ve düşük gecikmeli bağlantıyı kolaylaştırarak LLM’ler gibi modellerin eğitimini önemli ölçüde geliştirme kapasitesine sahiptir. Bu, GPU’lar arasında daha hızlı ve daha verimli veri paylaşımına yol açarak modelin eğitim hızını ve verimliliğini artırır. Üstelik her GPU’nun NVLink ağındaki diğer Superchips’lerden eş belleğe erişme yeteneği, büyük parametreli LLM’ler için kritik olan kullanılabilir belleği artırır.
Grace Hopper Superchips’in etkileyici performansı, AI hesaplamaları alanında tartışmasız bir oyun değiştirici olsa da, bu sistemin gerçek büyüsü, çok sayıda GPU arasında yüksek bant genişliği, düşük gecikmeli bağlantının veri paylaşımını ve verimliliği gerektirdiği NVLink’te gerçekleşiyor. tamamen yeni bir seviyeye.
DGX GH200 Sistem Mimarisi
DGX GH200 süper bilgisayarının mimarisi karmaşıktır ancak titizlikle tasarlanmıştır. 256 GH200 Grace Hopper bilgi işlem tepsisinden ve iki seviyeli bir NVLink yağ ağacı oluşturan bir NVLink Anahtar Sisteminden oluşur. Her bilgi işlem tepsisinde bir GH200 Grace Hopper Süper Çipi, ağ bileşenleri, bir yönetim sistemi/BMC ve veri depolama ve işletim sistemi yürütmesi için SSD’ler bulunur.
| Kategori | Detaylar |
|---|---|
| CPU/GPU | 1x NVLink-C2C’li NVIDIA Grace Hopper Süper Çipi |
| GPU/GPU | 18x NVLink dördüncü nesil bağlantı noktası |
| Ağ oluşturma | OSFP’li 1x NVIDIA ConnectX-7: > NDR400 InfiniBand Bilgi İşlem Ağı 1x Çift bağlantı noktalı NVIDIA BlueField-3, 2x QSFP112 veya 1x Çift bağlantı noktalı NVIDIA ConnectX-7, 2x QSFP112: > 200 GbE Bant içi Ethernet ağı > NDR200 IB depolama ağı Bant Dışı Ağ: > 1 GbE RJ45 |
| Depolamak | Veri Sürücüsü: 2x 4 TB (U.2 NVMe SSD’ler) SW RAID 0 İşletim Sistemi Sürücüsü: 2x 2 TB (M.2 NVMe SSD’ler) SW RAID 1 |
Bu kurulumda, tek bir 8 GPU’lu kasa oluşturmak için sekiz hesaplama tepsisi üç birinci düzey NVLink NVSwitch tepsisine bağlanır. Her NVLink Switch tepsisinde, bilgi işlem tepsilerine özel bir kör eş kablo kartuşu aracılığıyla ve ikinci düzey NVLink Switch’lere LinkX kabloları aracılığıyla bağlanan iki NVSwitch ASIC bulunur.
Ortaya çıkan sistem, kapsamlı NVIDIA DGX GH200 süper bilgisayarını oluşturmak için 32 kasayı birbirine bağlayan 36 ikinci düzey NVLink Anahtarından oluşuyor.
NVIDIA DGX H200 Süper Bilgisayarı ve NVDIA Yapay zeka çözümleri ile ilgili geniş bilgiye Nvidia Elite Partner GTM Teknoloji‘den ulaşabilirsiniz.
