NVIDIA, Süper Şarj Haznesi HGX H200ü Tanıttı

NVIDIA, Süper Şarj Haznesi HGX H200ü tanıttı ve yapay zeka hesaplamasında önemli bir adım attı. NVIDIA Hopper mimarisini temel alan bu yeni platform, üretken yapay zeka ve yüksek performanslı bilgi işlem (HPC) iş yükleri için özel olarak tasarlanmış, gelişmiş bellek özellikleriyle devasa veri hacimlerini işleyen NVIDIA H200 Tensor Core GPU’ya sahiptir.

H200, yüksek bant genişliğine sahip (HBM3e) belleğe sahip ilk GPU olarak öne çıkıyor; üretken yapay zeka ve büyük dil modelleri (LLM’ler) için hayati önem taşıyan daha hızlı ve daha büyük bellek sunuyor ve HPC iş yükleri için bilimsel bilgi işlemi geliştiriyor. Saniyede 4,8 terabayt hızında 141 GB belleğe sahip olup, kapasiteyi neredeyse iki katına çıkarır ve selefi NVIDIA A100’e göre 2,4 kat daha fazla bant genişliği sunar.

Önde gelen sunucu üreticilerinin ve bulut hizmet sağlayıcılarının H200 tarafından desteklenen sistemlerinin 2024’ün ikinci çeyreğinde sevkiyata başlaması bekleniyor. NVIDIA’nın Hiper Ölçek ve HPC Başkan Yardımcısı Ian Buck, H200’ün çok büyük miktarlardaki verinin yüksek hızda işlenmesini önemli ölçüde geliştireceğini vurguluyor. Üretken yapay zeka ve HPC uygulamaları için gerekli olan hızlar.

Hopper mimarisi, önceki nesillere göre kayda değer bir performans artışına işaret ediyor ve NVIDIA TensorRT-LLM’nin son sürümü gibi devam eden yazılım güncellemeleriyle daha da geliştirildi . H200, Llama 2 gibi büyük dil modellerinde çıkarım hızını neredeyse iki katına çıkarmayı vaat ediyor ve gelecekteki yazılım güncellemelerinde daha fazla performans geliştirmesi bekleniyor.

H200 Özellikleri

NVIDIA H200 Tensör Çekirdek GPU
Form faktörü	H200SXM
FP64	34 TFLOP
FP64 Tensör Çekirdeği	67 TFLOP
FP32	67 TFLOP
TF32 Tensör Çekirdeği	989 TFLOP
BFLOAT16 Tensör Çekirdeği	1.979 TFLOP
FP16 Tensör Çekirdeği	1.979 TFLOP
FP8 Tensör Çekirdeği	3.958 TFLOP
INT8 Tensör Çekirdeği	3.958 TFLOP
GPU Belleği	141 GB
GPU Bellek Bant Genişliği	4,8 TB/sn
Kod çözücüler	7 NVDEC 7 JPEG
Maksimum Termal Tasarım Gücü (TDP)	700W’a kadar (yapılandırılabilir)
Çoklu Örnek GPU’lar	Her biri 16,5 GB’ta 7’ye kadar MIG
Ara bağlantı	NVIDIA NVLink: 900 GB/sn PCIe Gen5: 128 GB/sn
Sunucu Seçenekleri	NVIDIA HGX H200 ortağı ve 4 veya 8 GPU’lu NVIDIA Sertifikalı Sistemler

Uyarlanabilir Form Faktörleri

NVIDIA H200, HGX H100 sistemleriyle uyumlu, dört ve sekiz yollu konfigürasyonlardaki NVIDIA HGX H200 sunucu anakartları da dahil olmak üzere çeşitli form faktörlerinde satışa sunulacak. Ayrıca HBM3e’li NVIDIA GH200 Grace Hopper Superchip’te de mevcuttur . Yakın zamanda NVIDIA GH200 Grace Hopper Supperchip hakkında bir yazı yayınladık . Bu seçenekler, H200’ün şirket içi, bulut, hibrit bulut ve uç ortamlar dahil olmak üzere farklı veri merkezi türlerine uyarlanabilirliğini sağlar.

Amazon Web Services, Google Cloud, Microsoft Azure ve Oracle Cloud Infrastructure dahil olmak üzere önemli sunucu üreticileri ve bulut hizmeti sağlayıcıları, gelecek yıldan itibaren H200 tabanlı bulut sunucularını dağıtmaya hazırlanıyor.

NVIDIA NVLink ve NVSwitch yüksek hızlı ara bağlantılarıyla donatılmış HGX H200, 175 milyar parametrenin ötesindeki modeller için eğitim ve çıkarım da dahil olmak üzere çeşitli iş yükleri için en üst performansı sunar. Sekiz yönlü HGX H200 yapılandırması, 32 petafloptan fazla FP8 derin öğrenme hesaplaması ve 1,1 TB yüksek bant genişliğine sahip bellek sağlar; NVIDIA Grace CPU’lar ve NVLink-C2C ara bağlantısıyla birleştirilmiş üretken yapay zeka ve HPC uygulamaları için idealdir; H200, GH200 Grace’i oluşturur Büyük ölçekli HPC ve yapay zeka uygulamaları için tasarlanmış bir modül olan HBM3e’li Hopper Superchip.

NVIDIA AI Enterprise paketi de dahil olmak üzere NVIDIA’nın tam kapsamlı yazılım desteği, geliştiricilerin ve kuruluşların yapay zekadan HPC’ye kadar uygulamalar oluşturmasına ve hızlandırmasına olanak tanır. NVIDIA H200, 2024’ün ikinci çeyreğinden itibaren küresel sistem üreticileri ve bulut hizmet sağlayıcılarında satışa sunulacak ve yapay zeka ve HPC yeteneklerinde yeni bir döneme işaret edecek.

NVIDIA’nın Computex açılış konuşması, sistem üreticileri için geniş bir yapay zeka, yüksek performanslı bilgi işlem ve Omniverse uygulamaları yelpazesine uyacak 100’den fazla sunucu varyasyonunu hızlı ve uygun maliyetli bir şekilde oluşturmalarına olanak tanıyan modüler bir referans mimarisi olan NVIDIA MGX sunucu spesifikasyonunu tanıttı.

ASRock Rack, ASUS, GIGABYTE, Pegatron, QCT ve Supermicro gibi üreticiler, geliştirme maliyetlerini yüzde 75’e kadar azaltmaya ve geliştirme süresini üçte iki oranında yalnızca altı aya indirmeye yardımcı olmak için MGX’i benimseyecek. MGX, sunucu kasaları için hızlandırılmış bilgi işlem için optimize edilmiş temel bir sistem mimarisi sağlar ve GPU, DPU ve CPU’larını seçmelerine olanak tanır. Tasarım çeşitleri, HPC, veri bilimi, büyük dil modelleri, uç bilişim, grafik ve video, kurumsal yapay zeka, tasarım ve simülasyon gibi benzersiz iş yüklerine yöneliktir. MGX, bulut ve kurumsal veri merkezlerine kolaylıkla entegre edilebilir.

Supermicro ve QCT pazara ilk çıkacak ve MGX tasarımları Ağustos ayında ortaya çıkacak. Supermirco’dan yeni bir duyuru, NVIDIA Grace CPU Superchip içeren ARS-221GL-NR sistemini tanıttı. Ayrı olarak, QCT tarafından yapılan yeni bir duyuru, NVIDIA GH200 Grace Hopper Superchip’i kullanacak S74G-2U sistemini tanıttı. Softbank Corp. ayrıca GPU kaynaklarını üretken yapay zeka ve 5G uygulamaları arasında dinamik olarak tahsis etmek için MGX’i kullanarak Japonya genelinde çok sayıda hiper ölçekli veri merkezi kurmayı planlıyor.

Tasarımda Esneklik

Veri merkezleri, maliyetleri düşürmeye çalışırken iklim değişikliğini ele almak için bilgi işlem yeteneklerini artırma ve karbon emisyonlarını azaltma gerekliliklerini karşılama konusunda baskı altındadır. MGX’in modüler tasarımı, sistem üreticilerine müşterinin benzersiz bütçesini, güç dağıtımını, termal tasarımını ve mekanik gereksinimlerini karşılayacak araçları sağlar.

MGX farklı form faktörleriyle çalışır ve aşağıdakiler de dahil olmak üzere mevcut ve gelecek nesil NVIDIA donanımlarıyla uyumludur:

• Şasi : 1U, 2U, 4U (hava veya sıvı soğutmalı)
• GPU’lar : En yeni H100, L40, L4 dahil olmak üzere tam NVIDIA GPU portföyü
• CPU’lar : NVIDIA Grace CPU Süper Çipi, GH200 Grace Hopper Süper Çipi, x86 CPU’lar
• Ağ İletişimi : NVIDIA BlueField®-3 DPU, ConnectX-7 ağ bağdaştırıcıları

MGX, sistem oluşturucuların mevcut tasarımları yeniden kullanabilmelerini ve yeni nesil ürünleri kolayca benimseyebilmelerini sağlayan NVIDIA ürünleriyle esnek, çok nesilli uyumluluk sunmak üzere tasarlandı. Bu, AI ve HPC sistemleri oluşturmak için ölçeklendirilecek şekilde uyarlanmış NVLink bağlantılı çoklu GPU temel kartını temel alması açısından NVIDIA HGX’ten farklıdır.

Donanıma ek olarak MGX, geliştiricilerin ve kuruluşların yapay zeka, HPC ve diğer uygulamaları oluşturmasına ve hızlandırmasına olanak tanıyan NVIDIA’nın tam yazılım yığını tarafından desteklenir. Buna, tam olarak desteklenen kurumsal yapay zeka geliştirme ve dağıtımı için yapay zekayı ve veri bilimini hızlandıracak 100’den fazla çerçeve, önceden eğitilmiş model ve geliştirme araçları içeren, NVIDIA AI platformunun yazılım katmanı olan NVIDIA AI Enterprise da dahildir.

NVIDIA MGX, kurumsal ve bulut veri merkezlerine hızlı entegrasyon için Open Compute Project ve Electronic Industries Alliance sunucu raflarıyla uyumludur.