NVIDIA, Süper Şarj Haznesi HGX H200ü Tanıttı
NVIDIA, Süper Şarj Haznesi HGX H200ü tanıttı ve yapay zeka hesaplamasında önemli bir adım attı. NVIDIA Hopper mimarisini temel alan bu yeni platform, üretken yapay zeka ve yüksek performanslı bilgi işlem (HPC) iş yükleri için özel olarak tasarlanmış, gelişmiş bellek özellikleriyle devasa veri hacimlerini işleyen NVIDIA H200 Tensor Core GPU’ya sahiptir.
H200, yüksek bant genişliğine sahip (HBM3e) belleğe sahip ilk GPU olarak öne çıkıyor; üretken yapay zeka ve büyük dil modelleri (LLM’ler) için hayati önem taşıyan daha hızlı ve daha büyük bellek sunuyor ve HPC iş yükleri için bilimsel bilgi işlemi geliştiriyor. Saniyede 4,8 terabayt hızında 141 GB belleğe sahip olup, kapasiteyi neredeyse iki katına çıkarır ve selefi NVIDIA A100’e göre 2,4 kat daha fazla bant genişliği sunar.
Önde gelen sunucu üreticilerinin ve bulut hizmet sağlayıcılarının H200 tarafından desteklenen sistemlerinin 2024’ün ikinci çeyreğinde sevkiyata başlaması bekleniyor. NVIDIA’nın Hiper Ölçek ve HPC Başkan Yardımcısı Ian Buck, H200’ün çok büyük miktarlardaki verinin yüksek hızda işlenmesini önemli ölçüde geliştireceğini vurguluyor. Üretken yapay zeka ve HPC uygulamaları için gerekli olan hızlar.
Hopper mimarisi, önceki nesillere göre kayda değer bir performans artışına işaret ediyor ve NVIDIA TensorRT-LLM’nin son sürümü gibi devam eden yazılım güncellemeleriyle daha da geliştirildi . H200, Llama 2 gibi büyük dil modellerinde çıkarım hızını neredeyse iki katına çıkarmayı vaat ediyor ve gelecekteki yazılım güncellemelerinde daha fazla performans geliştirmesi bekleniyor.
H200 Özellikleri
| NVIDIA H200 Tensör Çekirdek GPU | |
|---|---|
| Form faktörü | H200SXM |
| FP64 | 34 TFLOP |
| FP64 Tensör Çekirdeği | 67 TFLOP |
| FP32 | 67 TFLOP |
| TF32 Tensör Çekirdeği | 989 TFLOP |
| BFLOAT16 Tensör Çekirdeği | 1.979 TFLOP |
| FP16 Tensör Çekirdeği | 1.979 TFLOP |
| FP8 Tensör Çekirdeği | 3.958 TFLOP |
| INT8 Tensör Çekirdeği | 3.958 TFLOP |
| GPU Belleği | 141 GB |
| GPU Bellek Bant Genişliği | 4,8 TB/sn |
| Kod çözücüler | 7 NVDEC 7 JPEG |
| Maksimum Termal Tasarım Gücü (TDP) | 700W’a kadar (yapılandırılabilir) |
| Çoklu Örnek GPU’lar | Her biri 16,5 GB’ta 7’ye kadar MIG |
| Ara bağlantı | NVIDIA NVLink: 900 GB/sn PCIe Gen5: 128 GB/sn |
| Sunucu Seçenekleri | NVIDIA HGX H200 ortağı ve 4 veya 8 GPU’lu NVIDIA Sertifikalı Sistemler |
Uyarlanabilir Form Faktörleri
NVIDIA H200, HGX H100 sistemleriyle uyumlu, dört ve sekiz yollu konfigürasyonlardaki NVIDIA HGX H200 sunucu anakartları da dahil olmak üzere çeşitli form faktörlerinde satışa sunulacak. Ayrıca HBM3e’li NVIDIA GH200 Grace Hopper Superchip’te de mevcuttur . Yakın zamanda NVIDIA GH200 Grace Hopper Supperchip hakkında bir yazı yayınladık . Bu seçenekler, H200’ün şirket içi, bulut, hibrit bulut ve uç ortamlar dahil olmak üzere farklı veri merkezi türlerine uyarlanabilirliğini sağlar.
Amazon Web Services, Google Cloud, Microsoft Azure ve Oracle Cloud Infrastructure dahil olmak üzere önemli sunucu üreticileri ve bulut hizmeti sağlayıcıları, gelecek yıldan itibaren H200 tabanlı bulut sunucularını dağıtmaya hazırlanıyor.
NVIDIA NVLink ve NVSwitch yüksek hızlı ara bağlantılarıyla donatılmış HGX H200, 175 milyar parametrenin ötesindeki modeller için eğitim ve çıkarım da dahil olmak üzere çeşitli iş yükleri için en üst performansı sunar. Sekiz yönlü HGX H200 yapılandırması, 32 petafloptan fazla FP8 derin öğrenme hesaplaması ve 1,1 TB yüksek bant genişliğine sahip bellek sağlar; NVIDIA Grace CPU’lar ve NVLink-C2C ara bağlantısıyla birleştirilmiş üretken yapay zeka ve HPC uygulamaları için idealdir; H200, GH200 Grace’i oluşturur Büyük ölçekli HPC ve yapay zeka uygulamaları için tasarlanmış bir modül olan HBM3e’li Hopper Superchip.
NVIDIA AI Enterprise paketi de dahil olmak üzere NVIDIA’nın tam kapsamlı yazılım desteği, geliştiricilerin ve kuruluşların yapay zekadan HPC’ye kadar uygulamalar oluşturmasına ve hızlandırmasına olanak tanır. NVIDIA H200, 2024’ün ikinci çeyreğinden itibaren küresel sistem üreticileri ve bulut hizmet sağlayıcılarında satışa sunulacak ve yapay zeka ve HPC yeteneklerinde yeni bir döneme işaret edecek.
