Dünyanın En Güçlü GPU’su
Yapay zeka ve HPC iş yüklerini güçlendirmek için dünyanın en güçlü GPU’su
NVIDIA H200 Tensor Core GPU, oyunun kurallarını değiştiren performans ve bellek özellikleriyle üretken yapay zeka ve yüksek performanslı bilgi işlem (HPC) iş yüklerini güçlendirir. HBM3e’ye sahip ilk GPU olan H200’ün daha büyük ve daha hızlı belleği, üretken yapay zeka ve büyük dil modellerinin (LLM’ler) hızlandırılmasını sağlarken HPC iş yükleri için bilimsel bilgi işlemi geliştirir.
Llama2 70B Çıkarım – 1,9 Kat Daha Hızlı
GPT-3 175B Çıkarım – 1,6 Kat Daha Hızlı
Yüksek Performanslı Bilgi İşlem – 110X Daha Hızlı
Daha Yüksek Performans ve Daha Büyük, Daha Hızlı Bellek
NVIDIA Hopper mimarisini temel alan NVIDIA H200, saniyede 4,8 terabayt (TB/s) hızında 141 gigabayt (GB) HBM3e bellek sunan ilk GPU’dur; bu, NVIDIA H100 Tensor Core GPU’nun 1,4X kapasitesinin neredeyse iki katıdır. daha fazla bellek bant genişliği. H200’ün daha büyük ve daha hızlı belleği, üretken AI ve LLM’leri hızlandırırken, daha iyi enerji verimliliği ve daha düşük toplam sahip olma maliyetiyle HPC iş yükleri için bilimsel bilgi işlemi geliştirir.
Ön ölçülen performans, değişikliğe tabidir.
Llama2 13B: ISL 128, OSL 2K | Verim | H100 1x GPU BS 64 | H200 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 GPU’lar BS 64 | x8 H200 GPU’lar BS 128
Llama2 70B: ISL 2K, OSL 128 | Verim | H100 1x GPU BS 8 | H200 1x GPU BS 32.
Yüksek Performanslı Yüksek Lisans Çıkarımıyla İçgörülerin Kilidini Açın
Yapay zekanın sürekli gelişen ortamında işletmeler, çeşitli çıkarım ihtiyaçlarını karşılamak için Yüksek Lisans’lara güveniyor. Bir yapay zeka çıkarım hızlandırıcısı, geniş bir kullanıcı tabanına uygun ölçekte dağıtıldığında en yüksek verimi en düşük toplam sahip olma maliyetiyle sunmalıdır.
H200, Llama2 gibi LLM’leri işlerken H100 GPU’lara kıyasla çıkarım hızını 2 kata kadar artırır.
Yüksek Performanslı Bilgi İşlemi Güçlendirin
Bellek bant genişliği, daha hızlı veri aktarımı sağlayarak karmaşık işlem darboğazlarını azalttığından HPC uygulamaları için çok önemlidir. Simülasyonlar, bilimsel araştırmalar ve yapay zeka gibi yoğun bellek kullanan HPC uygulamaları için H200’ün daha yüksek bellek bant genişliği, verilere verimli bir şekilde erişilmesini ve işlenmesini sağlar ve CPU’lara kıyasla sonuçlara 110 kat daha hızlı ulaşmayı sağlar.
Tahmini performans değişebilir.
HPC MILC-veri kümesi NERSC Apex Medium | HGX H200 4-GPU | çift Sapphire Rapids 8480
HPC Uygulamaları- CP2K: veri kümesi H2O-32-RI-dRPA-96points | GROMACS: STMV veri kümesi | SİMGE: veri kümesi r2b5 | MILC: veri kümesi NERSC Apex Medium | Chroma: veri kümesi HMC Medium | Quantum Espresso: AUSURF112 veri kümesi | 1x H100 | 1x H200.
Tahmini performans değişebilir.
HPC MILC-veri kümesi NERSC Apex Medium | HGX H200 4-GPU | çift Sapphire Rapids 8480
HPC Uygulamaları- CP2K: veri kümesi H2O-32-RI-dRPA-96points | GROMACS: STMV veri kümesi | SİMGE: veri kümesi r2b5 | MILC: veri kümesi NERSC Apex Medium | Chroma: veri kümesi HMC Medium | Quantum Espresso: AUSURF112 veri kümesi | 1x H100 | 1x H200.
