H100 NVL Archives - SupermicroSunucu Blog https://supermicrosunucu.com/blog/tag/h100-nvl Supermicro Sunucu, QSAN Storage, Magnetar Storage, NVIDIA Workstation, Mellanox Hakkında Herşey Wed, 05 Jun 2024 11:34:49 +0000 tr hourly 1 https://wordpress.org/?v=6.8.3 Yapay Zeka için Nvidia H100 NVL https://supermicrosunucu.com/blog/yapay-zeka-icin-nvidia-h100-nvl.html https://supermicrosunucu.com/blog/yapay-zeka-icin-nvidia-h100-nvl.html#respond Wed, 05 Jun 2024 11:02:55 +0000 https://supermicrosunucu.com/blog/?p=1903 Üst Düzey Yapay Zeka Çıkarımı için NVIDIA H100 NVL Piyasaya Sürüldü

 

Yapay Zeka için Nvidia H100 NVL

NVIDIA H100 HVL

NVIDIA H100 HVL daha önce gördüğümüz bir şeye benzeyebilir ancak arada büyük bir fark var. NVIDIA’ya sorduk ve şirket mantıksal olarak bunun işletim sistemi için iki GPU olduğunu ancak NVLink’in 188 GB belleğin tamamının sistem tarafından kullanılmasına izin vereceğini söyledi.

Üst Düzey Yapay Zeka Çıkarımı için NVIDIA H100 NVL Piyasaya Sürüldü

Yeni NVIDIA H100 NVL, iki NVIDIA H100 PCIe’yi NVLink ile bir araya getiriyor ve bir yenilik getiriyor. Yeni NVL sürümünde GPU başına 94 GB, toplam 188 GB HBM3 bellek bulunuyor. Bu muhtemelen altıncı 16GB’lık yığının etkinleştirildiği, ancak 96GB’lık aktif alanın 94GB’ı için yalnızca 14GB’ın mevcut olduğu anlamına geliyor.

NVIDIA H100 HVL

Gerçekten ilginç olan da TDP’dir. Bunlar 350W ila 400W TDP PCIe kartlarıdır. Genel olarak, çoğu sunucu PCIe form faktörlerinde 400W’ı işleyemediğinden, PCIe kartlarındaki diğer satıcıların çoğunda gördüğümüz en üst seviye 300W’tır. Bu, üst düzey OAM/SXM form faktörleri için büyük bir etkendir.

H100SXM H100 PCIe H100NVL
FP64 34 teraFLOPS 26 teraFLOPS 68 teraFLOP
FP64 Tensör Çekirdeği 67 teraFLOPS 51 teraFLOPS 134 teraFLOP
FP32 67 teraFLOPS 51 teraFLOPS 134 teraFLOP
TF32 Tensör Çekirdeği 989 teraFLOPS 1 756teraFLOPS 1 1.979 teraFLOP 1
BFLOAT16 Tensör Çekirdeği 1.979 teraFLOPS 1 1.513 teraFLOPS 1 3.958 teraFLOP 1
FP16 Tensör Çekirdeği 1.979 teraFLOPS 1 1.513 teraFLOPS 1 3.958 teraFLOP 1
FP8 Tensör Çekirdeği 3.958 teraFLOPS 1 3.026 teraFLOPS 1 7.916 teraFLOP 1
INT8 Tensör Çekirdeği 3.958 ÜST 1 3.026 ÜST 1 7.916 ÜST 1
GPU belleği 80 GB 80 GB 188GB
GPU bellek bant genişliği 3,35 TB/sn 2 TB/sn 7,8 TB/sn
Kod çözücüler 7 NVDEC
7 JPEG		 7 NVDEC
7 JPEG		 14 NVDEC
14 JPEG
Maksimum termal tasarım gücü (TDP) 700W’a kadar (yapılandırılabilir) 300-350W (yapılandırılabilir) 2x 350-400W
(yapılandırılabilir)
Çoklu Örnek GPU’lar Her biri 10 GB’ta 7 MIGS’ye kadar Her biri 12 GB’ta 14 MIGS’ye kadar
Form faktörü SXM PCIe
Çift yuvalı hava soğutmalı		 2x PCIe
Çift yuvalı hava soğutmalı
Ara bağlantı NVLink: 900 GB/sn
PCIe Gen5: 128 GB/sn		 NVLink: 600 GB/sn
PCIe Gen5: 128 GB/sn		 NVLink: 600 GB/sn
PCIe Gen5: 128 GB/sn

Spesifikasyonlara dayanarak, NVIDIA H100 NVL spesifikasyonlarının 400W için olduğunu varsayarsak, PCIe versiyonlarının H100 SXM5 versiyonlarından çok daha üstün olduğu ancak üst seviye 900GB/s NVLINK arayüzleri olmadığı görülüyor. Hesaplama özellikleri H100 SXM’nin 2 katıdır, ancak NVL sürümü daha fazla belleğe, daha yüksek bellek bant genişliğine sahiptir ve performans için benzer gücü kullanır.

Son sözler

Bizim düşüncemiz, NVL’nin değerinin düşürülmesi gerektiği veya H100 SXM5’in yakın zamanda eşleşmesi için spesifikasyon artışına ihtiyaç duyacağı yönünde. Bu çok garip bir konumlandırma. Yine de NVIDIA, ChatGPT için artık DGX A100’leri kullanan OpenAI’nin, çıkarımını yapmak için 10x’e kadar DGX A100 sistemini dört set NVIDIA H100 NVL çiftiyle değiştirebileceğini söylüyor. Zamanla bunların değerinin düşürülüp düşürülmeyeceğini veya H100 SXM5’in güncellenip güncellenmeyeceğini görmek ilginç olacak.

 

Daha fazla bilgi edinmek için bizimle iletişime geçin!

]]> https://supermicrosunucu.com/blog/yapay-zeka-icin-nvidia-h100-nvl.html/feed 0