Sunucu mimarisinde PCIe’ye erişim. Supermicro GPU Sunucuları için Yapılandırma Seçeneklerini Anlamak İş Yükleri için Maksimum Performans Sağlar.

Yönetici Özeti

Sunucu mimarisinde PCIe’ye erişim de GPU sunucular, yapay zeka ve HPC uygulamaları için yalnızca CPU kullanan geleneksel sunuculara kıyasla performans açısından muazzam bir fayda sağlamaktadır. Bu sistemlerde çok çeşitli uygulamalar çalıştırılabilir ve GPU’lardan yararlanan uygulamalar için performans artışı geniş çapta belgelenmiştir. GPU odaklı sunucular tek veya çift CPU ve 10 adede kadar PCIe GPU içerirken, sistemin nasıl tasarlandığı sunucunun uygulama hızını ve esnekliğini etkileyebilir. Bir GPU sunucusunu tasarlamanın üç yolu vardır, bu da çeşitli iş yükleri için daha optimize bir sistemle sonuçlanır. Bir GPU sunucusu seçerken CPU ve GPU’lar arasındaki veri akışı çok önemlidir.

PCIE GPU Erişim Seçenekleri

Sunucu mimarisinde PCIe’ye erişim de Supermicro GPU sunucuları, sunucu içinde birden fazla GPU gerektiren uygulamalar için tasarlanmıştır. Birçok sunucu, bir PCIe yuvası aracılığıyla CPU’ların GPU’lara 1: 1 oranını işleyebilse de, yüksek hızlandırma için tasarlanan sunucular, CPU’lardan önemli ölçüde daha fazla GPU içeren bir oran gerektirir. GPU sunucuları iki genel mimaride mevcuttur:

• PCIe yuvalarına 10 adede kadar GPU’nun takıldığı PCIe tabanlı GPU’lar
• GPU’ların kendi kartlarına monte edildiği ve CPU’lara yalnızca 1 PCIe bağlantısına sahip olduğu SXM/OAM tabanlı GPU sunucuları.

Çoğu GPU sunucusunda iki CPU soketi bulunur ve her sokete DRAM bellek takılıdır. CPU’lar yüksek hızlı iletişim yolları (Intel tabanlı sistemler için UPI ve AMD tabanlı sistemler için xGMI) aracılığıyla iletişim kurar.
PCIe tabanlı sunucuları daha ayrıntılı incelediğimizde, çeşitli iş yükleri için üç farklı sistem mimarisi tasarlandığını görüyoruz.

• Tek Kök
• Çift Kök
• Doğrudan Eklenti

Tek Kök Seçeneği Açıklandı

Tek kök mimarisi, tek bir CPU üzerinde bulunan ancak birden fazla GPU’ya erişim gerektiren uygulamalar için idealdir. Tek kök sistemi, CPU’lardan birini (iki taneden birini) GPU’larla tüm iletişimi yönetmeye ayırır. Şekil 1’de gösterildiği gibi, GPU’larla iletişim kuran CPU bunu bir PCI anahtarı (PLX) aracılığıyla yapar. Her PLX anahtarı CPU’ya 2 PCIe x16 şeridi üzerinden bağlanır ve daha sonra beş çift genişlikli GPU’ya kadar iletişim kurabilir. Bu da tek bir sunucuda maksimum 10 GPU kullanılmasını sağlar. Tek kök sistemi, hesaplamanın çoğunun GPU üzerinde gerçekleştiği derin öğrenme uygulamaları için özel olarak tasarlanmıştır.

Tek Kök yapılandırmasının avantajları:

• Tek bir CPU’nun 10 adede kadar GPU’ya erişimi vardır. Tüm GPU’lara doğrudan erişime ihtiyaç duyan uygulamalar bu yapılandırmadan faydalanacaktır.

Uygulamalar – Eşler arası iletişim (GPU’dan GPU’ya) performansı kritik olmadığında.
Tek Kök sisteminin genel yapılandırması Şekil 1’de gösterilmektedir.

Çift Kök Seçeneği Açıklandı

Çift kök kurulumu, her CPU’yu bir PLX anahtarı aracılığıyla birkaç GPU’ya bağlar. Şu anda, toplamda adreslenebilecek maksimum GPU sayısı 10’dur. PLX anahtarı aracılığıyla bağlanan GPU’ların dağılımı CPU başına eşit olmak zorunda değildir, çünkü bir sisteme atanan iş yükü (yükleri) CPU’lar arasında kolayca dağıtılamayabilir. Her CPU birbiriyle kolayca iletişim kurabilir ve her PLX anahtarına bağlı PCIe cihazlarının kombinasyonları çok esnek olabilir. Aşağıdaki şekilde, her CPU (ve PLX anahtarı) 4 GPU, 2 AOC kartı ve 4 NVMe depolama cihazına sahiptir. Bu tür bir sistem, Omniverse ortamları için en yaygın yapılandırmadır. Bu yapılandırma, CPU ve GPU arasında dengelenen uygulamalara fayda sağlayacaktır.
Çift Kök yapılandırmasının avantajları:

• İş yükleri, her biri toplam 10 adede kadar GPU’ya veya PLX anahtarı aracılığıyla erişilebilen diğer cihazlara sahip bir CPU’ya atanabilir.

Uygulamalar – Verilerin iki CPU arasında paylaşılması ve iletilmesi gereken yerlerde Bu dengeli sistem, CPU’ların GPU’lar, ağ kartları veya depolama cihazlarıyla verimli bir şekilde iletişim kurmasını sağlar. Örnekler arasında Yapay Zeka Hesaplama/Model Eğitimi/Derin Öğrenme ve Yüksek Performanslı Hesaplama (HPC) yer alır.

Doğrudan Bağlı Seçeneği Açıklandı

Doğrudan Bağlı kurulumda, CPU’ların her biri, sistem başına toplam sekiz adet olmak üzere dört tam boyutlu GPU’ya kadar doğrudan PCIe erişimine sahiptir. Bu yapılandırmanın avantajı, PLX anahtarlarına gerek olmaması ve her CPU’nun dört GPU’ya doğrudan bağlantıya sahip olmasıdır. Doğrudan bağlı bir kurulum en çok HPC uygulamaları için yaygındır. Bu durumda, PLX çipi daha fazla PCIe cihazına izin verirken, CPU’lar ve cihazlar arasındaki gecikme sürelerini artırabilir.
Avantajlar:

• Bir CPU üzerinde çalışan her uygulamanın dört GPU’ya erişimi vardır.
• Her CPU, GPU’lara ve I/O özelliklerine eşit erişime sahiptir.

Uygulamalar – Birden fazla uygulamanın aynı anda çalışabileceği veya tek bir uygulamanın bölünebileceği veya ayrılabileceği ve farklı CPU’lara atanabileceği bilgi işlem ortamları için mükemmeldir.

PCIE GPU Destek Seçenekleri
Supermicro X13 GPU Sunucuları, yukarıdaki yapılandırmalarda aşağıdaki GPU’ları destekler:

• NVIDIA® H100 Tensor Core GPU PCIe form faktörü

Supermicro H13 GPU Sunucuları, yukarıdaki yapılandırmalarda aşağıdaki GPU’ları destekler:

• NVIDIA® H100 Tensor Core GPU PCIe form faktörü
• AMD Instinct MI200 Serisi

Özet

Uygulama iş yüküne bağlı olarak, Supermicro’dan farklı GPU sunucu konfigürasyonları elde edilebilir. Doğrudan Bağlı, Tek Köklü veya Çift Köklü olsun, uygun CPU ve GPU kombinasyonları seçilirse uygulamalar iyi performans gösterecektir. Kullanıcılar farklılıkları anlamalı ve iş yüklerini sunucularla eşleştirmelidir.

DAHA FAZLA BİLGİ EDİNMEK İÇİN BİZİMLE İLETİŞİME GEÇİN!

Sıvı Soğutmalı Supermicro SYS-821GE-TNHR

Supermicro Yatay Manifold SYS 821GE TNHR ve CDU 1

Sıvı Soğutmalı Supermicro SYS-821GE-TNHR 8x NVIDIA H100 Yapay Zeka Sunucusuna Bir Bakış

Supermicro’ya bu parçayı yaptığımızı söylemedik ama orijinal parçanın uçuş masraflarını onlar ödediği için bunun sponsorlu olduğunu söylemek zorundayız.

Burada yatay raf manifoldu üstte ve Supermicro soğutma dağıtım ünitesi (CDU) altta olacak şekilde resimde görülen sistem görülmektedir.

Supermicro Yatay Manifold SYS 821GE TNHR ve CDU 1

Görüldüğü gibi yatay raf manifoldu, sıvı soğutma için beş farklı giriş/çıkış çiftine izin verir.

Bu çiftlerden dördü üst tepsiye, biri de CPU tepsisine gider.

İşte hortumların hepsi bağlantısı kesilmiş. On hızlı bağlantı kesme tertibatının tamamının bağlantısını kesmek yaklaşık 20 saniye sürdü.

Bu sistemdeki GPU tepsisi dışarı doğru kayar. Piyasada hâlâ GPU tepsisinin bu kadar kolay kaymadığı birkaç sistem var, bu da fark yaratıyor. GPU’lar aslında özellikle 24×7 HPC veya AI kümelerinde başarısız oluyor, dolayısıyla bu, üst düzey kurulumlar için hemen hemen gerekli bir özelliktir.

Tepsinin içinde, tek bir NVSwitch bloğuna sahip dört set çift GPU sıvı soğutma bloğunu görebiliyoruz. Her üç bileşen de bir döngü kullanılarak soğutulur ve sistemde GPU’lar için dört döngü bulunur.

İşte NVSwitch tarafının kasanın önünde olduğu başka bir görünüm.

NVSwitch’leri soğutmayan başka sıvı soğutma çözümleri de gördük, ancak bunların her biri 100W’ın çok üzerinde olduğundan fan hızlarını düşük tutmak için sıvıyla soğutulmaları gerekiyor.

İşte GPU tarafından sıvı soğutma bloğuna bir bakış.

İşte diğer taraf.

Bunlar Supermicro olarak tasarlandıkları için küçük logoları bile var.

İşte NVSwitch için daha küçük blok.

İşte iki GPU soğuk plakasının ve NVSwitch soğuk plakasının bulunduğu alt kısım.

Başka bir açıdan baktığımızda, H100’ün tüm önemli bileşenleri için macun ve pedleri görebiliriz.

İşte taşırken yapıştırmayı bozduğumuz veya bozmadığımız NVSwitch bloğu.

GPU tepsisinin altında CPU ve depolama tepsisi bulunur.

Burada sistem için bir dizi depolama alanını ve CPU soğutma döngüsü için iki giriş hortumunu görebiliriz.

Sağ tarafta IPMI ve yerel yönetim gibi özellikler için kasa yönetim modülünü görüyoruz.

İşte CPU soğutma döngüsüne ve fanlarına daha iyi bir bakış. DDR5 modülleri, PCIe anahtarları vb. gibi düşük güçlü bileşenlerin tamamını soğutmak için fanlara hâlâ ihtiyaç duyuluyor.

CPU’yu ve depolama tepsisini dışarı çektiğimizde pek çok şeyin olduğunu görebiliriz.

Havayı 32 DDR5 DIMM yuvası üzerinden yönlendirmek için bir hava akışı kılavuzu bulunmaktadır.

Burada CPU sıvı soğutma bloğunu görüyoruz. Unutulmaması gereken bir nokta, Supermicro’nun bu sunucuda kullanılabilecek hem Intel Xeon hem de AMD EPYC CPU tepsilerine sahip olmasıdır; bu nedenle, Intel’in yerleşik hızlandırıcıları veya 128 çekirdekli AMD EPYC Bergamo parçaları gibi ilginç bir şey kullanmak istenirse, bunun özelleştirilmesi oldukça kolaydır.

Bugünlerde yapay zeka sunucularının büyük bir kısmı PCIe anahtarlarından oluşuyor. CPU’lar, PCIe anahtar kartı ve diğer bileşenler arasında kablolu bağlantılara ihtiyacımız olduğundan burada PCIe kablolarını görebiliriz.

Bu soğutucuların altında PCIe anahtarlarımız var.

İşte başka bir PCIe kablosu seti.

İşte bunların üstten görünümü.

Burada DP801 genişletme modelini görebiliriz. NIC DP801’ler, PCIe genişletici DP801’ler ve daha fazlası var.

Sistemin arka kısmına baktığımızda, önde gelen AI sistem oyuncularının sunduğu oldukça standart bir özellik seti görüyoruz. Arkada güç kaynakları, ağ ve fanlar bulunur.

Fanlar çalışırken değiştirilebilir ve güç kaynakları büyüktür.

Her güç kaynağı 3kW PSU’dur. Tahmin edilebileceği gibi Supermicro bu sistemi yalnızca mevcut nesil GPU’lar için değil aynı zamanda gelecekteki GPU’lar için de geliştirdi. Sistem aynı zamanda daha yüksek şasi güç çekişi beklediğimiz hava soğutması için de alternatif olarak tasarlanmıştır.

İşte ağ tepsisine bir bakış. Ağ tepsisinde Infiniband, 100GbE, 200GbE, 400GbE adaptörleri ve daha fazlası bulunabilir. Hatta burada iki adet bakır port görüyoruz.

Görüldüğü gibi, kolay servis ve kişiselleştirme için ağ tepsisi çıkarılabilir.

Fark etmiş olabileceğiniz gibi bu sunucuların birden fazlasına baktık. Hava soğutma ve sıvı soğutma için NVIDIA H100 80GB GPU’ların performansına baktığımızda performansın fiilen aynı olduğunu gördük. Sıvı soğutma seçeneğinin tercih edilmesinin nedeni, daha düşük güç tüketimi, dolayısıyla daha düşük işletme maliyetleri ve potansiyel olarak daha yüksek raf yoğunluğudur.

Son sözler

Çoğu zaman insanlar tüm NVIDIA H100 8 yollu Delta Next sistemlerinin aynı olduğunu varsayar. Artık hemen hemen tüm seçeneklerle uygulamalı zaman geçirdiğimize göre, bunların öyle olmadığı açık. Hava soğutma ve Intel Xeon Sapphire Rapids (ve yakında Emerald Rapids) bu noktada masada yer alıyor. Fiyatlandırma, kullanılabilirlik, servis kolaylığı ve sıvı soğutma, AMD seçenekleri, farklı NIC’ler ve daha fazlası gibi özelliklerle özelleştirme yeteneği bu noktada en büyük fark yaratan unsurlardır.

Umarım bu Supermicro SYS-821GE-TNHR sistemine harika bir bakış olmuştur. Bu, yapay zeka için son derece popüler olan devasa sistemlerden biridir. 2016/2017’den beri Supermicro AI GPU eğitim sistemlerine bakıyoruz ve 8x ve 10x PCIe GPU eğitim sunucularından günümüzün çok esnek sıvı soğutmalı seçeneklerine nasıl geldiğimiz harika.

Daha fazla bilgi edinmek için bizimle iletişime geçin!