SUNUCU MİMARİSİNDE PCIE’YE ERİŞİM

 

 

Sunucu mimarisinde PCIe’ye erişim. Supermicro GPU Sunucuları için Yapılandırma Seçeneklerini Anlamak İş Yükleri için Maksimum Performans Sağlar.

 

Yönetici Özeti

Sunucu mimarisinde PCIe’ye erişim de GPU sunucular, yapay zeka ve HPC uygulamaları için yalnızca CPU kullanan geleneksel sunuculara kıyasla performans açısından muazzam bir fayda sağlamaktadır. Bu sistemlerde çok çeşitli uygulamalar çalıştırılabilir ve GPU’lardan yararlanan uygulamalar için performans artışı geniş çapta belgelenmiştir. GPU odaklı sunucular tek veya çift CPU ve 10 adede kadar PCIe GPU içerirken, sistemin nasıl tasarlandığı sunucunun uygulama hızını ve esnekliğini etkileyebilir. Bir GPU sunucusunu tasarlamanın üç yolu vardır, bu da çeşitli iş yükleri için daha optimize bir sistemle sonuçlanır. Bir GPU sunucusu seçerken CPU ve GPU’lar arasındaki veri akışı çok önemlidir.

 

PCIE GPU Erişim Seçenekleri

Sunucu mimarisinde PCIe’ye erişim de Supermicro GPU sunucuları, sunucu içinde birden fazla GPU gerektiren uygulamalar için tasarlanmıştır. Birçok sunucu, bir PCIe yuvası aracılığıyla CPU’ların GPU’lara 1: 1 oranını işleyebilse de, yüksek hızlandırma için tasarlanan sunucular, CPU’lardan önemli ölçüde daha fazla GPU içeren bir oran gerektirir. GPU sunucuları iki genel mimaride mevcuttur:

• PCIe yuvalarına 10 adede kadar GPU’nun takıldığı PCIe tabanlı GPU’lar
• GPU’ların kendi kartlarına monte edildiği ve CPU’lara yalnızca 1 PCIe bağlantısına sahip olduğu SXM/OAM tabanlı GPU sunucuları.

Çoğu GPU sunucusunda iki CPU soketi bulunur ve her sokete DRAM bellek takılıdır. CPU’lar yüksek hızlı iletişim yolları (Intel tabanlı sistemler için UPI ve AMD tabanlı sistemler için xGMI) aracılığıyla iletişim kurar.
PCIe tabanlı sunucuları daha ayrıntılı incelediğimizde, çeşitli iş yükleri için üç farklı sistem mimarisi tasarlandığını görüyoruz.

• Tek Kök
• Çift Kök
• Doğrudan Eklenti

Tek Kök Seçeneği Açıklandı

Tek kök mimarisi, tek bir CPU üzerinde bulunan ancak birden fazla GPU’ya erişim gerektiren uygulamalar için idealdir. Tek kök sistemi, CPU’lardan birini (iki taneden birini) GPU’larla tüm iletişimi yönetmeye ayırır. Şekil 1’de gösterildiği gibi, GPU’larla iletişim kuran CPU bunu bir PCI anahtarı (PLX) aracılığıyla yapar. Her PLX anahtarı CPU’ya 2 PCIe x16 şeridi üzerinden bağlanır ve daha sonra beş çift genişlikli GPU’ya kadar iletişim kurabilir. Bu da tek bir sunucuda maksimum 10 GPU kullanılmasını sağlar. Tek kök sistemi, hesaplamanın çoğunun GPU üzerinde gerçekleştiği derin öğrenme uygulamaları için özel olarak tasarlanmıştır.

Tek Kök yapılandırmasının avantajları:

• Tek bir CPU’nun 10 adede kadar GPU’ya erişimi vardır. Tüm GPU’lara doğrudan erişime ihtiyaç duyan uygulamalar bu yapılandırmadan faydalanacaktır.

Uygulamalar – Eşler arası iletişim (GPU’dan GPU’ya) performansı kritik olmadığında.
Tek Kök sisteminin genel yapılandırması Şekil 1’de gösterilmektedir.

Çift Kök Seçeneği Açıklandı

Çift kök kurulumu, her CPU’yu bir PLX anahtarı aracılığıyla birkaç GPU’ya bağlar. Şu anda, toplamda adreslenebilecek maksimum GPU sayısı 10’dur. PLX anahtarı aracılığıyla bağlanan GPU’ların dağılımı CPU başına eşit olmak zorunda değildir, çünkü bir sisteme atanan iş yükü (yükleri) CPU’lar arasında kolayca dağıtılamayabilir. Her CPU birbiriyle kolayca iletişim kurabilir ve her PLX anahtarına bağlı PCIe cihazlarının kombinasyonları çok esnek olabilir. Aşağıdaki şekilde, her CPU (ve PLX anahtarı) 4 GPU, 2 AOC kartı ve 4 NVMe depolama cihazına sahiptir. Bu tür bir sistem, Omniverse ortamları için en yaygın yapılandırmadır. Bu yapılandırma, CPU ve GPU arasında dengelenen uygulamalara fayda sağlayacaktır.
Çift Kök yapılandırmasının avantajları:

• İş yükleri, her biri toplam 10 adede kadar GPU’ya veya PLX anahtarı aracılığıyla erişilebilen diğer cihazlara sahip bir CPU’ya atanabilir.

Uygulamalar – Verilerin iki CPU arasında paylaşılması ve iletilmesi gereken yerlerde Bu dengeli sistem, CPU’ların GPU’lar, ağ kartları veya depolama cihazlarıyla verimli bir şekilde iletişim kurmasını sağlar. Örnekler arasında Yapay Zeka Hesaplama/Model Eğitimi/Derin Öğrenme ve Yüksek Performanslı Hesaplama (HPC) yer alır.

 

Doğrudan Bağlı Seçeneği Açıklandı

Doğrudan Bağlı kurulumda, CPU’ların her biri, sistem başına toplam sekiz adet olmak üzere dört tam boyutlu GPU’ya kadar doğrudan PCIe erişimine sahiptir. Bu yapılandırmanın avantajı, PLX anahtarlarına gerek olmaması ve her CPU’nun dört GPU’ya doğrudan bağlantıya sahip olmasıdır. Doğrudan bağlı bir kurulum en çok HPC uygulamaları için yaygındır. Bu durumda, PLX çipi daha fazla PCIe cihazına izin verirken, CPU’lar ve cihazlar arasındaki gecikme sürelerini artırabilir.
Avantajlar:

• Bir CPU üzerinde çalışan her uygulamanın dört GPU’ya erişimi vardır.
• Her CPU, GPU’lara ve I/O özelliklerine eşit erişime sahiptir.

Uygulamalar – Birden fazla uygulamanın aynı anda çalışabileceği veya tek bir uygulamanın bölünebileceği veya ayrılabileceği ve farklı CPU’lara atanabileceği bilgi işlem ortamları için mükemmeldir.

 

PCIE GPU Destek Seçenekleri
Supermicro X13 GPU Sunucuları, yukarıdaki yapılandırmalarda aşağıdaki GPU’ları destekler:

• NVIDIA® H100 Tensor Core GPU PCIe form faktörü

Supermicro H13 GPU Sunucuları, yukarıdaki yapılandırmalarda aşağıdaki GPU’ları destekler:

• NVIDIA® H100 Tensor Core GPU PCIe form faktörü
• AMD Instinct™ MI200 Serisi

 

Özet

Uygulama iş yüküne bağlı olarak, Supermicro’dan farklı GPU sunucu konfigürasyonları elde edilebilir. Doğrudan Bağlı, Tek Köklü veya Çift Köklü olsun, uygun CPU ve GPU kombinasyonları seçilirse uygulamalar iyi performans gösterecektir. Kullanıcılar farklılıkları anlamalı ve iş yüklerini sunucularla eşleştirmelidir.

 

DAHA FAZLA BİLGİ EDİNMEK İÇİN BİZİMLE İLETİŞİME GEÇİN!