Sunucu mimarisinde PCIe’ye erişim. Supermicro GPU Sunucuları için Yapılandırma Seçeneklerini Anlamak İş Yükleri için Maksimum Performans Sağlar.

Yönetici Özeti

Sunucu mimarisinde PCIe’ye erişim de GPU sunucular, yapay zeka ve HPC uygulamaları için yalnızca CPU kullanan geleneksel sunuculara kıyasla performans açısından muazzam bir fayda sağlamaktadır. Bu sistemlerde çok çeşitli uygulamalar çalıştırılabilir ve GPU’lardan yararlanan uygulamalar için performans artışı geniş çapta belgelenmiştir. GPU odaklı sunucular tek veya çift CPU ve 10 adede kadar PCIe GPU içerirken, sistemin nasıl tasarlandığı sunucunun uygulama hızını ve esnekliğini etkileyebilir. Bir GPU sunucusunu tasarlamanın üç yolu vardır, bu da çeşitli iş yükleri için daha optimize bir sistemle sonuçlanır. Bir GPU sunucusu seçerken CPU ve GPU’lar arasındaki veri akışı çok önemlidir.

PCIE GPU Erişim Seçenekleri

Sunucu mimarisinde PCIe’ye erişim de Supermicro GPU sunucuları, sunucu içinde birden fazla GPU gerektiren uygulamalar için tasarlanmıştır. Birçok sunucu, bir PCIe yuvası aracılığıyla CPU’ların GPU’lara 1: 1 oranını işleyebilse de, yüksek hızlandırma için tasarlanan sunucular, CPU’lardan önemli ölçüde daha fazla GPU içeren bir oran gerektirir. GPU sunucuları iki genel mimaride mevcuttur:

• PCIe yuvalarına 10 adede kadar GPU’nun takıldığı PCIe tabanlı GPU’lar
• GPU’ların kendi kartlarına monte edildiği ve CPU’lara yalnızca 1 PCIe bağlantısına sahip olduğu SXM/OAM tabanlı GPU sunucuları.

Çoğu GPU sunucusunda iki CPU soketi bulunur ve her sokete DRAM bellek takılıdır. CPU’lar yüksek hızlı iletişim yolları (Intel tabanlı sistemler için UPI ve AMD tabanlı sistemler için xGMI) aracılığıyla iletişim kurar.
PCIe tabanlı sunucuları daha ayrıntılı incelediğimizde, çeşitli iş yükleri için üç farklı sistem mimarisi tasarlandığını görüyoruz.

• Tek Kök
• Çift Kök
• Doğrudan Eklenti

Tek Kök Seçeneği Açıklandı

Tek kök mimarisi, tek bir CPU üzerinde bulunan ancak birden fazla GPU’ya erişim gerektiren uygulamalar için idealdir. Tek kök sistemi, CPU’lardan birini (iki taneden birini) GPU’larla tüm iletişimi yönetmeye ayırır. Şekil 1’de gösterildiği gibi, GPU’larla iletişim kuran CPU bunu bir PCI anahtarı (PLX) aracılığıyla yapar. Her PLX anahtarı CPU’ya 2 PCIe x16 şeridi üzerinden bağlanır ve daha sonra beş çift genişlikli GPU’ya kadar iletişim kurabilir. Bu da tek bir sunucuda maksimum 10 GPU kullanılmasını sağlar. Tek kök sistemi, hesaplamanın çoğunun GPU üzerinde gerçekleştiği derin öğrenme uygulamaları için özel olarak tasarlanmıştır.

Tek Kök yapılandırmasının avantajları:

• Tek bir CPU’nun 10 adede kadar GPU’ya erişimi vardır. Tüm GPU’lara doğrudan erişime ihtiyaç duyan uygulamalar bu yapılandırmadan faydalanacaktır.

Uygulamalar – Eşler arası iletişim (GPU’dan GPU’ya) performansı kritik olmadığında.
Tek Kök sisteminin genel yapılandırması Şekil 1’de gösterilmektedir.

Çift Kök Seçeneği Açıklandı

Çift kök kurulumu, her CPU’yu bir PLX anahtarı aracılığıyla birkaç GPU’ya bağlar. Şu anda, toplamda adreslenebilecek maksimum GPU sayısı 10’dur. PLX anahtarı aracılığıyla bağlanan GPU’ların dağılımı CPU başına eşit olmak zorunda değildir, çünkü bir sisteme atanan iş yükü (yükleri) CPU’lar arasında kolayca dağıtılamayabilir. Her CPU birbiriyle kolayca iletişim kurabilir ve her PLX anahtarına bağlı PCIe cihazlarının kombinasyonları çok esnek olabilir. Aşağıdaki şekilde, her CPU (ve PLX anahtarı) 4 GPU, 2 AOC kartı ve 4 NVMe depolama cihazına sahiptir. Bu tür bir sistem, Omniverse ortamları için en yaygın yapılandırmadır. Bu yapılandırma, CPU ve GPU arasında dengelenen uygulamalara fayda sağlayacaktır.
Çift Kök yapılandırmasının avantajları:

• İş yükleri, her biri toplam 10 adede kadar GPU’ya veya PLX anahtarı aracılığıyla erişilebilen diğer cihazlara sahip bir CPU’ya atanabilir.

Uygulamalar – Verilerin iki CPU arasında paylaşılması ve iletilmesi gereken yerlerde Bu dengeli sistem, CPU’ların GPU’lar, ağ kartları veya depolama cihazlarıyla verimli bir şekilde iletişim kurmasını sağlar. Örnekler arasında Yapay Zeka Hesaplama/Model Eğitimi/Derin Öğrenme ve Yüksek Performanslı Hesaplama (HPC) yer alır.

Doğrudan Bağlı Seçeneği Açıklandı

Doğrudan Bağlı kurulumda, CPU’ların her biri, sistem başına toplam sekiz adet olmak üzere dört tam boyutlu GPU’ya kadar doğrudan PCIe erişimine sahiptir. Bu yapılandırmanın avantajı, PLX anahtarlarına gerek olmaması ve her CPU’nun dört GPU’ya doğrudan bağlantıya sahip olmasıdır. Doğrudan bağlı bir kurulum en çok HPC uygulamaları için yaygındır. Bu durumda, PLX çipi daha fazla PCIe cihazına izin verirken, CPU’lar ve cihazlar arasındaki gecikme sürelerini artırabilir.
Avantajlar:

• Bir CPU üzerinde çalışan her uygulamanın dört GPU’ya erişimi vardır.
• Her CPU, GPU’lara ve I/O özelliklerine eşit erişime sahiptir.

Uygulamalar – Birden fazla uygulamanın aynı anda çalışabileceği veya tek bir uygulamanın bölünebileceği veya ayrılabileceği ve farklı CPU’lara atanabileceği bilgi işlem ortamları için mükemmeldir.

PCIE GPU Destek Seçenekleri
Supermicro X13 GPU Sunucuları, yukarıdaki yapılandırmalarda aşağıdaki GPU’ları destekler:

• NVIDIA® H100 Tensor Core GPU PCIe form faktörü

Supermicro H13 GPU Sunucuları, yukarıdaki yapılandırmalarda aşağıdaki GPU’ları destekler:

• NVIDIA® H100 Tensor Core GPU PCIe form faktörü
• AMD Instinct MI200 Serisi

Özet

Uygulama iş yüküne bağlı olarak, Supermicro’dan farklı GPU sunucu konfigürasyonları elde edilebilir. Doğrudan Bağlı, Tek Köklü veya Çift Köklü olsun, uygun CPU ve GPU kombinasyonları seçilirse uygulamalar iyi performans gösterecektir. Kullanıcılar farklılıkları anlamalı ve iş yüklerini sunucularla eşleştirmelidir.

DAHA FAZLA BİLGİ EDİNMEK İÇİN BİZİMLE İLETİŞİME GEÇİN!

Supermicro ve Nvidia Simülasyonlarını Hızlandıracak Çözümler Üretiyor.

Nvidia Veri Merkezi GPU’larına sahip Supermicro Sunucular, CFD Simülasyonları için Önemli Hızlandırma Sağlayarak Üretim İşletmelerinin Pazara Çıkış Süresini Kısaltıyor.

Yönetici Özeti

Otomotiv şirketleri araç geliştirme süresini kısaltmaya ve yeni araçları pazara daha hızlı sunmaya çalıştıkça, otomotiv geliştirme için bilgisayar destekli mühendisliğe duyulan ihtiyaç da artmaktadır. Yüksek performanslı bilgi işlem (HPC) alanındaki son gelişmelerden biri, karbon ayak izini ve maliyeti azaltırken hesaplama süresini önemli ölçüde hızlandırmak için hesaplamalı akışkanlar dinamiği (CFD) için GPU’lardan yararlanmak olmuştur.
Supermicro ve NVIDIA, optimum donanım yapılandırmalarına sahip HPC uygulamaları için bir referans mimari geliştirmek üzere ortaklık kurdu. Bu Çözüm Özeti’nde, Hesaplamalı Akışkanlar Dinamiği (CFD) için GPU hızlandırmadan en iyi şekilde yararlanmak için temel gereksinimleri gözden geçireceğiz.

Simülasyon Yoluyla Araç Tasarımının İyileştirilmesi

Araç verimliliğini, maliyetini ve konforunu iyileştirme ihtiyacı otomotiv endüstrisinde kritik hedeflerdir. Hibrit ve elektrikli araçlara geçişle birlikte, araç menzilinin iyileştirilmesi özellikle önemli hale gelmiştir. Menzilin sürtünme ile doğru orantılı olduğu düşünüldüğünde, araç tasarımının erken aşamalarında sürtünmeyi anlamak ve azaltmak kritik önem taşımaktadır. Bilgisayar Destekli Mühendislik (CAE), mühendislerin pahalı ve zaman alıcı prototipler oluşturmaya gerek kalmadan değişiklikleri hızlı bir şekilde değerlendirmelerini sağlar. Siemens Simcenter STAR-CCM+ gibi Hesaplamalı Akışkanlar Dinamiği (CFD) araçları, mühendislik profesyonellerinin aerodinamik performansı hemen anlamalarına olanak tanır. GPU performansını değerlendirmek için standart bir otomotiv CFD kıyaslama vakası kullanılır

GPU’ları Kullanarak Simülasyonda Yeni Dönem

2021 yılında araç mühendisleri arasında yapılan bir ankete katılanların %52’si, tasarım döngülerini tamamlamak için gereken süreyi azaltma taleplerinin işlerinin en zorlu yönlerinden biri olduğunu ifade etmiştir. Bu artan hızlandırma ihtiyacını karşılamak için NVIDIA, son 15 yılda GPU’ların devasa paralel işleme gücünün ve bellek ile GPU çekirdekleri arasındaki ışık hızındaki arayüzün avantajlarını araç simülasyonuna getirmek için simülasyon yazılımı liderleriyle yakın bir şekilde çalıştı. Önde gelen simülasyon yazılımı sağlayıcıları, araç simülasyonu uygulamalarını GPU’larda çalıştırarak uygulamalarının 30 kata kadar hızlandığını göstermiş, böylece mühendis üretkenliğini artırmış ve araçların piyasaya sürülme süresini kısaltmaya yardımcı olmuştur.

Daha Azıyla Daha Fazlasını Yapmak – Simülasyon için Sermaye Harcamalarının İyileştirilmesi

Artan hesaplama verimliliği, iş yükü hızlandırmadan daha fazlası anlamına gelir, ancak aynı derecede önemli olarak, daha küçük bir sermaye harcaması ayak izi içermelidir. Bilgisayar destekli mühendislik için GPU’ların inanılmaz verimliliği, otomotiv müşterileri için büyük altyapı maliyeti tasarrufu sağlar. Modern sunuculara 10 adede kadar çift yuvalı GPU sığabildiğinden, hesaplama açısından ağır iş yüklerinin GPU’lara aktarılması, müşterilerin büyük miktarda sunucu konsolidasyonu elde etmesini sağlar. Supermicro ve NVIDIA arasındaki ortak çalışma sayesinde, 10 NVIDIA H100 GPU’lu tek bir sunucunun Siemens Simcenter STAR-CCM+ gibi CFD iş yükleri için her biri 2 x CPU’ya sahip 30 sunucunun yerini aldığını gösterdik. Eşdeğer performans için bu, 3 kat maliyet tasarrufu sağlar.

Hızlandırılmış Bilgi İşlem Sürdürülebilir Bilgi İşlemdir

Her ne kadar dikkatler araç egzoz emisyonlarının ve elektrikli araç güç tüketiminin azaltılmasına odaklansa da, tüm araç tasarımı, test ve üretim iş akışları boyunca karbon ayak izinin azaltılması da aynı derecede önemlidir. Bilgisayar destekli mühendislik için NVIDIA GPU’lara sahip Supermicro sunucularının üçüncü değer önerisi, hesaplama açısından ağır olan bu iş yükleri için gerekli olan hesaplama gücünde sağladığı inanılmaz tasarruftur. Performans sonuçları bölümünde gösterildiği gibi, eşdeğer performans için NVIDIA GPU’lar üzerinde çalıştırıldığında 5 kat güç tasarrufu sağlanır.

İş Yükünüz için En Uygun Sunucuyu Yapılandırma

Supermicro’nun sunucuları, destekledikleri GPU sayısındaki çok yönlülükleri nedeniyle CAE için idealdir. NVIDIA, çift hassasiyetli (FP64) hesaplama ve yüksek bellek bant genişliği ihtiyaçları nedeniyle CAE uygulamaları için 100 ve 200 sınıfı ürünlerin (NVIDIA A100, NVIDIA H100, NVIDIA H200, NVIDIA B100) kullanılmasını önermektedir.
Sistem için doğru GPU sayısına karar vermek için GPU bellek boyutu kritik bir faktördür. CFD için, ağ boyutu genellikle bir simülasyonun boyutunun bir ölçüsü olarak kullanılır. Kullanılan toplam GPU belleği de kullanılan fiziğin karmaşıklığına göre belirlenir. Genel bir kural olarak, fiziğin karmaşıklığına bağlı olarak gerekli belleğin ağ boyutunun 1,2-5 katı arasında olabileceğini söyleyebiliriz. Örneğin, fizik açısından nispeten basit bir durum için, 100 milyon hücreli bir ağ (100×1.5) için 150 GB belleğe ihtiyacımız olacaktır. A100 ve H100’ün 80 GB belleğe sahip olduğu göz önüne alındığında, en az iki GPU’ya ihtiyaç duyarlar, ancak 3 GPU tavsiye edilir. Yazılım satıcıları, yazılımları için bellek gereksinimleri konusunda ek rehberlik sağlayabilir.

Uygulama Desteği

En önemli sorulardan biri, tercih ettiğiniz CFD aracının GPU hızlandırmayı destekleyip desteklemediğidir. Son birkaç yılda hem ana akım CAE yazılımlarından hem de yeni kurulan şirketlerden GPU çözücü desteğinin çoğaldığı görülmüştür. Simüle etmeyi düşündüğünüz fiziğin GPU hızlandırmalı olup olmadığını öğrenmek için yazılım satıcınıza danışın. Çözücünün büyük bir kısmı GPU üzerinde çalışır. CFD kodlarının çözücünün yalnızca bir kısmını hızlandırdığı birkaç yıl öncesine kıyasla çok iyi hızlanmanın nedeni, çözücüyü yüksek paralel GPU’larda çalıştırmaktır.

Supermicro Çözümü – Supermicro SYS-521GE-TNRT

Supermicro SYS-521GE-TNRT Sunucu (2 CPU, 10 x NVIDIA H100 PCIe GPU)
Supermicro SYS-521GE-TNRT sunucu, 10 adede kadar PCIe NVIDIA H100 GPU’yu barındıracak şekilde tasarlanmıştır. CPU’lar 4. veya 5. Nesil Intel Xeon işlemciler olabilir ve 8 TB’a kadar bellek tutabilir.

Test Vakası Detayları

• Standart AeroSUV dış aerodinamik test örneği (AeroSUV by FKFS, Stuttgart, Almanya https://www.sae.org/publications/technical-papers/content/2019-01-0646/)
• Ağ boyutu – Sunucu: 57, 106, 320 milyon hücre
• Karışık hassasiyet
• Siemens Simcenter STAR-CCM+: Sürüm 23.06
• Birleştirilmiş çözücü

Performans Sonuçları

Aşağıdaki grafik, çeşitli ağ boyutlarındaki aynı AeroSUV test örneğinin sunucu yapılandırmasındaki farklı sayıda H100 GPU üzerinde çalıştırılmasına ilişkin sonuçları göstermektedir. Gerekirse 57 milyon hücre vakasının 4’ten az GPU üzerinde çalıştırılabileceğini unutmayın.

Önemli Sonuçlar:

• En küçük ağ boyutu (57 milyon hücre) için 4 NVIDIA H100 PCIe GPU, 94 CPU çekirdeğinden 6,6 kat daha hızlıdır
• Orta ağ boyutu (106 milyon hücre) için 6 NVDIDIA H100 PCIe GPU, 94 CPU çekirdeğinden 9,5 kat daha hızlıdır
• En büyük ağ boyutu (322 milyon hücre) için 10 NVIDIA H100 PCIe GPU, 94 CPU çekirdeğinden 29,3 kat daha hızlıdır
  Yukarıdaki sonuçlar, Supermicro donanımından yararlanan NVIDIA GPU’larda CFD simülasyonları çalıştırılarak elde edilebilecek geri dönüş süresindeki önemli iyileştirmeleri göstermektedir. GPU’ların kullanılması, daha kısa sürede daha fazla tasarımın değerlendirilmesine olanak tanıyarak daha optimize bir ürün elde edilmesini sağlar.

Fiyat Performansı ve Sürdürülebilirlik

Bir sunucudaki saf performansı karşılaştırmanın yanı sıra, genel fiyat performansını da göz önünde bulundurmak önemlidir. Bir GPU sunucusu (8-10 H100 GPU) ve bir CPU sunucusuna kıyasla ~30 kat hız artışı varsayıldığında, müşterilerin bir GPU sunucusunun performansını eşleştirmek için 30 CPU sunucusuna yatırım yapması gerekecektir. Bu sonuçlar doğrusal ölçeklendirmeyi varsaymaktadır. Bu nedenle, GPU üzerinde çalıştırıldığında, eşdeğer performans için CPU’dan 3 kat daha ucuz olacağını tahmin edebiliriz. Alternatif olarak, CPU ile aynı bütçeyi GPU’ya harcamak iş hacminde 3 kat iyileşme sağlar.
Benzer maliyet tasarrufları aynı performans için gereken güçte de görülebilir. Termal tasarım gücünden yola çıkarak, GPU performansını eşleştirmek için 30 sunucuya ihtiyaç duyulduğu düşünüldüğünde, bir GPU düğümü CPU düğümü başına ~500W’a kıyasla yaklaşık 3000W gerektirecektir. Bu da 5 kat güç tasarrufu anlamına gelmektedir.

Optimum Performans – Ölçeklendirme

Önceki bölümlerde, simülasyonu çalıştırmak için gereken minimum GPU sayısını tartıştık, ancak optimum sayı nedir? Aşağıda, 57 milyon hücre aerodinamik vakası için hızlanma ve bellek kullanımını gösteren grafikler yer almaktadır. Performansın yaklaşık 8 GPU’ya kadar ölçeklendiğini görebiliriz. GPU başına bellek kullanımına baktığımızı varsayalım. 6 GPU’nun altında bellek kullanımı GPU başına 20 GB’ın altında, yani GPU’ların kullanılabilir belleğinin %25’inden daha az. Sonuç olarak, bir vakayı çalıştırmak GPU belleğinin yalnızca küçük bir yüzdesini kullanıyorsa ölçeklendirme zarar görecektir. Bu nedenle, GPU belleğinin en az %25’inin dolu olması makul ölçeklendirmeyi sürdürmek için iyidir.

Hızlanma

Supermicro ve Nvidia Simülasyonlarını Hızlandıracak Çözümler Üretiyor.

AMD EPYC Raphael 4004 İşlemcili MicroCloud A+ Server AS -3015MR-H10TNR, 3U şasede 10 adet tek soket sunucu barındırır. Alan verimliliği, enerji verimliliği barındırır.

Supermicro Microcloud

Bu AMD işlemciler, PCIe Gen5 depolamayı, düğüm başına 128 GB’a kadar DDR5-5200 MHz RAM’i ve CPU başına 16 adede kadar çekirdeği (32 iş parçacığı) desteklemelerine olanak tanıyan 5,7 GHz’e kadar maksimum artırma hızıyla olağanüstü performans sunar. Supermicro, AMD EPYC Raphael 4004 Serisi üretici yazılımını özellikle sunucu kullanımlarına göre optimize etmek için AMD ile yakın işbirliği yaptı ve bu gelişmiş, optimize edilmiş çözümleri çok yakında pazara sunabilecek.

Microcloud AS-3015MR-H8TNR, E-ticaret, bulut oyunları, kod geliştirme, içerik oluşturma ve sanal özel sunucular gibi çeşitli uygulamalar için tasarlanmıştır. Supermicro, BT yöneticilerine kompakt ve yüksek performanslı bir seçenek sunacaklarını ve hem iç hem de dış müşterilere azaltılmış gecikmelerle hizmet sunmalarına olanak tanıyacaklarını vurguladı.

Bu düğüm tabanlı sunucu, kasayı, güç kaynağını ve soğutma sistemini paylaşırken, bu, daha büyük bir sunucu altyapısı oluşturmak için birleştirilmiş ayrı düğümlerin kendi CPU, bellek ve depolama setlerini içerdiği modüler bir sunucu mimarisidir.

Bu, tonlarca ölçeklenebilirlik, esneklik ve verimli kaynak tahsisi sağlayarak bulut bilgi işlem, sanallaştırma ve yüksek performanslı bilgi işlem uygulamaları için idealdir. Bu sunucu türlerinin yönetimi ve bakımı daha kolaydır, gelişmiş kaynak kullanımına sahiptir ve kaynakları bağımsız olarak ölçeklendirme özelliğine sahiptir, bu da daha iyi performans ve maliyet verimliliği sağlar.

Ürün Genel Özellikleri

• Tek Soketli AM5 (LGA-1718) AMD EPYC Raphael 4004 serisi İşlemciler
  hava soğutmalı 170W’a kadar;
• 1 adede kadar tek genişlikli PCIe GPU hızlandırıcı kartı desteği;
• 2DPC’de 192 GB’a kadar DDR5-5200’ü destekleyen 4 adede kadar DIMM;
• 1 adede kadar PCIe 5.0 x16 LP + 1 PCIe 4.0 x8 MicroLP yuvası;
• 2 adede kadar dahili 2,5″ NVMe/SATA sürücü bölmesi;
• 2000W Yedekli (2+2 veya 3+1) 80+ Titanyum Seviyesinde yüksek verimli güç
  tedarik

Anahtar Uygulamalar

• Bulut bilişim
• Web/Sıralama Hizmetleri
• Web Önbelleği, CDN, Video Akışı
• Sosyal Ağ, İndirmeler
• Kurumsal – WINS, DNS, Yazdırma, Giriş

PCI-Express (PCIe) Yapılandırılması

• 1 PCIe 5.0 x16 LP yuvası(ları)
• 1 PCIe 4.0 x8 MicroLP yuvası(ları)

DAHA FAZLA BİLGİ EDİNMEK İÇİN BİZİMLE İLETİŞİME GEÇİN!

Artan ve gelişen uygulama performansı gereksinimleri, büyüyen kullanıcı tabanlarıyla birleşerek veri merkezlerinin sınırlarını zorluyor. Aynı zamanda işletmeler, bu yeni beklentileri karşılamanın maliyetini düşürmeye aşırı derecede odaklanmış durumda. Supermicro, CSP’lere raf ölçekli çözümler sağlamada liderdir.

Geniş Ölçekte Tam Entegrasyon: 200’e varan küresel üretim kapasitesine sahip tam raf ve kümelerin tasarımı ve inşası5.000aylık raflar

Sıvı Soğutma / Hava Soğutma: GPU ve CPU soğuk plakaları, Soğutma Dağıtım Üniteleri ve Manifoldları ile tam entegre sıvı soğutma veya hava soğutma çözümü 

Yerinde Hizmetle Test Edin, Doğrulayın, Dağıtın: Kanıtlanmış L11, L12 test süreçleri, sevkıyattan önce operasyonel etkinliği ve verimliliği kapsamlı bir şekilde doğrular

CSP VERİ MERKEZİNİ ÖLÇEKLENDİRMEDE 10 TEMEL ADIM

Artan ve gelişen uygulama performansı gereksinimleri, büyüyen kullanıcı tabanlarıyla birleşerek veri merkezlerinin sınırlarını zorluyor. İşletmeler aynı zamanda bu yeni beklentileri karşılamanın maliyetini düşürmeye de son derece odaklanmış durumda. Peki akıllı CSP’ler bütçeyi zorlamadan nasıl ölçekleniyor? Bu, sunucular, depolama, ağ ve yazılım gibi komple çözüm parçalarını uygulamaya koyabilecek bir iş ortağı seçmekle başlar. Oradan on basit adım var.

1. STANDARDİZASYON VE ÖLÇEKLENDİRME
   Tercih edilen bir bilgi işlem, depolama ve ağ yapılandırması etrafında standartlaştırın ve ardından gerektiği gibi ölçeklendirin. Yeni iş yükü mü? Yapılandırmayı yeniden gözden geçirmenin, optimize etmenin ve ölçeği genişletmenin zamanı geldi.
2. UYGULAMALARINIZI OPTİMİZE EDİN
   Uygulama iş yükleriniz performans ihtiyaçlarınızı belirler. İşlem gücünden depolama ihtiyaçlarına kadar teknoloji yığınını uyarlamak büyük fark yaratacaktır.m

BUNU BİLİYOR MUYDUNUZ?

Semiconductor Research Consortium’a (SRC) göre toplam ortalama sunucu maliyetinin %49’u belleğe gidiyor.

3. TEKNOLOJİ YENİLEMELERİNİZİ İYİ PLAN
En iyi teknoloji bile sonsuza kadar yeni kalamaz. Bir veya iki aksama olsa bile yaklaşan teknoloji geçişlerini ve  kapasitesini planlayın. Tüm ekosistem genelinde derin ilişkilere sahip olacağınız güvenilir bir ortak seçin.

4. YENİ MİMARİ YAKLAŞIMLARI KABULLENİN
Daha büyük dağıtımları göz önünde bulundurarak denemeler yapın.  Size bir sonraki adımın önizlemesini görmenize olanak tanıyan gelişmiş Konsept Kanıtı (POC) çözümlerine erken erişim sağlayan bir iş ortağıyla çalışın.

5. DESTEĞİNİZİ PLANLAYIN
Veri merkeziniz 7×24 çalışacak. Bir şeyler ters gittiğinde, kesintileri ve kesintileri mümkün olduğunca nadir ve kısa hale getirebilecek bir destek ortağına ihtiyacınız var.

6. VERİ MERKEZİ BİR BÜTÜN OLARAK TASARLAYIN
Dolu bir veri merkezi, boş olandan farklı davranır. Başlangıçtan itibaren çalışan bir bütün için tasarlamalı ve inşa etmeli, soğutma ve güç ihtiyaçlarını erkenden ve sık sık öngörmelisiniz.

7. SIVI SOĞUTMAYA DİKKAT ALIN
Büyüyen raflar, özellikle yeni GPU gereksinimleriyle birlikte daha yüksek elektrik faturaları anlamına geliyor. Sıvı soğutma çözümleri, GPU platformları da dahil olmak üzere yüksek yoğunluklu sunucuların, yavaşlama yaşamadan PUE’yi en aza indirmesine olanak tanır.

8. ÖNEMLİ OLANI ÖLÇÜN
Bir veri merkezi hareket halindeki milyonlarca parçadan oluşur. Doğru enstrümantasyon ve yönetim yazılımını kullanmak size düğüm, sunucu, raf ve veri merkezi düzeyinde performans, kullanım ve verimlilik konusunda doğru bir tablo sunar.

9. İŞ YÖNETİMİ
Veri merkezini yönetmek işleri yönetmek anlamına gelir. Tüm CSP müşterilerinin önemsediği şey budur; ihtiyaç duyduklarında performans.
İş planlama, büyümeyi sağlayabilecek veya durdurabilecek önemli bir hususdur.

10. TEDARİK ZİNCİRİNİZİ BASİTLEŞTİRİN
Karmaşıklık sizi her zaman yavaşlatacaktır. Veri merkezi tedarik zincirinizi basitleştirmek, daha büyük parçaları daha hızlı ve daha az stresle yerine taşımak anlamına gelir. Çalışmaya hazır entegre, doğrulanmış çözümler sunabilecek bir iş ortağı seçin.

BONUS BİLGİ!

11. İMALAT UZMANLIK KONULARI
Büyük OEM’lerin çoğunun üretim, tasarım ve tedarik zincirlerini Orijinal Tasarım ve Sözleşmeli Üreticilere (ODM/CM’ler) dış kaynaklardan sağladığı bir sırdır. Tüm ürünlerini tasarlayan ve müşterilerin lokasyonlarına yakın üretim yapan bir şirketi seçmek, daha fazla esneklik, daha hızlı teslimat süresi ve daha düşük TCO anlamına gelir.

12. DENEYİM DE ÖNEMLİ
Onlarca yıldır hizmet sağlayıcılar, HPC süper bilgisayarları ve en büyük hiper ölçekleyiciler, OEM’ler ve işletmeler için güç sağlayan çözümlerle çalışan, yalnızca veri merkezine odaklanan bir B2B şirketiyle çalışmak önemlidir.

Supermicro, ürün geliştirmenin yanı sıra tedarik zinciri lojistiği, servis ve destek, boyutlandırma ve test konularında da önemli deneyime sahip, hem büyük hem de küçük CSP’lere raf ölçekli çözümler sağlamada liderdir. Türkiye’deki Katma Değerli Distribütörü GTM Teknoloji, 15 yılı aşkın süredir veri merkezi ve CSP’ler için fiyat&performans yüksek, ölçeklenebilir ve yerinde SLA hizmetleri ile desteklenen çözümler sağlar. 

Veri merkezi ve Bulut sağlayıcılar için önerilen Supermicro Ürünleri

TEKLİF AL

Yapılandır, Teklif Al. 

Yapılandır, Teklif Al. 

Yapılandır, Teklif Al. 

Yapılandır, Teklif Al. 

Yapılandır, Teklif Al. 

Yapılandır, Teklif Al. 

Sıvı Soğutmalı Supermicro SYS-821GE-TNHR

Supermicro Yatay Manifold SYS 821GE TNHR ve CDU 1

Sıvı Soğutmalı Supermicro SYS-821GE-TNHR 8x NVIDIA H100 Yapay Zeka Sunucusuna Bir Bakış

Supermicro’ya bu parçayı yaptığımızı söylemedik ama orijinal parçanın uçuş masraflarını onlar ödediği için bunun sponsorlu olduğunu söylemek zorundayız.

Burada yatay raf manifoldu üstte ve Supermicro soğutma dağıtım ünitesi (CDU) altta olacak şekilde resimde görülen sistem görülmektedir.

Supermicro Yatay Manifold SYS 821GE TNHR ve CDU 1

Görüldüğü gibi yatay raf manifoldu, sıvı soğutma için beş farklı giriş/çıkış çiftine izin verir.

Bu çiftlerden dördü üst tepsiye, biri de CPU tepsisine gider.

İşte hortumların hepsi bağlantısı kesilmiş. On hızlı bağlantı kesme tertibatının tamamının bağlantısını kesmek yaklaşık 20 saniye sürdü.

Bu sistemdeki GPU tepsisi dışarı doğru kayar. Piyasada hâlâ GPU tepsisinin bu kadar kolay kaymadığı birkaç sistem var, bu da fark yaratıyor. GPU’lar aslında özellikle 24×7 HPC veya AI kümelerinde başarısız oluyor, dolayısıyla bu, üst düzey kurulumlar için hemen hemen gerekli bir özelliktir.

Tepsinin içinde, tek bir NVSwitch bloğuna sahip dört set çift GPU sıvı soğutma bloğunu görebiliyoruz. Her üç bileşen de bir döngü kullanılarak soğutulur ve sistemde GPU’lar için dört döngü bulunur.

İşte NVSwitch tarafının kasanın önünde olduğu başka bir görünüm.

NVSwitch’leri soğutmayan başka sıvı soğutma çözümleri de gördük, ancak bunların her biri 100W’ın çok üzerinde olduğundan fan hızlarını düşük tutmak için sıvıyla soğutulmaları gerekiyor.

İşte GPU tarafından sıvı soğutma bloğuna bir bakış.

İşte diğer taraf.

Bunlar Supermicro olarak tasarlandıkları için küçük logoları bile var.

İşte NVSwitch için daha küçük blok.

İşte iki GPU soğuk plakasının ve NVSwitch soğuk plakasının bulunduğu alt kısım.

Başka bir açıdan baktığımızda, H100’ün tüm önemli bileşenleri için macun ve pedleri görebiliriz.

İşte taşırken yapıştırmayı bozduğumuz veya bozmadığımız NVSwitch bloğu.

GPU tepsisinin altında CPU ve depolama tepsisi bulunur.

Burada sistem için bir dizi depolama alanını ve CPU soğutma döngüsü için iki giriş hortumunu görebiliriz.

Sağ tarafta IPMI ve yerel yönetim gibi özellikler için kasa yönetim modülünü görüyoruz.

İşte CPU soğutma döngüsüne ve fanlarına daha iyi bir bakış. DDR5 modülleri, PCIe anahtarları vb. gibi düşük güçlü bileşenlerin tamamını soğutmak için fanlara hâlâ ihtiyaç duyuluyor.

CPU’yu ve depolama tepsisini dışarı çektiğimizde pek çok şeyin olduğunu görebiliriz.

Havayı 32 DDR5 DIMM yuvası üzerinden yönlendirmek için bir hava akışı kılavuzu bulunmaktadır.

Burada CPU sıvı soğutma bloğunu görüyoruz. Unutulmaması gereken bir nokta, Supermicro’nun bu sunucuda kullanılabilecek hem Intel Xeon hem de AMD EPYC CPU tepsilerine sahip olmasıdır; bu nedenle, Intel’in yerleşik hızlandırıcıları veya 128 çekirdekli AMD EPYC Bergamo parçaları gibi ilginç bir şey kullanmak istenirse, bunun özelleştirilmesi oldukça kolaydır.

Bugünlerde yapay zeka sunucularının büyük bir kısmı PCIe anahtarlarından oluşuyor. CPU’lar, PCIe anahtar kartı ve diğer bileşenler arasında kablolu bağlantılara ihtiyacımız olduğundan burada PCIe kablolarını görebiliriz.

Bu soğutucuların altında PCIe anahtarlarımız var.

İşte başka bir PCIe kablosu seti.

İşte bunların üstten görünümü.

Burada DP801 genişletme modelini görebiliriz. NIC DP801’ler, PCIe genişletici DP801’ler ve daha fazlası var.

Sistemin arka kısmına baktığımızda, önde gelen AI sistem oyuncularının sunduğu oldukça standart bir özellik seti görüyoruz. Arkada güç kaynakları, ağ ve fanlar bulunur.

Fanlar çalışırken değiştirilebilir ve güç kaynakları büyüktür.

Her güç kaynağı 3kW PSU’dur. Tahmin edilebileceği gibi Supermicro bu sistemi yalnızca mevcut nesil GPU’lar için değil aynı zamanda gelecekteki GPU’lar için de geliştirdi. Sistem aynı zamanda daha yüksek şasi güç çekişi beklediğimiz hava soğutması için de alternatif olarak tasarlanmıştır.

İşte ağ tepsisine bir bakış. Ağ tepsisinde Infiniband, 100GbE, 200GbE, 400GbE adaptörleri ve daha fazlası bulunabilir. Hatta burada iki adet bakır port görüyoruz.

Görüldüğü gibi, kolay servis ve kişiselleştirme için ağ tepsisi çıkarılabilir.

Fark etmiş olabileceğiniz gibi bu sunucuların birden fazlasına baktık. Hava soğutma ve sıvı soğutma için NVIDIA H100 80GB GPU’ların performansına baktığımızda performansın fiilen aynı olduğunu gördük. Sıvı soğutma seçeneğinin tercih edilmesinin nedeni, daha düşük güç tüketimi, dolayısıyla daha düşük işletme maliyetleri ve potansiyel olarak daha yüksek raf yoğunluğudur.

Son sözler

Çoğu zaman insanlar tüm NVIDIA H100 8 yollu Delta Next sistemlerinin aynı olduğunu varsayar. Artık hemen hemen tüm seçeneklerle uygulamalı zaman geçirdiğimize göre, bunların öyle olmadığı açık. Hava soğutma ve Intel Xeon Sapphire Rapids (ve yakında Emerald Rapids) bu noktada masada yer alıyor. Fiyatlandırma, kullanılabilirlik, servis kolaylığı ve sıvı soğutma, AMD seçenekleri, farklı NIC’ler ve daha fazlası gibi özelliklerle özelleştirme yeteneği bu noktada en büyük fark yaratan unsurlardır.

Umarım bu Supermicro SYS-821GE-TNHR sistemine harika bir bakış olmuştur. Bu, yapay zeka için son derece popüler olan devasa sistemlerden biridir. 2016/2017’den beri Supermicro AI GPU eğitim sistemlerine bakıyoruz ve 8x ve 10x PCIe GPU eğitim sunucularından günümüzün çok esnek sıvı soğutmalı seçeneklerine nasıl geldiğimiz harika.

Daha fazla bilgi edinmek için bizimle iletişime geçin!

Supermicro 4U AMD EPYC GPU Sunucuları Yapay Zeka Esnekliği Sunuyor (AS-4125GS-TNRT)

Supermicro  AMD EPYC GPU Sunucuları yapay zeka esnekliği sunuyor. Bugün, iki AMD EPYC 9004 Serisi CPU’yu, PCIe Gen5’i ve sekiz adet çift genişlikli veya 12 adet tek genişlikli ek GPU kartı seçeneğini destekleyen nispeten yeni 4U hava soğutmalı GPU sunucusuna bakıyoruz. Supermicro, bu sunucuların Intel tabanlı çeşitlerini de sunarken, AMD tabanlı AS-4125GS-TNRT ailesi, bu sınıftaki NVIDIA H100 ve AMD Instinct Mi210 GPU’ları destekleyen tek sunuculardır.

Supermicro AS-4125GS-TNRT GPU sunucusu, yerleşik 10GbE ağ bağlantısı, bant dışı yönetim, 9 FHFL PCIe Gen5 yuvası, dördü NVMe ve geri kalanı SATA/SAS olmak üzere 24 2,5″ yuva gibi birkaç donanım özelliğine daha sahiptir. Ayrıca 4x yedekli titanyum düzeyinde 2000W güç kaynakları da bulunmaktadır. Anakartta önyükleme için tek bir M.2 NVMe yuvası bulunur.

Bu yolda çok ileri gitmeden önce, Supermicro’nun AS-4125GS-TNRT sunucu yapılandırmasının iki çeşidini daha sunduğunu belirtmekte fayda var. Aynı anakartı kullanmalarına rağmen AS-4125GS-TNRT1, 10 adede kadar çift genişlikli GPU’yu ve 8 NVMe SSD yuvasını destekleyen PCIe anahtarına sahip tek soketli bir yapılandırmadır. AS -4125GS-TNRT2, yine PCIe anahtarıyla aşağı yukarı aynı olan çift işlemcili bir konfigürasyondur.

Yapılandırma ne olursa olsun, Supermicro AS-4125GS-TNRT, tasarımı ve PCIe anahtarıyla model seçebilme yeteneği sayesinde inanılmaz derecede esnektir. Bu tarz GPU sunucusu popülerdir çünkü kuruluşların küçükten başlayıp genişletmelerine, farklı ihtiyaçlar için GPU’ları karıştırıp eşleştirmelerine veya istedikleri herhangi bir şeyi yapmalarına olanak tanır. Soketli GPU sistemleri, büyük yapay zeka iş yükleri için GPU’ları daha iyi bir araya getirme olanağı sağlar, ancak iş yükü esnekliği açısından eklenti kart sistemlerine rakip olamaz.

SC23’ten AMD ve NVIDIA GPU’lara sahip Supermicro AS-4125GS-TNRT

Dahası, bu bazılarına küfür gibi gelse de, Supermicro eklenti kartı GPU sunucuları, aynı kutuda AMD ve NVIDIA kartlarıyla bile kullanılabilir! Diyeceksiniz ama pek çok müşteri bazı iş yüklerinin Instinct’i, diğer iş yüklerinin ise NVIDIA GPU’yu tercih ettiğini fark etti. Son olarak, her ne kadar tıka basa doldurulmuş GPU sunucularına göre daha az popüler olsa da, bu yuvaların yalnızca PCIe yuvaları olduğunu belirtmekte fayda var; Müşterilerin bu donanımda FPGA’leri, DPU’ları veya başka bir tür hızlandırıcıyı tercih edebileceği senaryoları hayal etmek mantıksız değil. Yine esneklik bu tasarımın en önemli faydasıdır.

İnceleme amaçlarımız doğrultusunda, Supermicro AS-4125GS-TNRT, CPU, DRAM, depolama ve tabii ki GPU’ları eklememize hazır, barebone olarak geldi. Bu inceleme için 4x NVIDIA H100 GPU ödünç almak üzere Supermicro ile çalıştık.

Supermicro AS-4125GS-TNRT Özellikleri

Özellikler
İşlemci	Her Biri 128C / 256T’ye kadar Çift Soketli SP5 CPU’lar
Hafıza	24x’e kadar 256 GB 4800 MHz ECC DDR5 RDIMM/LRDIMM (Toplam 6 TB Bellek)
GPU	8’e kadar Çift genişlikli veya 12’ye kadar Tek Genişlikli GPU. AMD MI210 ve NVIDIA H100’ü destekler
Genişleme yuvaları	9x PCIE 5.0 x16 FHFL Yuvası
Güç kaynakları	4x 2000W Yedekli Güç Kaynağı
Ağ oluşturma	2x 10GbE
Depolamak	1 adet M.2 NVME 24x 2,5″ çalışırken değiştirilebilir NVMe/SATA/SAS sürücü bölmeleri (4x 2,5″ NVMe ayrılmış)
Anakart	Süper H13DSG-O-CPU
Yönetmek	IPMI 2.0 Özel LAN’lı KVM
Güvenlik	TPM 2.0 Silikon RoT-NIST 800-193 Uyumlu
Şasi Boyutu	4U

Supermicro AS-4125GS-TNRT Yapılandırmayı İnceleme

Sistemimizi Supermicro’dan barebone olarak yapılandırdık, ancak onlar bunu büyük ölçüde yapılandırılmış bir sistem olarak satıyorlar. Laboratuvara vardığımızda yaptığımız ilk şey onu bir çift AMD EPYC 9374F 32c 64t CPU ile doldurmak oldu. Bunlar, yüksek saat hızları ve saygın çok çekirdekli performansları nedeniyle seçildi.

Hızlandırıcılar için, eski Intel Phi Yardımcı İşlemcilerinden en yeni H100 PCIe kartlarına ve üst seviye RTX 6000 iş istasyonu GPU’larına kadar geniş bir yelpazede seçim yapabileceğimiz oldukça fazla ürünümüz vardı. Ham hesaplama gücünü verimlilik ve çok yönlülükle dengelemeyi amaçladık. Sonuçta dört adet NVIDIA RTX A6000 GPU ile başlamaya ve ardından ilk testlerimiz için dört adet NVIDIA H100 PCIe kartına geçmeye karar verdik. Bu kombinasyon Supermicro platformunun esnekliğini ve NVIDIA hızlandırıcı kartlarını gösterir.

Öncelikle grafik ağırlıklı iş yüklerinde performans için tasarlanan RTX A6000, Ampere mimarisiyle yapay zeka ve HPC uygulamalarında da öne çıkıyor. 48 GB GDDR6 bellek sunarak büyük veri kümelerinin ve karmaşık simülasyonların işlenmesi için idealdir. 10.752 CUDA ve 336 Tensor çekirdeği, yapay zeka ve derin öğrenme testlerimiz için çok önemli olan hızlandırılmış hesaplamayı mümkün kılıyor.

Öte yandan NVIDIA H100 PCIe kartları, öncelikle yapay zeka iş yükleri için tasarlanan Hopper mimarisi serisinin en yeni nakliye kartlarıdır. Her kartta etkileyici 80 milyar transistör, 80 GB HBM3 bellek ve GPT-4 gibi yapay zeka modelleri için özel olarak tasarlanmış çığır açan Transformer Engine bulunuyor. H100’ün 4. nesil Tensör Çekirdekleri ve DPX talimatları, yapay zeka çıkarımını ve eğitim görevlerini önemli ölçüde artırır.

Bu GPU’ları Supermicro barebone sistemimize entegre ederek, bu üst düzey bileşenlerden önemli miktarda güç çekimi ve ısı üretimi göz önüne alındığında, optimum termal yönetim ve güç dağıtımını sağlamaya odaklandık. Supermicro şasisi, resmi olarak böyle bir konfigürasyonu desteklemese de kurulumumuza uyum sağlayacak kadar çok yönlü olduğunu kanıtladı. A6000’lerin termallerini kontrol altında tutmak için, sincap kafesli fan tasarımından dolayı onları bir kart genişliğinde aralık bırakmak zorunda kaldık, ancak H100’ler geçişli, pasif soğutma kanatlarıyla paketlenebilir.

Karşılaştırma paketimiz, HPC ve yapay zekaya özgü kullanım senaryolarının bir karışımını içeriyordu. Bunlar, geleneksel kıyaslama iş yüklerinden yapay zeka eğitimine ve evrişimsel sinir ağı modellerini kullanan çıkarım görevlerine kadar uzanıyordu. Ham performanslarını ve verimliliklerini, ölçeklenebilirliklerini ve Supermicro A+ sunucumuzla entegrasyon kolaylığını değerlendirerek bu hızlandırıcıların sınırlarını zorlamayı hedefledik.

Supermicro AS-4125GS-TNRT GPU Testi

Laboratuvarda bir CNN temel modeli üzerinde çalışırken NVIDIA’nın amiral gemisi GPU’larını incelerken, bir çift daha eski ama son derece yetenekli RTX8000 GPU üzerinde iş istasyonu düzeyinde bazı eğitimlerle başladık.

Yapay zeka performans analizimiz sırasında, NVIDIA RTX 8000’den dört RTX A6000 GPU’ya ve son olarak dört NVIDIA H100 PCIe kartına geçerek yeteneklerde dikkat çekici ancak beklenen bir ilerleme gözlemledik. Bu ilerleme, yapay zeka iş yüklerine giderek daha fazla odaklanıldıkça, bu hızlandırıcıların saf gücünü ve NVIDIA hızlandırıcılarının son birkaç yıldaki evrimini gözler önüne serdi.

RTX 8000’den başlayarak iyi performans seviyelerine dikkat çektik. Bu kurulumla, 6,36 GB’lık bir görüntü veri kümesi üzerinde yapay zeka modeli eğitimimiz dönem başına yaklaşık 45 dakika sürdü. Ancak parti boyutu ve üstesinden gelebileceği görevlerin karmaşıklığı açısından RTX 8000’in sınırlamaları açıkça görülüyordu. Daha küçük parti boyutlarıyla sınırlıydık ve etkili bir şekilde eğitebileceğimiz sinir ağı modellerinin karmaşıklığı sınırlıydı.

Dört RTX A6000 GPU’ya geçiş, performansta önemli bir sıçramaya işaret etti. A6000’in üstün bellek bant genişliği ve daha büyük GDDR6 belleği, aynı dönem süresini ve model karmaşıklığını korurken toplu iş boyutunu dört katına çıkarmamıza olanak sağladı. Bu iyileştirme, eğitim sürecini iyileştirdi ve eğitim süresini uzatmadan daha karmaşık modelleri denememize olanak sağladı.

Ancak en çarpıcı gelişme dört adet NVIDIA H100 PCIe kartının piyasaya sürülmesiyle geldi. Hopper mimarisinin gelişmiş yapay zeka özelliklerinden yararlanan bu kartlar, parti boyutunu yeniden ikiye katlamamıza olanak sağladı. Daha etkileyici bir şekilde, çağ süresinde kayda değer bir değişiklik olmadan yapay zeka modellerimizin karmaşıklığını önemli ölçüde artırabildik. Bu yetenek, H100’ün, karmaşık yapay zeka operasyonlarını verimli bir şekilde yönetmek için optimize edilmiş Transformer Engine ve 4. nesil Tensör Çekirdekleri gibi gelişmiş yapay zekaya özgü özelliklerinin bir kanıtıdır.

Bu testler boyunca, 6,36 GB görüntü veri kümesi ve model parametreleri tutarlı bir kıyaslama görevi görerek farklı GPU yapılandırmalarındaki performansı doğrudan karşılaştırmamıza olanak sağladı. RTX 8000’den A6000’lere ve ardından H100’lere geçiş, ham işlem gücündeki gelişmelerin ve GPU’ların hız veya verimlilikten ödün vermeden daha büyük, daha karmaşık yapay zeka iş yüklerini yönetebilme becerisinin altını çizdi. Bu, bu GPU’ları özellikle son teknoloji yapay zeka araştırmaları ve büyük ölçekli derin öğrenme uygulamaları için uygun hale getiriyor.

Testlerimizde kullanılan Supermicro sunucu, PCIe anahtarı ihtiyacını ortadan kaldırarak CPU’lara doğrudan PCIe bağlantısı sunuyor. Bu doğrudan bağlantı, her GPU’nun CPU’ya özel bir yola sahip olmasını sağlayarak hızlı ve verimli veri aktarımını kolaylaştırır. Bu mimari, yapay zeka ve HPC’deki bazı iş yüklerinde gecikmeyi en aza indirmek ve bant genişliği kullanımını en üst düzeye çıkarmak açısından çok önemlidir; özellikle tüm işlerin sunucuda yerel olduğu yapay zeka modeli eğitimi veya karmaşık VDI ortamları gibi yüksek verimli görevlerle uğraşırken faydalıdır.

Çözüm

Supermicro AMD EPYC GPU Sunucuları Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun ölçeklenebilirliği ve esnekliği buradaki en önemli özelliklerdir. Yapay zeka, VDI veya diğer yüksek performanslı görevlerde gelişen iş yükü taleplerine uyum sağlama ihtiyacı duyan müşteriler için özellikle faydalıdır. Mütevazı bir yapılandırmayla başlayan kullanıcılar, giriş seviyesi yapay zeka veya VDI görevlerini etkili bir şekilde gerçekleştirebilir, böylece daha küçük iş yükleri veya yapay zeka ve sanal masaüstü altyapısına yeni girmeye başlayanlar için uygun maliyetli bir çözüm sunulur. Bu ilk kurulum, sağlam ve ölçeklenebilir bir temel sağlayarak kullanıcıların temel ancak gerekli yapay zeka ve VDI uygulamalarıyla etkileşime geçmesine olanak tanır.

Ayrıca pek çok işletmenin soketli H100 GPU’lardan yararlanmak istediğini bilsek de bu platformlar için bekleme süreleri çok uzun, birçok kaynak bize bu bekleme süresinin neredeyse bir yıl olduğunu söyledi. Tedarik zinciri lojistiği bu sunucunun harika yanının altını çiziyor: Her şeyin üstesinden gelebilir. L40S GPU’lar “şimdi” kullanıma sunuldu, böylece müşteriler bu kombinasyonla birlikte en azından yapay zeka iş yüklerini daha geç değil, daha erken harekete geçirebilirler. İhtiyaçlar değiştikçe müşteriler kartları kolayca değiştirebilir. Bu, Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun yalnızca acil ihtiyaçlara yönelik olmasını değil, aynı zamanda gelişen teknolojik ortama uyum sağlayarak geleceğe hazır olmasını sağlar.

supermicrosunucu.com üzerinden ürünü konfigüre edebilirsiniz.

• Yeni Blackwell GPU, NVLink ve Resilience Teknolojileri Trilyon Parametre Ölçeğinde Yapay Zeka Modellerine Olanak Sağlıyor
• Yeni Tensor Çekirdekleri ve TensorRT-LLM Derleyicisi, Yüksek Lisans Çıkarımı İşletim Maliyetini ve Enerjiyi 25 Kata Kadar Azaltır
• Yeni Hızlandırıcılar Veri İşleme, Mühendislik Simülasyonu, Elektronik Tasarım Otomasyonu, Bilgisayar Destekli İlaç Tasarımı ve Kuantum Hesaplamada Çığır Açıyor
• Tüm Büyük Bulut Sağlayıcıları, Sunucu Oluşturucuları ve Lider Yapay Zeka Şirketleri Tarafından Yaygın Olarak Benimseniyor

Yeni bir bilişim çağını güçlendirirken, NVIDIA bugün NVIDIA Blackwell platformunun geldiğini duyurdu – organizasyonlara her yerde, önceki nesline göre enerji tüketiminde %25’e kadar daha az maliyetle ve enerji tüketimiyle trilyon parametreli büyük dil modelleri üzerinde gerçek zamanlı üretken yapay zeka inşa etme ve çalıştırma imkanı sunuyor.

Blackwell GPU mimarisi, hızlandırılmış hesaplama için altı devrim niteliğinde teknoloji içerir ve veri işleme, mühendislik simülasyonu, elektronik tasarım otomasyonu, bilgisayar destekli ilaç tasarımı, kuantum bilişim ve üretken yapay zeka gibi alanlarda çığır açacak yeniliklerin kilidini açmaya yardımcı olur – NVIDIA için gelişen endüstri fırsatları.

“NVIDIA olarak üç on yıldır derin öğrenme ve yapay zeka gibi dönüştürücü buluşları mümkün kılacak hızlandırılmış hesaplamayı sürdürüyoruz,” dedi NVIDIA’nın kurucusu ve CEO’su Jensen Huang. “Üretken yapay zeka, zamanımızın belirleyici teknolojisidir. Blackwell, bu yeni endüstri devrimini güçlendirecek motorumuzdur. Dünyanın en dinamik şirketleriyle çalışarak, yapay zekanın her endüstri için vaadini gerçekleştireceğiz.”

Blackwell’u benimseyecek birçok organizasyon arasında Supermicro, Amazon Web Services,  Google, Meta, Microsoft, OpenAI, Oracle, Tesla ve xAI gibi şirketler yer alıyor.

Blackwell’in Hızlandırılmış Bilgi İşlemi ve Üretken Yapay Zekayı Güçlendirecek Yenilikleri
Blackwell’in, 10 trilyon parametreye kadar ölçeklenen modeller için yapay zeka eğitimini ve gerçek zamanlı LLM çıkarımını mümkün kılan devrim niteliğindeki altı teknolojisi şunları içerir:

• Dünyanın En Güçlü Çipi  — 208 milyar transistörle paketlenmiş Blackwell mimarili GPU’lar, tek bir birleşik GPU’ya 10 TB/saniyelik çipten çipe bağlantıyla bağlanan, iki retikül limitli GPU kalıplarına sahip özel yapım 4NP TSMC işlemi kullanılarak üretilir .
• İkinci Nesil Transformatör Motoru  — Yeni mikro tensör ölçeklendirme desteği ve NVIDIA’nın NVIDIA TensorRT-LLM ve NeMo Megatron çerçevelerine entegre edilmiş gelişmiş dinamik aralık yönetimi algoritmalarıyla desteklenen Blackwell, yeni 4 bit kayan noktalı yapay zeka ile iki kat daha fazla bilgi işlem ve model boyutunu destekleyecektir çıkarım yetenekleri.
• Beşinci Nesil NVLink  — Multitrilyon parametreli ve uzmanlardan oluşan karma yapay zeka modellerinin performansını hızlandırmak için NVIDIA NVLink®’in en son sürümü, GPU başına çığır açan 1,8 TB/s çift yönlü verim sunarak 576 GPU’ya kadar kesintisiz yüksek hızlı iletişim sağlar en karmaşık LLM’ler için.
• RAS Motoru  — Blackwell destekli GPU’lar güvenilirlik, kullanılabilirlik ve servis kolaylığı için özel bir motor içerir. Ek olarak Blackwell mimarisi, teşhisleri çalıştırmak ve güvenilirlik sorunlarını tahmin etmek için yapay zeka tabanlı önleyici bakımdan yararlanmak üzere çip düzeyinde yetenekler ekler. Bu, sistemin çalışma süresini en üst düzeye çıkarır ve büyük ölçekli yapay zeka dağıtımlarının haftalarca, hatta aylarca kesintisiz çalışması ve işletme maliyetlerini azaltması için esnekliği artırır.
• Güvenli Yapay Zeka  — Gelişmiş gizli bilgi işlem yetenekleri, sağlık hizmetleri ve finansal hizmetler gibi gizliliğe duyarlı endüstriler için kritik öneme sahip yeni yerel arayüz şifreleme protokollerini destekleyerek yapay zeka modellerini ve müşteri verilerini performanstan ödün vermeden korur.
• Sıkıştırmayı Açma Motoru  — Özel bir sıkıştırmayı açma motoru, veri analitiği ve veri biliminde en yüksek performansı sunmak için veritabanı sorgularını hızlandırarak en yeni formatları destekler. Şirketlerin yılda on milyarlarca dolar harcadığı veri işleme, önümüzdeki yıllarda giderek daha fazla GPU ile hızlandırılacak.

Devasa Bir Süper Çip
NVIDIA GB200 Grace Blackwell Süper Çipi, iki NVIDIA B200 Tensor Core GPU’yu  900 GB/s ultra düşük güçlü NVLink çipten çipe ara bağlantı üzerinden NVIDIA Grace CPU’ya bağlar

En yüksek yapay zeka performansı için GB200 destekli sistemler, yine bugün duyurulan ve 800 Gb/s’ye varan hızlarda gelişmiş ağ iletişimi sağlayan NVIDIA Quantum-X800 InfiniBand ve Spectrum-X800 Ethernet platformlarına bağlanabilir  .

GB200,  bilgi işlem yoğunluklu iş yükleri için çok düğümlü, sıvı soğutmalı, raf ölçekli bir sistem olan NVIDIA GB200 NVL72’nin önemli bir bileşenidir. Beşinci nesil NVLink ile birbirine bağlanan 72 Blackwell GPU ve 36 Grace CPU içeren 36 Grace Blackwell Süper Çipini birleştiriyor. Ayrıca GB200 NVL72, hiper ölçekli yapay zeka bulutlarında bulut ağı hızlandırmayı, şekillendirilebilir depolamayı, sıfır güven güvenliğini ve GPU bilgi işlem esnekliğini etkinleştirmek için NVIDIA BlueField®-3 veri işleme birimlerini içerir. GB200 NVL72, LLM çıkarım iş yükleri için aynı sayıdaki NVIDIA H100 Tensor Core GPU’lara kıyasla 30 kata kadar performans artışı sağlar ve maliyet ile enerji tüketimini 25 kata kadar azaltır.

Platform, 1,4 exaflop yapay zeka performansı ve 30 TB hızlı belleğe sahip tek bir GPU görevi görüyor ve en yeni DGX SuperPOD için bir yapı taşı oluşturuyor.

NVIDIA  , x86 tabanlı üretken yapay zeka platformlarını desteklemek için sekiz B200 GPU’yu NVLink aracılığıyla bağlayan bir sunucu anakartı olan HGX B200’ü sunuyor. HGX B200, NVIDIA Quantum-2 InfiniBand ve Spectrum-X Ethernet ağ platformları aracılığıyla 400 Gb/s’ye kadar ağ oluşturma hızlarını destekler.

Nvidia Blackwell Üretken Yapay Zeka çözümleriyle ilgili detaylı bilgi için Nvidia Elite NPN Partner GTM Teknoloji ile iletişime geçebilirsiniz.

Supermicro AOC A25G I2SM Açısı

Bugün Supermicro AOC-A25G-i2SM’nin hızlı bir incelemesini yapıyoruz. Bu, Intel E810-XXVAM2 25GbE NIC yongasını kullanan bir Supermicro AIOM’dur (OCP NIC 3.0). Elimizde birkaç tane olduğu için mini bir inceleme yapalım dedik.

Supermicro AOC-A25G-i2SM’ye Genel Bakış

Supermicro AOC-A25G-i2SM model adını söylemek kolay olmasa da bize bilmemiz gereken her şeyi anlatıyor. Kod çözücü halkamızı kullanarak:

• AOC bir ailedir.
• A25G, 25GbE hızlarında bir AIOM’a (Supermicro’nun OCP NIC 3.0’ı) sahip olduğumuz anlamına gelir.
• “i” Intel anlamına gelir.
• “2” portumuz var.
• “S” bize bir SFP28 bağlantı noktamızın olduğunu söylüyor; Ve
• Son “M”, arka kurulum için bir braketimizin olmasıdır.

Örneğin kartın iki bağlantı noktası.

Kartın kendisi, çekme tırnağı form faktörüne sahip bir OCP NIC 3.0’dır. Bu bizim tercih ettiğimiz OCP NIC formatıdır çünkü kasayı açmaya ve yükselticileri rahatsız etmeye gerek kalmadan kolay servis olanağı sağlar. Kullanışlı kılavuzumuzda OCP NIC 3.0 form faktörleri hakkında daha fazla bilgi edinebilirsiniz .

İşte OCP NIC 3.0 konnektörü ve kartın ısı emicisinin iyi bir görünümü:

İşte iki SFP28 bağlantı noktasına sahip çekme tırnağı ön paneli, böylece çift 25GbE veya 10GbE çalıştırılabilir:

Bu, Intel’in 800 serisi ağ denetleyicisi IP’sini temel aldığından, bir dizi yeni özelliğimiz var. Bunlar arasında PCIe Gen4 desteği, iWARP ve RoCE v2, VXLAN, NVGRE ve Geneve yer alıyor. AVF, ADQ ve DDP gibi Intel’in iş yükü profili yığını da desteklenmektedir. Bu ve piyasadaki diğer OCP NIC’lerin bazıları arasındaki farklı bir özellik, bunun bir Supermicro sisteminin geri kalanına NC-SI bağlantısı sağlayacak şekilde tasarlanmış olmasıdır.

Bu bir Intel E800 serisi kart olduğundan, şu anda çoğu işletim sisteminde yerleşik olan Intel ice sürücü yığınını kullanır.

İşte hızlı bir lshw:

Ve ethtool görünümü:

Eksiksiz olması açısından kartın arkasını burada paylaşıyorum:

Fiziksel özellikler bu NIC’in hikayesinin yalnızca bir kısmıdır. Bu makalenin önceki bölümlerinde, yeni Intel Ethernet 800 serisinin, Intel’in temel NIC serisinin bir parçası olarak kabul ettiği, yani Intel Ethernet 500 serisi ve Ethernet 700 serisinin devamı olduğu belirtilmişti.

Burada görebileceğiniz gibi Intel, önceki nesillere göre daha üst düzeyde bir özellik seti gösteriyor. Buna SmartNIC veya DPU demeyecek olsak da Intel, cihaza daha fazla işlevsellik katıyor. Bazıları bunu Intel’in üst sıralara çıkmaya çalışması olarak görebilir ancak bu, 100GbE performans alanında çalışmak için daha çok bir zorunluluktur.

Daha sonra, bu temel özelliklerden bazılarını ve bunlara neden ihtiyaç duyulduğunu tartışacağız.

Intel Ethernet 800 Serisi İşlevselliği

25GbE/100GbE nesline geçtikçe, NIC’ler daha fazla yük boşaltma işlevine ihtiyaç duyuyor. CPU çekirdeklerinde 10GbE veya 25GbE’de yönetilebilen işlevler, 100GbE hızlarında çok fazla CPU kullanımına neden olur. Çift 100GbE’nin PCIe Gen4 x16 yuva bant genişliğinden çok da uzakta olmadığını ve bunun sistem üzerinde büyük bir baskı oluşturduğunu unutmayın. Modern CPU’larda, her PCIe x16 yuvasını 100GbE NIC’lerle doldurursanız ve bunları arkalarındaki bir uygulamayla tam hızda çalıştırmaya çalışırsanız, sistemler bununla başa çıkamayacaktır. Fortville ikili 40GbE (XL710) NIC’ler, birçok uygulama için yeterli yük boşaltma kapasitesine sahip olamamanın eşiğindeydi. Düşük maliyetli NIC’ler olarak biliniyorlardı, ancak mutlaka en zengin özelliklere sahip olmaları gerekmiyor, bu da mantıklı. Yine de Ethernet 800 serisiyle Intel’in rekabetçi kalabilmek için özellik setlerini artırması gerekiyordu. Bunu yapmak için öncelikle üç yeni teknolojiye sahipler: ADQ, NVMeoF ve DDP. Her birini tartışacağız.

Uygulama Cihazı Kuyrukları (ADQ) 100 Gbps bağlantılarda önemlidir (her ne kadar bu NIC’de 50 Gbps (2x 25 GbE) olsa da. 100 GbE hızlarda, bağlantıda muhtemelen farklı trafik türleri vardır. Örneğin, dahili bir yönetim kullanıcı arayüzü uygulaması olabilir) arada sırada 1 ms’lik bir gecikme olması normaldir, ancak öngörülebilir bir SLA’ya ihtiyaç duyan kritik bir sensör ağı veya web ön uç uygulaması olabilir.Bu, ADQ’nun ele almaya çalıştığı farklılaştırılmış tedavidir.

ADQ ile Intel NIC’ler etkili bir şekilde ağ trafiğini uygulamaya göre önceliklendirebilir.

ADQ’ya baktığımızda önemli yönlerden biri önceliklendirmenin tanımlanması gerektiğidir. Bu fazladan bir adımdır, dolayısıyla bazı geliştirme çalışmaları olması muhtemel olduğundan bunun mutlaka “ücretsiz” bir özellik olması gerekmez. Örneğin Intel’in Memcached ile ilgili harika örnekleri var, ancak Memcached bir sunucuda birincil uygulama olabilirken diğerinde yardımcı bir işlev olabilir; bu da önceliklendirmenin müşteri/çözüm düzeyinde gerçekleşmesi gerektiği anlamına gelir. Intel bunu nispeten kolaylaştırıyor ancak bu fazladan bir adımdır.

NVMeoF, büyük bir yükseltmenin olduğu başka bir alandır. Intel Ethernet 700 serisinde Intel, NVMeoF çalışmaları için iWARP’a odaklandı. Aynı zamanda rakiplerinden bazıları RoCE’ye bahis oynuyor. Bugün RoCEv2 son derece popüler hale geldi. Intel, Ethernet 800 serisinde hem iWARP hem de RoCEv2’yi desteklemektedir.

NVMeoF özelliği, 100GbE NIC’ler için önemli bir uygulama alanı olduğundan önemlidir. Bir PCIe Gen3 x4 NVMe SSD, kabaca 25 GbE bağlantı noktası değerindeki bant genişliğine eşdeğerdir; dolayısıyla çift 100 GbE NIC, Gen3 dönemindeki 8x NVMe SSD’lerin sağladığı bant genişliği kadar bant genişliği sağlar. İncelediğimiz Kioxia CD6 PCIe Gen4 Veri Merkezi SSD gibi PCIe Gen4 NVMe SSD’ler bu hızın iki katına yaklaşıyor ancak birçoğu hâlâ Gen3 NVMe SSD’leri kullanıyor. NVMeoF desteği artırılarak Intel 800 serisi Ethernet NIC’ler daha kullanışlı hale gelir.

Dahası, bazı iWARP ve RoCEv2 performans rakamlarına yaklaşmak için NVMe/TCP ve ADQ birleştirilebilir.

Dinamik Cihaz Kişiselleştirme veya DDP belki de bu NIC’in diğer büyük özelliğidir. Intel’in temel NIC serisine yönelik vizyonunun bir kısmı da maliyetlerin nispeten düşük olmasıdır. Bu nedenle, maliyetleri makul tutmak için inşa edilebilecek kadar büyük bir ASIC vardır. Mellanox her nesilde daha fazla hızlandırma/boşaltma ekleme eğilimindeyken Intel, özelleştirilebilir bir mantık oluşturdu.

Bu yeni bir teknoloji değil. Ethernet 700 serisi Fortville adaptörleri bu özelliğe sahipti, ancak kapsamı sınırlıydı. Yalnızca daha az seçenek yoktu, aynı zamanda sınırlı ASIC kapasitesi göz önüne alındığında özelleştirme, tek bir DDP protokolü eklemekle sınırlıydı.

Intel Ethernet 800 serisiyle, NIC’ye özel protokol paketlerini yüklemek için daha fazla kapasiteye sahip oluyoruz. Varsayılan paketin yanı sıra, iletişim için DDP paketi, sürecin başından itibaren ücretsiz olarak kullanılabilen çok erken bir paketti.

Aşağıda, hem varsayılan olarak hem de Comms DDP paketi tarafından eklenen protokoller ve paket türleri için neler elde edildiğinin bir tablosu verilmiştir:

Gördüğünüz gibi MPLS işleme gibi özellikleri Comms paketiyle birlikte ekliyoruz. Bu DDP bölümleri de özelleştirilebilir, böylece önemli olan protokol seti kullanılabilir ve gereksiz işlevsellik azaltılırken bunların önyükleme sırasında yüklenmesi sağlanır.

Verim

Testlerimizde, bunun gibi bir NIC’den bekleyeceğimiz gibi, temel testlerde 2x 25 Gbps hıza ulaşmayı başardık.

Güç tüketimi

Güç tüketimi açısından ise genel olarak 9-12W aralığında güç tüketimini gördük. Nominal maksimum güç tüketimi yaklaşık 12,8 W’tır. Bu NIC’nin 100GbE NIC’ler, DPU’lar ve benzeri diğer NIC’lerden bazılarına göre avantajı, gücün çok daha düşük olmasıdır. Bazı sunucular, özellikle de 1U sunucular, havanın sürücüler, CPU’lar vb. tarafından önceden ısıtılmasının ardından kasanın arkasındaki OCP NIC 3.0 kartlarını soğutmakta zorluk çeker. Sonuç olarak, daha düşük bir TDP kartına sahip olmak önemlidir.

Son sözler

Genel olarak Supermicro AOC-A25G-i2SM beklediğimiz gibi. Bunun bir Intel Ethernet 800 serisi NIC olduğu göz önüne alındığında, genellikle hemen hemen her modern işletim sisteminde destek görüyoruz. NC-SI başlığı yoluyla Supermicro’nun sunucu yönetimine entegre olma yeteneği, Supermicro sunucunuzda bir Intel Ethernet 800 serisi NIC arıyorsanız bunu son derece ilgi çekici hale getirir.

Elbette başka bir satıcıdan sunucu satın alıyorsanız bu, kullanılacak doğru NIC olmayabilir. Öte yandan, bir Supermicro sunucu satın alıyorsanız, sunucu yönetimiyle entegre olan ve sağ arka ön yüze sahip, güzel ve daha düşük güçlü bir 25GbE NIC’ye sahip olmak faydalı olabilir.

GTM TEKNOLOJİ 14 Yıldır Supermicro Türkiye Distribitörüdür. Daha fazla bilgi almak için hemen iletişime geçin!