Sunucu mimarisinde PCIe’ye erişim. Supermicro GPU Sunucuları için Yapılandırma Seçeneklerini Anlamak İş Yükleri için Maksimum Performans Sağlar.

Yönetici Özeti

Sunucu mimarisinde PCIe’ye erişim de GPU sunucular, yapay zeka ve HPC uygulamaları için yalnızca CPU kullanan geleneksel sunuculara kıyasla performans açısından muazzam bir fayda sağlamaktadır. Bu sistemlerde çok çeşitli uygulamalar çalıştırılabilir ve GPU’lardan yararlanan uygulamalar için performans artışı geniş çapta belgelenmiştir. GPU odaklı sunucular tek veya çift CPU ve 10 adede kadar PCIe GPU içerirken, sistemin nasıl tasarlandığı sunucunun uygulama hızını ve esnekliğini etkileyebilir. Bir GPU sunucusunu tasarlamanın üç yolu vardır, bu da çeşitli iş yükleri için daha optimize bir sistemle sonuçlanır. Bir GPU sunucusu seçerken CPU ve GPU’lar arasındaki veri akışı çok önemlidir.

PCIE GPU Erişim Seçenekleri

Sunucu mimarisinde PCIe’ye erişim de Supermicro GPU sunucuları, sunucu içinde birden fazla GPU gerektiren uygulamalar için tasarlanmıştır. Birçok sunucu, bir PCIe yuvası aracılığıyla CPU’ların GPU’lara 1: 1 oranını işleyebilse de, yüksek hızlandırma için tasarlanan sunucular, CPU’lardan önemli ölçüde daha fazla GPU içeren bir oran gerektirir. GPU sunucuları iki genel mimaride mevcuttur:

• PCIe yuvalarına 10 adede kadar GPU’nun takıldığı PCIe tabanlı GPU’lar
• GPU’ların kendi kartlarına monte edildiği ve CPU’lara yalnızca 1 PCIe bağlantısına sahip olduğu SXM/OAM tabanlı GPU sunucuları.

Çoğu GPU sunucusunda iki CPU soketi bulunur ve her sokete DRAM bellek takılıdır. CPU’lar yüksek hızlı iletişim yolları (Intel tabanlı sistemler için UPI ve AMD tabanlı sistemler için xGMI) aracılığıyla iletişim kurar.
PCIe tabanlı sunucuları daha ayrıntılı incelediğimizde, çeşitli iş yükleri için üç farklı sistem mimarisi tasarlandığını görüyoruz.

• Tek Kök
• Çift Kök
• Doğrudan Eklenti

Tek Kök Seçeneği Açıklandı

Tek kök mimarisi, tek bir CPU üzerinde bulunan ancak birden fazla GPU’ya erişim gerektiren uygulamalar için idealdir. Tek kök sistemi, CPU’lardan birini (iki taneden birini) GPU’larla tüm iletişimi yönetmeye ayırır. Şekil 1’de gösterildiği gibi, GPU’larla iletişim kuran CPU bunu bir PCI anahtarı (PLX) aracılığıyla yapar. Her PLX anahtarı CPU’ya 2 PCIe x16 şeridi üzerinden bağlanır ve daha sonra beş çift genişlikli GPU’ya kadar iletişim kurabilir. Bu da tek bir sunucuda maksimum 10 GPU kullanılmasını sağlar. Tek kök sistemi, hesaplamanın çoğunun GPU üzerinde gerçekleştiği derin öğrenme uygulamaları için özel olarak tasarlanmıştır.

Tek Kök yapılandırmasının avantajları:

• Tek bir CPU’nun 10 adede kadar GPU’ya erişimi vardır. Tüm GPU’lara doğrudan erişime ihtiyaç duyan uygulamalar bu yapılandırmadan faydalanacaktır.

Uygulamalar – Eşler arası iletişim (GPU’dan GPU’ya) performansı kritik olmadığında.
Tek Kök sisteminin genel yapılandırması Şekil 1’de gösterilmektedir.

Çift Kök Seçeneği Açıklandı

Çift kök kurulumu, her CPU’yu bir PLX anahtarı aracılığıyla birkaç GPU’ya bağlar. Şu anda, toplamda adreslenebilecek maksimum GPU sayısı 10’dur. PLX anahtarı aracılığıyla bağlanan GPU’ların dağılımı CPU başına eşit olmak zorunda değildir, çünkü bir sisteme atanan iş yükü (yükleri) CPU’lar arasında kolayca dağıtılamayabilir. Her CPU birbiriyle kolayca iletişim kurabilir ve her PLX anahtarına bağlı PCIe cihazlarının kombinasyonları çok esnek olabilir. Aşağıdaki şekilde, her CPU (ve PLX anahtarı) 4 GPU, 2 AOC kartı ve 4 NVMe depolama cihazına sahiptir. Bu tür bir sistem, Omniverse ortamları için en yaygın yapılandırmadır. Bu yapılandırma, CPU ve GPU arasında dengelenen uygulamalara fayda sağlayacaktır.
Çift Kök yapılandırmasının avantajları:

• İş yükleri, her biri toplam 10 adede kadar GPU’ya veya PLX anahtarı aracılığıyla erişilebilen diğer cihazlara sahip bir CPU’ya atanabilir.

Uygulamalar – Verilerin iki CPU arasında paylaşılması ve iletilmesi gereken yerlerde Bu dengeli sistem, CPU’ların GPU’lar, ağ kartları veya depolama cihazlarıyla verimli bir şekilde iletişim kurmasını sağlar. Örnekler arasında Yapay Zeka Hesaplama/Model Eğitimi/Derin Öğrenme ve Yüksek Performanslı Hesaplama (HPC) yer alır.

Doğrudan Bağlı Seçeneği Açıklandı

Doğrudan Bağlı kurulumda, CPU’ların her biri, sistem başına toplam sekiz adet olmak üzere dört tam boyutlu GPU’ya kadar doğrudan PCIe erişimine sahiptir. Bu yapılandırmanın avantajı, PLX anahtarlarına gerek olmaması ve her CPU’nun dört GPU’ya doğrudan bağlantıya sahip olmasıdır. Doğrudan bağlı bir kurulum en çok HPC uygulamaları için yaygındır. Bu durumda, PLX çipi daha fazla PCIe cihazına izin verirken, CPU’lar ve cihazlar arasındaki gecikme sürelerini artırabilir.
Avantajlar:

• Bir CPU üzerinde çalışan her uygulamanın dört GPU’ya erişimi vardır.
• Her CPU, GPU’lara ve I/O özelliklerine eşit erişime sahiptir.

Uygulamalar – Birden fazla uygulamanın aynı anda çalışabileceği veya tek bir uygulamanın bölünebileceği veya ayrılabileceği ve farklı CPU’lara atanabileceği bilgi işlem ortamları için mükemmeldir.

PCIE GPU Destek Seçenekleri
Supermicro X13 GPU Sunucuları, yukarıdaki yapılandırmalarda aşağıdaki GPU’ları destekler:

• NVIDIA® H100 Tensor Core GPU PCIe form faktörü

Supermicro H13 GPU Sunucuları, yukarıdaki yapılandırmalarda aşağıdaki GPU’ları destekler:

• NVIDIA® H100 Tensor Core GPU PCIe form faktörü
• AMD Instinct MI200 Serisi

Özet

Uygulama iş yüküne bağlı olarak, Supermicro’dan farklı GPU sunucu konfigürasyonları elde edilebilir. Doğrudan Bağlı, Tek Köklü veya Çift Köklü olsun, uygun CPU ve GPU kombinasyonları seçilirse uygulamalar iyi performans gösterecektir. Kullanıcılar farklılıkları anlamalı ve iş yüklerini sunucularla eşleştirmelidir.

DAHA FAZLA BİLGİ EDİNMEK İÇİN BİZİMLE İLETİŞİME GEÇİN!

Supermicro ve Nvidia Simülasyonlarını Hızlandıracak Çözümler Üretiyor.

Nvidia Veri Merkezi GPU’larına sahip Supermicro Sunucular, CFD Simülasyonları için Önemli Hızlandırma Sağlayarak Üretim İşletmelerinin Pazara Çıkış Süresini Kısaltıyor.

Yönetici Özeti

Otomotiv şirketleri araç geliştirme süresini kısaltmaya ve yeni araçları pazara daha hızlı sunmaya çalıştıkça, otomotiv geliştirme için bilgisayar destekli mühendisliğe duyulan ihtiyaç da artmaktadır. Yüksek performanslı bilgi işlem (HPC) alanındaki son gelişmelerden biri, karbon ayak izini ve maliyeti azaltırken hesaplama süresini önemli ölçüde hızlandırmak için hesaplamalı akışkanlar dinamiği (CFD) için GPU’lardan yararlanmak olmuştur.
Supermicro ve NVIDIA, optimum donanım yapılandırmalarına sahip HPC uygulamaları için bir referans mimari geliştirmek üzere ortaklık kurdu. Bu Çözüm Özeti’nde, Hesaplamalı Akışkanlar Dinamiği (CFD) için GPU hızlandırmadan en iyi şekilde yararlanmak için temel gereksinimleri gözden geçireceğiz.

Simülasyon Yoluyla Araç Tasarımının İyileştirilmesi

Araç verimliliğini, maliyetini ve konforunu iyileştirme ihtiyacı otomotiv endüstrisinde kritik hedeflerdir. Hibrit ve elektrikli araçlara geçişle birlikte, araç menzilinin iyileştirilmesi özellikle önemli hale gelmiştir. Menzilin sürtünme ile doğru orantılı olduğu düşünüldüğünde, araç tasarımının erken aşamalarında sürtünmeyi anlamak ve azaltmak kritik önem taşımaktadır. Bilgisayar Destekli Mühendislik (CAE), mühendislerin pahalı ve zaman alıcı prototipler oluşturmaya gerek kalmadan değişiklikleri hızlı bir şekilde değerlendirmelerini sağlar. Siemens Simcenter STAR-CCM+ gibi Hesaplamalı Akışkanlar Dinamiği (CFD) araçları, mühendislik profesyonellerinin aerodinamik performansı hemen anlamalarına olanak tanır. GPU performansını değerlendirmek için standart bir otomotiv CFD kıyaslama vakası kullanılır

GPU’ları Kullanarak Simülasyonda Yeni Dönem

2021 yılında araç mühendisleri arasında yapılan bir ankete katılanların %52’si, tasarım döngülerini tamamlamak için gereken süreyi azaltma taleplerinin işlerinin en zorlu yönlerinden biri olduğunu ifade etmiştir. Bu artan hızlandırma ihtiyacını karşılamak için NVIDIA, son 15 yılda GPU’ların devasa paralel işleme gücünün ve bellek ile GPU çekirdekleri arasındaki ışık hızındaki arayüzün avantajlarını araç simülasyonuna getirmek için simülasyon yazılımı liderleriyle yakın bir şekilde çalıştı. Önde gelen simülasyon yazılımı sağlayıcıları, araç simülasyonu uygulamalarını GPU’larda çalıştırarak uygulamalarının 30 kata kadar hızlandığını göstermiş, böylece mühendis üretkenliğini artırmış ve araçların piyasaya sürülme süresini kısaltmaya yardımcı olmuştur.

Daha Azıyla Daha Fazlasını Yapmak – Simülasyon için Sermaye Harcamalarının İyileştirilmesi

Artan hesaplama verimliliği, iş yükü hızlandırmadan daha fazlası anlamına gelir, ancak aynı derecede önemli olarak, daha küçük bir sermaye harcaması ayak izi içermelidir. Bilgisayar destekli mühendislik için GPU’ların inanılmaz verimliliği, otomotiv müşterileri için büyük altyapı maliyeti tasarrufu sağlar. Modern sunuculara 10 adede kadar çift yuvalı GPU sığabildiğinden, hesaplama açısından ağır iş yüklerinin GPU’lara aktarılması, müşterilerin büyük miktarda sunucu konsolidasyonu elde etmesini sağlar. Supermicro ve NVIDIA arasındaki ortak çalışma sayesinde, 10 NVIDIA H100 GPU’lu tek bir sunucunun Siemens Simcenter STAR-CCM+ gibi CFD iş yükleri için her biri 2 x CPU’ya sahip 30 sunucunun yerini aldığını gösterdik. Eşdeğer performans için bu, 3 kat maliyet tasarrufu sağlar.

Hızlandırılmış Bilgi İşlem Sürdürülebilir Bilgi İşlemdir

Her ne kadar dikkatler araç egzoz emisyonlarının ve elektrikli araç güç tüketiminin azaltılmasına odaklansa da, tüm araç tasarımı, test ve üretim iş akışları boyunca karbon ayak izinin azaltılması da aynı derecede önemlidir. Bilgisayar destekli mühendislik için NVIDIA GPU’lara sahip Supermicro sunucularının üçüncü değer önerisi, hesaplama açısından ağır olan bu iş yükleri için gerekli olan hesaplama gücünde sağladığı inanılmaz tasarruftur. Performans sonuçları bölümünde gösterildiği gibi, eşdeğer performans için NVIDIA GPU’lar üzerinde çalıştırıldığında 5 kat güç tasarrufu sağlanır.

İş Yükünüz için En Uygun Sunucuyu Yapılandırma

Supermicro’nun sunucuları, destekledikleri GPU sayısındaki çok yönlülükleri nedeniyle CAE için idealdir. NVIDIA, çift hassasiyetli (FP64) hesaplama ve yüksek bellek bant genişliği ihtiyaçları nedeniyle CAE uygulamaları için 100 ve 200 sınıfı ürünlerin (NVIDIA A100, NVIDIA H100, NVIDIA H200, NVIDIA B100) kullanılmasını önermektedir.
Sistem için doğru GPU sayısına karar vermek için GPU bellek boyutu kritik bir faktördür. CFD için, ağ boyutu genellikle bir simülasyonun boyutunun bir ölçüsü olarak kullanılır. Kullanılan toplam GPU belleği de kullanılan fiziğin karmaşıklığına göre belirlenir. Genel bir kural olarak, fiziğin karmaşıklığına bağlı olarak gerekli belleğin ağ boyutunun 1,2-5 katı arasında olabileceğini söyleyebiliriz. Örneğin, fizik açısından nispeten basit bir durum için, 100 milyon hücreli bir ağ (100×1.5) için 150 GB belleğe ihtiyacımız olacaktır. A100 ve H100’ün 80 GB belleğe sahip olduğu göz önüne alındığında, en az iki GPU’ya ihtiyaç duyarlar, ancak 3 GPU tavsiye edilir. Yazılım satıcıları, yazılımları için bellek gereksinimleri konusunda ek rehberlik sağlayabilir.

Uygulama Desteği

En önemli sorulardan biri, tercih ettiğiniz CFD aracının GPU hızlandırmayı destekleyip desteklemediğidir. Son birkaç yılda hem ana akım CAE yazılımlarından hem de yeni kurulan şirketlerden GPU çözücü desteğinin çoğaldığı görülmüştür. Simüle etmeyi düşündüğünüz fiziğin GPU hızlandırmalı olup olmadığını öğrenmek için yazılım satıcınıza danışın. Çözücünün büyük bir kısmı GPU üzerinde çalışır. CFD kodlarının çözücünün yalnızca bir kısmını hızlandırdığı birkaç yıl öncesine kıyasla çok iyi hızlanmanın nedeni, çözücüyü yüksek paralel GPU’larda çalıştırmaktır.

Supermicro Çözümü – Supermicro SYS-521GE-TNRT

Supermicro SYS-521GE-TNRT Sunucu (2 CPU, 10 x NVIDIA H100 PCIe GPU)
Supermicro SYS-521GE-TNRT sunucu, 10 adede kadar PCIe NVIDIA H100 GPU’yu barındıracak şekilde tasarlanmıştır. CPU’lar 4. veya 5. Nesil Intel Xeon işlemciler olabilir ve 8 TB’a kadar bellek tutabilir.

Test Vakası Detayları

• Standart AeroSUV dış aerodinamik test örneği (AeroSUV by FKFS, Stuttgart, Almanya https://www.sae.org/publications/technical-papers/content/2019-01-0646/)
• Ağ boyutu – Sunucu: 57, 106, 320 milyon hücre
• Karışık hassasiyet
• Siemens Simcenter STAR-CCM+: Sürüm 23.06
• Birleştirilmiş çözücü

Performans Sonuçları

Aşağıdaki grafik, çeşitli ağ boyutlarındaki aynı AeroSUV test örneğinin sunucu yapılandırmasındaki farklı sayıda H100 GPU üzerinde çalıştırılmasına ilişkin sonuçları göstermektedir. Gerekirse 57 milyon hücre vakasının 4’ten az GPU üzerinde çalıştırılabileceğini unutmayın.

Önemli Sonuçlar:

• En küçük ağ boyutu (57 milyon hücre) için 4 NVIDIA H100 PCIe GPU, 94 CPU çekirdeğinden 6,6 kat daha hızlıdır
• Orta ağ boyutu (106 milyon hücre) için 6 NVDIDIA H100 PCIe GPU, 94 CPU çekirdeğinden 9,5 kat daha hızlıdır
• En büyük ağ boyutu (322 milyon hücre) için 10 NVIDIA H100 PCIe GPU, 94 CPU çekirdeğinden 29,3 kat daha hızlıdır
  Yukarıdaki sonuçlar, Supermicro donanımından yararlanan NVIDIA GPU’larda CFD simülasyonları çalıştırılarak elde edilebilecek geri dönüş süresindeki önemli iyileştirmeleri göstermektedir. GPU’ların kullanılması, daha kısa sürede daha fazla tasarımın değerlendirilmesine olanak tanıyarak daha optimize bir ürün elde edilmesini sağlar.

Fiyat Performansı ve Sürdürülebilirlik

Bir sunucudaki saf performansı karşılaştırmanın yanı sıra, genel fiyat performansını da göz önünde bulundurmak önemlidir. Bir GPU sunucusu (8-10 H100 GPU) ve bir CPU sunucusuna kıyasla ~30 kat hız artışı varsayıldığında, müşterilerin bir GPU sunucusunun performansını eşleştirmek için 30 CPU sunucusuna yatırım yapması gerekecektir. Bu sonuçlar doğrusal ölçeklendirmeyi varsaymaktadır. Bu nedenle, GPU üzerinde çalıştırıldığında, eşdeğer performans için CPU’dan 3 kat daha ucuz olacağını tahmin edebiliriz. Alternatif olarak, CPU ile aynı bütçeyi GPU’ya harcamak iş hacminde 3 kat iyileşme sağlar.
Benzer maliyet tasarrufları aynı performans için gereken güçte de görülebilir. Termal tasarım gücünden yola çıkarak, GPU performansını eşleştirmek için 30 sunucuya ihtiyaç duyulduğu düşünüldüğünde, bir GPU düğümü CPU düğümü başına ~500W’a kıyasla yaklaşık 3000W gerektirecektir. Bu da 5 kat güç tasarrufu anlamına gelmektedir.

Optimum Performans – Ölçeklendirme

Önceki bölümlerde, simülasyonu çalıştırmak için gereken minimum GPU sayısını tartıştık, ancak optimum sayı nedir? Aşağıda, 57 milyon hücre aerodinamik vakası için hızlanma ve bellek kullanımını gösteren grafikler yer almaktadır. Performansın yaklaşık 8 GPU’ya kadar ölçeklendiğini görebiliriz. GPU başına bellek kullanımına baktığımızı varsayalım. 6 GPU’nun altında bellek kullanımı GPU başına 20 GB’ın altında, yani GPU’ların kullanılabilir belleğinin %25’inden daha az. Sonuç olarak, bir vakayı çalıştırmak GPU belleğinin yalnızca küçük bir yüzdesini kullanıyorsa ölçeklendirme zarar görecektir. Bu nedenle, GPU belleğinin en az %25’inin dolu olması makul ölçeklendirmeyi sürdürmek için iyidir.

Hızlanma

Supermicro ve Nvidia Simülasyonlarını Hızlandıracak Çözümler Üretiyor.

AMD EPYC Raphael 4004 İşlemcili MicroCloud A+ Server AS -3015MR-H10TNR, 3U şasede 10 adet tek soket sunucu barındırır. Alan verimliliği, enerji verimliliği barındırır.

Supermicro Microcloud

Bu AMD işlemciler, PCIe Gen5 depolamayı, düğüm başına 128 GB’a kadar DDR5-5200 MHz RAM’i ve CPU başına 16 adede kadar çekirdeği (32 iş parçacığı) desteklemelerine olanak tanıyan 5,7 GHz’e kadar maksimum artırma hızıyla olağanüstü performans sunar. Supermicro, AMD EPYC Raphael 4004 Serisi üretici yazılımını özellikle sunucu kullanımlarına göre optimize etmek için AMD ile yakın işbirliği yaptı ve bu gelişmiş, optimize edilmiş çözümleri çok yakında pazara sunabilecek.

Microcloud AS-3015MR-H8TNR, E-ticaret, bulut oyunları, kod geliştirme, içerik oluşturma ve sanal özel sunucular gibi çeşitli uygulamalar için tasarlanmıştır. Supermicro, BT yöneticilerine kompakt ve yüksek performanslı bir seçenek sunacaklarını ve hem iç hem de dış müşterilere azaltılmış gecikmelerle hizmet sunmalarına olanak tanıyacaklarını vurguladı.

Bu düğüm tabanlı sunucu, kasayı, güç kaynağını ve soğutma sistemini paylaşırken, bu, daha büyük bir sunucu altyapısı oluşturmak için birleştirilmiş ayrı düğümlerin kendi CPU, bellek ve depolama setlerini içerdiği modüler bir sunucu mimarisidir.

Bu, tonlarca ölçeklenebilirlik, esneklik ve verimli kaynak tahsisi sağlayarak bulut bilgi işlem, sanallaştırma ve yüksek performanslı bilgi işlem uygulamaları için idealdir. Bu sunucu türlerinin yönetimi ve bakımı daha kolaydır, gelişmiş kaynak kullanımına sahiptir ve kaynakları bağımsız olarak ölçeklendirme özelliğine sahiptir, bu da daha iyi performans ve maliyet verimliliği sağlar.

Ürün Genel Özellikleri

• Tek Soketli AM5 (LGA-1718) AMD EPYC Raphael 4004 serisi İşlemciler
  hava soğutmalı 170W’a kadar;
• 1 adede kadar tek genişlikli PCIe GPU hızlandırıcı kartı desteği;
• 2DPC’de 192 GB’a kadar DDR5-5200’ü destekleyen 4 adede kadar DIMM;
• 1 adede kadar PCIe 5.0 x16 LP + 1 PCIe 4.0 x8 MicroLP yuvası;
• 2 adede kadar dahili 2,5″ NVMe/SATA sürücü bölmesi;
• 2000W Yedekli (2+2 veya 3+1) 80+ Titanyum Seviyesinde yüksek verimli güç
  tedarik

Anahtar Uygulamalar

• Bulut bilişim
• Web/Sıralama Hizmetleri
• Web Önbelleği, CDN, Video Akışı
• Sosyal Ağ, İndirmeler
• Kurumsal – WINS, DNS, Yazdırma, Giriş

PCI-Express (PCIe) Yapılandırılması

• 1 PCIe 5.0 x16 LP yuvası(ları)
• 1 PCIe 4.0 x8 MicroLP yuvası(ları)

DAHA FAZLA BİLGİ EDİNMEK İÇİN BİZİMLE İLETİŞİME GEÇİN!

NVIDIA Grace Hopper Superchip Murex MX.3 Analitik Performansını Hızlandırıyor, Güç Tüketimini Azaltıyor.

Önde gelen bir finansal teknoloji şirketi olan Murex, ticaret ve risk platformunda süper çip mimarisini test ediyor.

2008 mali krizinin ve bunu takip eden artan risk yönetimi düzenlemelerinin ardından Pierre Spatz, bankaların bilgi işlem giderlerini azaltmaya odaklanacağını öngördü.

Merkezi Paris’te bulunan bir ticaret ve risk yönetimi yazılım şirketi olan Murex’te niceliksel araştırma başkanı olarak Spatz, en yüksek performansı ve enerji verimliliğini hedefleyen NVIDIA’nın CUDA ve GPU hızlandırmalı bilgi işlem sistemini benimsedi.

Her zaman en son teknolojileri arayan şirketin ölçüm ekibi, NVIDIA Grace Hopper Superchip’in denemelerine başladı . Bu çaba, müşterilerin türev sözleşmelerine ilişkin kredi ve piyasa riskini daha iyi fiyatlandırmalarına ve yönetmelerine yardımcı olmaya odaklanıyor.

65 ülkede 60.000’den fazla günlük kullanıcı Murex MX.3 platformuna güveniyor. MX.3 bankalara, varlık yöneticilerine, emeklilik fonlarına ve diğer finansal kuruluşlara varlık sınıfları genelinde alım satım, risk ve operasyonlarında yardımcı olur.

Grace Hopper’ın Yönlendirdiği MX.3 ile Riski Yönetmek

Finansal kurumların, fiyatlandırma ve risk hesaplamaları için büyük miktardaki veriler üzerinde risk modellerini çalıştırmak ve gerçek zamanlı karar verme yetenekleri sunmak için yüksek performanslı bilgi işlem altyapısına ihtiyacı vardır.

MX.3 kapsamı, hem kredi hem de piyasa riskini, BASEL sermaye standartlarını, alım satım defterinin temel incelemesini ve x-değerleme düzeltmesini (XVA) içerir. XVA, kredi değeri ayarlaması (CVA), marj değeri ayarlaması ve fonlama değerleme ayarlaması gibi türev sözleşmeleriyle ilgili farklı türde değerleme ayarlamaları için kullanılır.

Murex, XVA hesaplamalarının yanı sıra çeşitli varlık sınıflarında piyasa riski kalibrasyonu, fiyatlandırma değerlendirmesi, hassasiyet ve kar ve zarar hesaplamaları için MX.3 platformunda Grace Hopper’ı test ediyor.

Grace Hopper, Murex platformuna daha hızlı hesaplamanın yanı sıra güç tasarrufu da sunuyor.

Spatz, “CVA gibi karşı taraf kredi riski iş yüklerinde Grace Hopper, benzersiz bir CPU ve GPU hesaplama karışımıyla heterojen bir mimariden yararlanarak mükemmel uyum sağlıyor” dedi. “Risk hesaplamalarında Grace yalnızca en hızlı işlemci değil, aynı zamanda çok daha fazla güç verimliliğine sahip ve yeşil BT’yi ticaret dünyasında gerçeğe dönüştürüyor.”

Murex araştırma ve geliştirme laboratuvarı, XVA iş yüklerini MX.3’te çalıştırırken Grace Hopper’ın CPU tabanlı sistemlerle karşılaştırıldığında enerji tüketiminde 4 kat azalma ve 7 kat performans artışı sunabildiğini fark etti.

Grace Hopper ile MX.3’te FX Bariyer Seçeneklerini Fiyatlandırma 

Döviz (FX) bariyer seçeneklerini fiyatlandırmak için Murex, amiral gemisi ve en yeni stokastik yerel oynaklık modelini kullandı ve ayrıca Grace Hopper’ı çalıştırırken etkileyici performans iyileştirmeleri fark etti. Bariyer opsiyonu, dayanak varlığın fiyatının, opsiyon sözleşmesi süresi boyunca belirli bir eşiğe ulaşıp ulaşmamasına veya onu geçmesine bağlı olan getirisi olan bir türevdir.

Fiyatlandırma değerlendirmesi, GH200’deki Arm tabanlı NVIDIA Grace CPU’da daha uygun maliyetli olan 2 boyutlu kısmi diferansiyel denklemle yapılır. Bu türevi Grace Hopper’da MX.3 ile fiyatlandırmak, Intel Xeon Gold 6148 ile karşılaştırıldığında 2,3 kat daha hızlıdır.

NVIDIA Grace CPU ayrıca sunucu başına watt bazında FX bariyeri hesaplamaları için önemli güç verimliliği sunar ve 5 kat daha iyidir.

Yukarıdaki sonuçlara işaret eden Murex, NVIDIA’nın yeni nesil hızlandırılmış bilgi işlem platformunun, sermaye piyasalarında niceliksel analizler için yüksek performanslı bilgi işlem için enerji verimliliği ve maliyet tasarrufu sağladığını söylüyor.

 

NVIDIA Grace Hopper Superchip Murex MX.3 Analitik Performansını Hızlandırıyor, Güç Tüketimini Azaltıyor.

 

 

Daha Fazla Bilgi Edinmek için Bizimle İletişime Geçin!

 

Daha fazla bilgi edinmek için bizimle iletişime geçin!

Bilgisayar Endüstrisi NVIDIA’ya Katılıyor.

• En İyi Bilgisayar Üreticileri Grace CPU’lar, NVIDIA Ağ İletişimi ve Altyapıya Sahip Blackwell Destekli Sistem Dizisini Tanıtıyor
• Geniş Portföyler Bulutu, Şirket İçi, Gömülü ve Uç Yapay Zeka Sistemlerini Kapsar
• Teklifler Tekli GPU’lardan Çoklu GPU’lara, x86’dan Grace’e, Havadan Sıvı Soğutmaya kadar çeşitlilik gösterir

COMPUTEX — NVIDIA ve dünyanın en iyi bilgisayar üreticileri bugün, şirketlerin bir sonraki üretken yapay zeka atılımlarını desteklemek üzere yapay zeka fabrikaları ve veri merkezleri kurmalarına yönelik Grace CPU’lar, NVIDIA ağ iletişimi ve altyapı içeren, NVIDIA Blackwell mimarisiyle desteklenen bir dizi sistemi tanıttı.

NVIDIA kurucusu ve CEO’su Jensen Huang, COMPUTEX açılış konuşması sırasında ASRock Rack , ASUS , GIGABYTE , Ingrasys , Inventec , Pegatron , QCT, Supermicro, Wistron ve Wiwynn’in NVIDIA GPU’ları kullanarak bulut, şirket içi, gömülü ve uç yapay zeka sistemleri sunacağını duyurdu. ağ oluşturma.

“Bir sonraki sanayi devrimi başladı. Huang, “Şirketler ve ülkeler, trilyon dolarlık geleneksel veri merkezlerini hızlandırılmış bilişime kaydırmak ve yeni bir tür veri merkezi (AI fabrikaları) inşa ederek yeni bir ürün olan yapay zekayı üretmek için NVIDIA ile ortaklık kuruyor” dedi. “Sunucu, ağ ve altyapı üreticilerinden yazılım geliştiricilere kadar tüm sektör, her alanda yapay zeka destekli inovasyonu hızlandırmak için Blackwell’e hazırlanıyor.”

Her türden uygulamaya yönelik teklifler, tekli GPU’lardan çoklu GPU’lara, x86’dan Grace tabanlı işlemcilere ve havadan sıvı soğutma teknolojisine kadar çeşitlilik gösterecek.

Ek olarak, farklı boyut ve konfigürasyonlardaki sistemlerin geliştirilmesini hızlandırmak için NVIDIA MGX  modüler referans tasarım platformu artık NVIDIA Blackwell ürünlerini destekliyor. Buna, ana akım büyük dil modeli çıkarımı, erişimle artırılmış oluşturma ve veri işleme için benzersiz performans sunmak üzere tasarlanan yeni NVIDIA GB200 NVL2 platformu da dahildir.

GB200 NVL2, şirketlerin yılda on milyarlarca dolar harcadığı veri analitiği gibi gelişen pazar fırsatları için idealdir. Blackwell mimarisindeki NVLink ^® -C2C ara bağlantıları ve özel sıkıştırma açma motorları tarafından sağlanan yüksek bant genişliğine sahip bellek performansından yararlanmak, x86 CPU’ların kullanımına kıyasla 8 kat daha iyi enerji verimliliğiyle veri işlemeyi 18 kata kadar hızlandırır.

Hızlandırılmış Bilgi İşlem için Modüler Referans Mimarisi
Dünyanın veri merkezlerinin çeşitli hızlandırılmış bilgi işlem ihtiyaçlarını karşılamak amacıyla NVIDIA MGX, bilgisayar üreticilerine 100’den fazla sistem tasarımı yapılandırmasını hızlı ve uygun maliyetli bir şekilde oluşturmaları için bir referans mimarisi sağlar.

Üreticiler, sunucu kasaları için temel bir sistem mimarisiyle başlar ve ardından farklı iş yüklerini karşılamak için GPU, DPU ve CPU’larını seçerler. Bugüne kadar, MGX referans mimarisini kullanan 25’ten fazla iş ortağından 90’dan fazla sistem piyasaya sürüldü veya geliştirilme aşamasında; geçen yıl altı iş ortağından gelen 14 sistem bu sayıya yükseldi. MGX’i kullanmak, geliştirme maliyetlerini dörtte üçe kadar azaltmaya ve geliştirme süresini üçte iki oranında yalnızca altı aya indirmeye yardımcı olabilir.

AMD ve Intel, ilk kez kendi CPU ana işlemci modülü tasarımlarını sunma planlarıyla MGX mimarisini destekliyor. Buna yeni nesil AMD Turin platformu ve P çekirdekli Intel ^® Xeon ^® 6 işlemci (eski adıyla Granite Rapids) dahildir. Herhangi bir sunucu sistemi oluşturucusu, tasarım ve performansta tutarlılığı sağlarken geliştirme süresinden tasarruf etmek için bu referans tasarımlarını kullanabilir.

NVIDIA’nın en yeni platformu GB200 NVL2 de MGX ve Blackwell’den yararlanıyor. Ölçeklenebilir, tek düğümlü tasarımı, hızlandırılmış bilgi işlemin mevcut veri merkezi altyapısına sorunsuz bir şekilde entegre edilmesi için çok çeşitli sistem yapılandırmalarına ve ağ oluşturma seçeneklerine olanak tanır.

GB200 NVL2, NVIDIA Blackwell Tensor Core GPU’ları, GB200 Grace Blackwell Superchips’i ve GB200 NVL72’yi de içeren Blackwell ürün serisine katılıyor.

Bir Ekosistem Birleştirir
NVIDIA’nın kapsamlı iş ortağı ekosistemi, dünyanın önde gelen yarı iletken üreticisi ve NVIDIA dökümhane ortağı TSMC’nin yanı sıra yapay zeka fabrikaları oluşturmak için temel bileşenleri sağlayan küresel elektronik üreticilerini içerir. Bunlar arasında sunucu rafları, güç dağıtımı, soğutma çözümleri gibi üretim yenilikleri ve Amfenol, Asia Vital Components (AVC), Cooler Master, Colder Products Company (CPC), Danfoss, Delta Electronics ve LITEON gibi şirketlerin daha fazlası yer alıyor.

Sonuç olarak, yeni veri merkezi altyapısı dünya çapındaki işletmelerin ihtiyaçlarını karşılamak üzere hızlı bir şekilde geliştirilip dağıtılabilir ve Blackwell teknolojisi, NVIDIA Quantum-2 veya Quantum-X800 InfiniBand ağı , NVIDIA Spectrum-X Ethernet ağı ve NVIDIA tarafından daha da hızlandırılabilir. BlueField ^® -3 DPU’lar — önde gelen sistem üreticileri Dell Technologies, Hewlett Packard Enterprise ve Lenovo’nun sunucularında.

Kuruluşlar ayrıca üretim düzeyinde üretken yapay zeka uygulamaları oluşturmak ve çalıştırmak için NVIDIA NIM çıkarım mikro hizmetlerini içeren NVIDIA AI Enterprise yazılım platformuna da erişebilir .

Tayvan Blackwell’i Kucaklıyor
Huang ayrıca açılış konuşmasında Tayvan’ın önde gelen şirketlerinin yapay zekanın gücünü kendi işlerine taşımak için Blackwell’i hızla benimsediğini duyurdu.

Tayvan’ın önde gelen tıp merkezi Chang Gung Memorial Hastanesi, biyomedikal araştırmaları ilerletmek ve klinik iş akışlarını iyileştirmek ve sonuç olarak hasta bakımını iyileştirmek amacıyla görüntüleme ve dil uygulamalarını hızlandırmak için NVIDIA Blackwell bilgi işlem platformunu kullanmayı planlıyor.

Dünyanın en büyük elektronik üreticilerinden biri olan Foxconn, yapay zeka destekli elektrikli araç ve robot platformlarına yönelik akıllı çözüm platformlarının yanı sıra daha kişiselleştirilmiş hizmet sunmak amacıyla giderek artan sayıda dil tabanlı üretken yapay zeka hizmetleri geliştirmek için NVIDIA Grace Blackwell’i kullanmayı planlıyor deneyimlerini müşterilerine aktarıyor.

Ek Destekleyici Alıntılar

• Amfenol Başkanı ve CEO’su R. Adam Norwitt: “NVIDIA’nın çığır açan yapay zeka sistemleri, gelişmiş ara bağlantı çözümleri gerektiriyor ve Amfenol, kritik bileşenleri sağlamaktan gurur duyuyor. NVIDIA’nın zengin ekosisteminin önemli bir ortağı olarak, Blackwell hızlandırıcıları için son derece karmaşık ve verimli ara bağlantı ürünleri sunarak üstün performans sunabiliyoruz.”
• AVC Başkanı ve CEO’su Spencer Shen: “AVC, NVIDIA ürünlerinde önemli bir rol oynuyor ve en yeni Grace Blackwell Superchip de dahil olmak üzere AI donanımı için verimli soğutma sağlıyor. Yapay zeka modelleri ve iş yükleri büyümeye devam ettikçe, yoğun yapay zeka bilişiminin üstesinden gelmek için güvenilir termal yönetim önem taşıyor ve biz de yolun her adımında NVIDIA’nın yanındayız.”
• ASUS Başkanı Jonney Shih: “ASUS, COMPUTEX’te sergileyeceğimiz güçlü sunucu serimizle kurumsal yapay zekayı yeni boyutlara taşımak için NVIDIA ile birlikte çalışıyor. NVIDIA’nın MGX ve Blackwell platformlarını kullanarak, eğitim, çıkarım, veri analitiği ve HPC genelinde müşteri iş yüklerini yönetmek için oluşturulmuş özel veri merkezi çözümleri üretebiliyoruz.”
• Dover Corporation’ın CPC başkanı Janel Wittmayer : “CPC’nin yenilikçi, amaca yönelik tasarlanmış konnektör teknolojisi, sıvı soğutmalı NVIDIA GPU’ların yapay zeka sistemlerine kolay ve güvenilir şekilde bağlanmasını sağlıyor. Performans ve kalite konusunda ortak bir vizyona sahip olan CPC, NVIDIA’nın inanılmaz büyümesini ve ilerlemesini destekleyecek kritik teknolojik bileşenleri sağlama kapasitesine ve uzmanlığına sahiptir. Konektörlerimiz, sıcaklığa duyarlı ürünlerin bütünlüğünü korumanın merkezinde yer alır; bu, yapay zeka sistemleri yoğun bilgi işlem gerektiren görevleri çalıştırırken önemlidir. NVIDIA ekosisteminin bir parçası olmaktan ve teknolojimizi yeni uygulamalara taşımaktan heyecan duyuyoruz.”
• Cooler Master CEO’su Andy Lin : “Hızlandırılmış bilgi işlem talebi artmaya devam ettikçe, son teknoloji hızlandırıcılardan yararlanan kuruluşlar için enerji standartlarını etkili bir şekilde karşılayan çözümlere olan talep de artıyor. Termal yönetim çözümlerinde öncü olan Cooler Master, müşterilere inanılmaz performans sunacak olan NVIDIA Blackwell platformunun tüm potansiyelinin açığa çıkmasına yardımcı oluyor.”
• Danfoss CEO’su Kim Fausing: “Danfoss’un yenilikçi, yüksek performanslı hızlı bağlantı kesme ve akışkan güç tasarımlarına odaklanması, kaplinlerimizi veri merkezlerinde verimli, güvenilir ve emniyetli bir çalışma sağlamak açısından değerli kılıyor. NVIDIA’nın yapay zeka ekosisteminin hayati bir parçası olarak birlikte çalışmamız, veri merkezlerinin çevresel etkiyi en aza indirirken artan yapay zeka taleplerini karşılamasını sağlıyor.”
• Delta Electronics Yönetim Kurulu Başkanı ve CEO’su Ping Cheng şunları söyledi: “Bilgisayar gücüne yönelik her yerde bulunan talep, hızlandırılmış performans yeteneklerinde yeni bir çağ başlattı. Delta, gelişmiş soğutma ve güç sistemlerimiz aracılığıyla, enerji ve termal verimliliği korurken, NVIDIA’nın Blackwell platformunun en yüksek performans seviyelerinde çalışmasını sağlayan yenilikçi çözümler geliştirdi.”
• GIGABYTE başkan yardımcısı ve genel müdürü Etay Lee: “Yaklaşık otuz yıla yayılan işbirliğimizle GIGABYTE, GPU’lar, CPU’lar, DPU’lar ve yüksek hızlı ağ iletişimi genelinde NVIDIA teknolojilerini destekleme konusunda derin bir kararlılığa sahiptir. Kuruluşların bilgi işlem yoğunluklu iş yüklerinde daha da yüksek performans ve enerji verimliliği elde edebilmeleri için, pazara geniş bir Blackwell tabanlı sistem yelpazesi sunuyoruz.”
• Hon Hai Teknoloji Grubu Başkanı ve CEO’su Young Liu: “Üretken yapay zeka endüstrileri dönüştürürken, Foxconn da en çeşitli ve zorlu bilgi işlem ihtiyaçlarını karşılamak için en ileri çözümleri sunmaya hazır. Yalnızca kendi sunucularımızda en son Blackwell platformunu kullanmakla kalmıyoruz, aynı zamanda müşterilerimize pazara daha hızlı çıkış süresi sağlayarak NVIDIA’ya temel bileşenlerin sağlanmasına da yardımcı oluyoruz.”
• Inventec Başkanı Jack Tsai: “Inventec, neredeyse yarım yüzyıldır işimizin can damarı olan elektronik ürünler ve bileşenler tasarlıyor ve üretiyor. NVIDIA Grace Blackwell Superchip tarafından desteklenen NVIDIA MGX raf tabanlı çözümümüz aracılığıyla, müşterilerimizin yeni bir yapay zeka yeteneği ve performansı alanına girmelerine yardımcı oluyoruz.”
• LITEON Technology Başkanı Anson Chiu: “Daha yeşil ve daha sürdürülebilir veri merkezleri arayışında, güç yönetimi ve soğutma çözümleri merkezde yer alıyor. NVIDIA Blackwell platformunun piyasaya sürülmesiyle LITEON, NVIDIA ortaklarının yüksek verimli, çevre dostu veri merkezlerinin geleceğinin kilidini açmasına olanak tanıyan çok sayıda sıvı soğutma çözümünü piyasaya sürüyor.”
• Quanta Computer başkanı Barry Lam: “İnovasyonun daha önce hiç olmadığı kadar hızlandığı, yapay zeka odaklı bir dünyanın merkezinde duruyoruz. NVIDIA Blackwell yalnızca bir motor değildir; bu sanayi devrimini ateşleyen kıvılcımdır. Quanta, üretken yapay zekanın bir sonraki çağını tanımlarken bu muhteşem yolculukta gururla NVIDIA’ya katılıyor. Birlikte yapay zekanın yeni bir bölümünü şekillendirip tanımlayacağız.”
• Supermicro Başkanı ve CEO’su Charles Liang: “Yapı taşı mimarimiz ve raf ölçeğindeki sıvı soğutma çözümlerimiz, şirket içi mühendisliğimiz ve ayda 5.000 raflık küresel üretim kapasitemizle birleştiğinde, geniş bir ürün yelpazesini hızlı bir şekilde sunmamızı sağlıyor. Oyunun kurallarını değiştiren NVIDIA AI platformu tabanlı ürünlerin dünya çapındaki AI fabrikalarına sunulması. NVIDIA Blackwell mimarisini temel alan tüm ürünler için optimize edilmiş, raf ölçeğinde tasarıma sahip sıvı soğutmalı veya hava soğutmalı yüksek performanslı sistemlerimiz, müşterilere sonraki düzey bilgi işlem ihtiyaçlarını karşılamak için inanılmaz bir platform seçeneği sunmanın yanı sıra, Yapay zekanın geleceğine doğru büyük bir adım.”
• TSMC CEO’su CC Wei:  “TSMC, AI vizyonlarını gerçekleştirmelerine olanak tanıyan yarı iletken inovasyonunun sınırlarını zorlamak için NVIDIA ile yakın işbirliği içinde çalışıyor. Sektör lideri yarı iletken üretim teknolojilerimiz, Blackwell mimarisine dayananlar da dahil olmak üzere NVIDIA’nın çığır açan GPU’larının şekillenmesine yardımcı oldu.”
• Wistron CEO’su Jeff Lin: “Önemli bir üretim ortağı olarak Wistron, NVIDIA’nın yanı sıra GPU bilgi işlem teknolojileri ve yapay zeka bulut çözümlerini müşterilere sunarak inanılmaz bir yolculuğa çıkıyor. Şimdi, muazzam yeni AI bilgi işlem ürünlerini hızlı bir şekilde pazara sunmak için NVIDIA’nın en yeni GPU mimarileri ve Blackwell ve MGX gibi referans tasarımlarıyla çalışıyoruz.”
• Wiwynn Başkanı William Lin: “Wiwynn, müşterilerin üretken yapay zeka çağında devasa bilgi işlem gücüne ve gelişmiş soğutma çözümlerine yönelik artan talebi karşılamalarına yardımcı olmaya odaklanıyor. NVIDIA Grace Blackwell ve MGX platformlarını temel alan en yeni serimizle, özellikle hiper ölçekli bulut sağlayıcılarının ve işletmelerin zorlu iş yükleri için özel olarak tasarlanmış, optimize edilmiş, raf düzeyinde, sıvı soğutmalı yapay zeka sunucuları oluşturuyoruz.”

NVIDIA Blackwell ve MGX platformları hakkında daha fazla bilgi edinmek için Huang’ın COMPUTEX açılış konuşmasını izleyin .

Daha fazla bilgi edinmek için bizimle iletişime geçin!

Yapay Zeka için Nvidia H100 NVL

NVIDIA H100 HVL daha önce gördüğümüz bir şeye benzeyebilir ancak arada büyük bir fark var. NVIDIA’ya sorduk ve şirket mantıksal olarak bunun işletim sistemi için iki GPU olduğunu ancak NVLink’in 188 GB belleğin tamamının sistem tarafından kullanılmasına izin vereceğini söyledi.

Üst Düzey Yapay Zeka Çıkarımı için NVIDIA H100 NVL Piyasaya Sürüldü

Yeni NVIDIA H100 NVL, iki NVIDIA H100 PCIe’yi NVLink ile bir araya getiriyor ve bir yenilik getiriyor. Yeni NVL sürümünde GPU başına 94 GB, toplam 188 GB HBM3 bellek bulunuyor. Bu muhtemelen altıncı 16GB’lık yığının etkinleştirildiği, ancak 96GB’lık aktif alanın 94GB’ı için yalnızca 14GB’ın mevcut olduğu anlamına geliyor.

Gerçekten ilginç olan da TDP’dir. Bunlar 350W ila 400W TDP PCIe kartlarıdır. Genel olarak, çoğu sunucu PCIe form faktörlerinde 400W’ı işleyemediğinden, PCIe kartlarındaki diğer satıcıların çoğunda gördüğümüz en üst seviye 300W’tır. Bu, üst düzey OAM/SXM form faktörleri için büyük bir etkendir.

Spesifikasyonlara dayanarak, NVIDIA H100 NVL spesifikasyonlarının 400W için olduğunu varsayarsak, PCIe versiyonlarının H100 SXM5 versiyonlarından çok daha üstün olduğu ancak üst seviye 900GB/s NVLINK arayüzleri olmadığı görülüyor. Hesaplama özellikleri H100 SXM’nin 2 katıdır, ancak NVL sürümü daha fazla belleğe, daha yüksek bellek bant genişliğine sahiptir ve performans için benzer gücü kullanır.

Son sözler

Bizim düşüncemiz, NVL’nin değerinin düşürülmesi gerektiği veya H100 SXM5’in yakın zamanda eşleşmesi için spesifikasyon artışına ihtiyaç duyacağı yönünde. Bu çok garip bir konumlandırma. Yine de NVIDIA, ChatGPT için artık DGX A100’leri kullanan OpenAI’nin, çıkarımını yapmak için 10x’e kadar DGX A100 sistemini dört set NVIDIA H100 NVL çiftiyle değiştirebileceğini söylüyor. Zamanla bunların değerinin düşürülüp düşürülmeyeceğini veya H100 SXM5’in güncellenip güncellenmeyeceğini görmek ilginç olacak.

Daha fazla bilgi edinmek için bizimle iletişime geçin!

Sıvı Soğutmalı Supermicro SYS-821GE-TNHR

Supermicro Yatay Manifold SYS 821GE TNHR ve CDU 1

Sıvı Soğutmalı Supermicro SYS-821GE-TNHR 8x NVIDIA H100 Yapay Zeka Sunucusuna Bir Bakış

Supermicro’ya bu parçayı yaptığımızı söylemedik ama orijinal parçanın uçuş masraflarını onlar ödediği için bunun sponsorlu olduğunu söylemek zorundayız.

Burada yatay raf manifoldu üstte ve Supermicro soğutma dağıtım ünitesi (CDU) altta olacak şekilde resimde görülen sistem görülmektedir.

Supermicro Yatay Manifold SYS 821GE TNHR ve CDU 1

Görüldüğü gibi yatay raf manifoldu, sıvı soğutma için beş farklı giriş/çıkış çiftine izin verir.

Bu çiftlerden dördü üst tepsiye, biri de CPU tepsisine gider.

İşte hortumların hepsi bağlantısı kesilmiş. On hızlı bağlantı kesme tertibatının tamamının bağlantısını kesmek yaklaşık 20 saniye sürdü.

Bu sistemdeki GPU tepsisi dışarı doğru kayar. Piyasada hâlâ GPU tepsisinin bu kadar kolay kaymadığı birkaç sistem var, bu da fark yaratıyor. GPU’lar aslında özellikle 24×7 HPC veya AI kümelerinde başarısız oluyor, dolayısıyla bu, üst düzey kurulumlar için hemen hemen gerekli bir özelliktir.

Tepsinin içinde, tek bir NVSwitch bloğuna sahip dört set çift GPU sıvı soğutma bloğunu görebiliyoruz. Her üç bileşen de bir döngü kullanılarak soğutulur ve sistemde GPU’lar için dört döngü bulunur.

İşte NVSwitch tarafının kasanın önünde olduğu başka bir görünüm.

NVSwitch’leri soğutmayan başka sıvı soğutma çözümleri de gördük, ancak bunların her biri 100W’ın çok üzerinde olduğundan fan hızlarını düşük tutmak için sıvıyla soğutulmaları gerekiyor.

İşte GPU tarafından sıvı soğutma bloğuna bir bakış.

İşte diğer taraf.

Bunlar Supermicro olarak tasarlandıkları için küçük logoları bile var.

İşte NVSwitch için daha küçük blok.

İşte iki GPU soğuk plakasının ve NVSwitch soğuk plakasının bulunduğu alt kısım.

Başka bir açıdan baktığımızda, H100’ün tüm önemli bileşenleri için macun ve pedleri görebiliriz.

İşte taşırken yapıştırmayı bozduğumuz veya bozmadığımız NVSwitch bloğu.

GPU tepsisinin altında CPU ve depolama tepsisi bulunur.

Burada sistem için bir dizi depolama alanını ve CPU soğutma döngüsü için iki giriş hortumunu görebiliriz.

Sağ tarafta IPMI ve yerel yönetim gibi özellikler için kasa yönetim modülünü görüyoruz.

İşte CPU soğutma döngüsüne ve fanlarına daha iyi bir bakış. DDR5 modülleri, PCIe anahtarları vb. gibi düşük güçlü bileşenlerin tamamını soğutmak için fanlara hâlâ ihtiyaç duyuluyor.

CPU’yu ve depolama tepsisini dışarı çektiğimizde pek çok şeyin olduğunu görebiliriz.

Havayı 32 DDR5 DIMM yuvası üzerinden yönlendirmek için bir hava akışı kılavuzu bulunmaktadır.

Burada CPU sıvı soğutma bloğunu görüyoruz. Unutulmaması gereken bir nokta, Supermicro’nun bu sunucuda kullanılabilecek hem Intel Xeon hem de AMD EPYC CPU tepsilerine sahip olmasıdır; bu nedenle, Intel’in yerleşik hızlandırıcıları veya 128 çekirdekli AMD EPYC Bergamo parçaları gibi ilginç bir şey kullanmak istenirse, bunun özelleştirilmesi oldukça kolaydır.

Bugünlerde yapay zeka sunucularının büyük bir kısmı PCIe anahtarlarından oluşuyor. CPU’lar, PCIe anahtar kartı ve diğer bileşenler arasında kablolu bağlantılara ihtiyacımız olduğundan burada PCIe kablolarını görebiliriz.

Bu soğutucuların altında PCIe anahtarlarımız var.

İşte başka bir PCIe kablosu seti.

İşte bunların üstten görünümü.

Burada DP801 genişletme modelini görebiliriz. NIC DP801’ler, PCIe genişletici DP801’ler ve daha fazlası var.

Sistemin arka kısmına baktığımızda, önde gelen AI sistem oyuncularının sunduğu oldukça standart bir özellik seti görüyoruz. Arkada güç kaynakları, ağ ve fanlar bulunur.

Fanlar çalışırken değiştirilebilir ve güç kaynakları büyüktür.

Her güç kaynağı 3kW PSU’dur. Tahmin edilebileceği gibi Supermicro bu sistemi yalnızca mevcut nesil GPU’lar için değil aynı zamanda gelecekteki GPU’lar için de geliştirdi. Sistem aynı zamanda daha yüksek şasi güç çekişi beklediğimiz hava soğutması için de alternatif olarak tasarlanmıştır.

İşte ağ tepsisine bir bakış. Ağ tepsisinde Infiniband, 100GbE, 200GbE, 400GbE adaptörleri ve daha fazlası bulunabilir. Hatta burada iki adet bakır port görüyoruz.

Görüldüğü gibi, kolay servis ve kişiselleştirme için ağ tepsisi çıkarılabilir.

Fark etmiş olabileceğiniz gibi bu sunucuların birden fazlasına baktık. Hava soğutma ve sıvı soğutma için NVIDIA H100 80GB GPU’ların performansına baktığımızda performansın fiilen aynı olduğunu gördük. Sıvı soğutma seçeneğinin tercih edilmesinin nedeni, daha düşük güç tüketimi, dolayısıyla daha düşük işletme maliyetleri ve potansiyel olarak daha yüksek raf yoğunluğudur.

Son sözler

Çoğu zaman insanlar tüm NVIDIA H100 8 yollu Delta Next sistemlerinin aynı olduğunu varsayar. Artık hemen hemen tüm seçeneklerle uygulamalı zaman geçirdiğimize göre, bunların öyle olmadığı açık. Hava soğutma ve Intel Xeon Sapphire Rapids (ve yakında Emerald Rapids) bu noktada masada yer alıyor. Fiyatlandırma, kullanılabilirlik, servis kolaylığı ve sıvı soğutma, AMD seçenekleri, farklı NIC’ler ve daha fazlası gibi özelliklerle özelleştirme yeteneği bu noktada en büyük fark yaratan unsurlardır.

Umarım bu Supermicro SYS-821GE-TNHR sistemine harika bir bakış olmuştur. Bu, yapay zeka için son derece popüler olan devasa sistemlerden biridir. 2016/2017’den beri Supermicro AI GPU eğitim sistemlerine bakıyoruz ve 8x ve 10x PCIe GPU eğitim sunucularından günümüzün çok esnek sıvı soğutmalı seçeneklerine nasıl geldiğimiz harika.

Daha fazla bilgi edinmek için bizimle iletişime geçin!

Supermicro 4U AMD EPYC GPU Sunucuları Yapay Zeka Esnekliği Sunuyor (AS-4125GS-TNRT)

Supermicro  AMD EPYC GPU Sunucuları yapay zeka esnekliği sunuyor. Bugün, iki AMD EPYC 9004 Serisi CPU’yu, PCIe Gen5’i ve sekiz adet çift genişlikli veya 12 adet tek genişlikli ek GPU kartı seçeneğini destekleyen nispeten yeni 4U hava soğutmalı GPU sunucusuna bakıyoruz. Supermicro, bu sunucuların Intel tabanlı çeşitlerini de sunarken, AMD tabanlı AS-4125GS-TNRT ailesi, bu sınıftaki NVIDIA H100 ve AMD Instinct Mi210 GPU’ları destekleyen tek sunuculardır.

Supermicro AS-4125GS-TNRT GPU sunucusu, yerleşik 10GbE ağ bağlantısı, bant dışı yönetim, 9 FHFL PCIe Gen5 yuvası, dördü NVMe ve geri kalanı SATA/SAS olmak üzere 24 2,5″ yuva gibi birkaç donanım özelliğine daha sahiptir. Ayrıca 4x yedekli titanyum düzeyinde 2000W güç kaynakları da bulunmaktadır. Anakartta önyükleme için tek bir M.2 NVMe yuvası bulunur.

Bu yolda çok ileri gitmeden önce, Supermicro’nun AS-4125GS-TNRT sunucu yapılandırmasının iki çeşidini daha sunduğunu belirtmekte fayda var. Aynı anakartı kullanmalarına rağmen AS-4125GS-TNRT1, 10 adede kadar çift genişlikli GPU’yu ve 8 NVMe SSD yuvasını destekleyen PCIe anahtarına sahip tek soketli bir yapılandırmadır. AS -4125GS-TNRT2, yine PCIe anahtarıyla aşağı yukarı aynı olan çift işlemcili bir konfigürasyondur.

Yapılandırma ne olursa olsun, Supermicro AS-4125GS-TNRT, tasarımı ve PCIe anahtarıyla model seçebilme yeteneği sayesinde inanılmaz derecede esnektir. Bu tarz GPU sunucusu popülerdir çünkü kuruluşların küçükten başlayıp genişletmelerine, farklı ihtiyaçlar için GPU’ları karıştırıp eşleştirmelerine veya istedikleri herhangi bir şeyi yapmalarına olanak tanır. Soketli GPU sistemleri, büyük yapay zeka iş yükleri için GPU’ları daha iyi bir araya getirme olanağı sağlar, ancak iş yükü esnekliği açısından eklenti kart sistemlerine rakip olamaz.

SC23’ten AMD ve NVIDIA GPU’lara sahip Supermicro AS-4125GS-TNRT

Dahası, bu bazılarına küfür gibi gelse de, Supermicro eklenti kartı GPU sunucuları, aynı kutuda AMD ve NVIDIA kartlarıyla bile kullanılabilir! Diyeceksiniz ama pek çok müşteri bazı iş yüklerinin Instinct’i, diğer iş yüklerinin ise NVIDIA GPU’yu tercih ettiğini fark etti. Son olarak, her ne kadar tıka basa doldurulmuş GPU sunucularına göre daha az popüler olsa da, bu yuvaların yalnızca PCIe yuvaları olduğunu belirtmekte fayda var; Müşterilerin bu donanımda FPGA’leri, DPU’ları veya başka bir tür hızlandırıcıyı tercih edebileceği senaryoları hayal etmek mantıksız değil. Yine esneklik bu tasarımın en önemli faydasıdır.

İnceleme amaçlarımız doğrultusunda, Supermicro AS-4125GS-TNRT, CPU, DRAM, depolama ve tabii ki GPU’ları eklememize hazır, barebone olarak geldi. Bu inceleme için 4x NVIDIA H100 GPU ödünç almak üzere Supermicro ile çalıştık.

Supermicro AS-4125GS-TNRT Özellikleri

Özellikler
İşlemci	Her Biri 128C / 256T’ye kadar Çift Soketli SP5 CPU’lar
Hafıza	24x’e kadar 256 GB 4800 MHz ECC DDR5 RDIMM/LRDIMM (Toplam 6 TB Bellek)
GPU	8’e kadar Çift genişlikli veya 12’ye kadar Tek Genişlikli GPU. AMD MI210 ve NVIDIA H100’ü destekler
Genişleme yuvaları	9x PCIE 5.0 x16 FHFL Yuvası
Güç kaynakları	4x 2000W Yedekli Güç Kaynağı
Ağ oluşturma	2x 10GbE
Depolamak	1 adet M.2 NVME 24x 2,5″ çalışırken değiştirilebilir NVMe/SATA/SAS sürücü bölmeleri (4x 2,5″ NVMe ayrılmış)
Anakart	Süper H13DSG-O-CPU
Yönetmek	IPMI 2.0 Özel LAN’lı KVM
Güvenlik	TPM 2.0 Silikon RoT-NIST 800-193 Uyumlu
Şasi Boyutu	4U

Supermicro AS-4125GS-TNRT Yapılandırmayı İnceleme

Sistemimizi Supermicro’dan barebone olarak yapılandırdık, ancak onlar bunu büyük ölçüde yapılandırılmış bir sistem olarak satıyorlar. Laboratuvara vardığımızda yaptığımız ilk şey onu bir çift AMD EPYC 9374F 32c 64t CPU ile doldurmak oldu. Bunlar, yüksek saat hızları ve saygın çok çekirdekli performansları nedeniyle seçildi.

Hızlandırıcılar için, eski Intel Phi Yardımcı İşlemcilerinden en yeni H100 PCIe kartlarına ve üst seviye RTX 6000 iş istasyonu GPU’larına kadar geniş bir yelpazede seçim yapabileceğimiz oldukça fazla ürünümüz vardı. Ham hesaplama gücünü verimlilik ve çok yönlülükle dengelemeyi amaçladık. Sonuçta dört adet NVIDIA RTX A6000 GPU ile başlamaya ve ardından ilk testlerimiz için dört adet NVIDIA H100 PCIe kartına geçmeye karar verdik. Bu kombinasyon Supermicro platformunun esnekliğini ve NVIDIA hızlandırıcı kartlarını gösterir.

Öncelikle grafik ağırlıklı iş yüklerinde performans için tasarlanan RTX A6000, Ampere mimarisiyle yapay zeka ve HPC uygulamalarında da öne çıkıyor. 48 GB GDDR6 bellek sunarak büyük veri kümelerinin ve karmaşık simülasyonların işlenmesi için idealdir. 10.752 CUDA ve 336 Tensor çekirdeği, yapay zeka ve derin öğrenme testlerimiz için çok önemli olan hızlandırılmış hesaplamayı mümkün kılıyor.

Öte yandan NVIDIA H100 PCIe kartları, öncelikle yapay zeka iş yükleri için tasarlanan Hopper mimarisi serisinin en yeni nakliye kartlarıdır. Her kartta etkileyici 80 milyar transistör, 80 GB HBM3 bellek ve GPT-4 gibi yapay zeka modelleri için özel olarak tasarlanmış çığır açan Transformer Engine bulunuyor. H100’ün 4. nesil Tensör Çekirdekleri ve DPX talimatları, yapay zeka çıkarımını ve eğitim görevlerini önemli ölçüde artırır.

Bu GPU’ları Supermicro barebone sistemimize entegre ederek, bu üst düzey bileşenlerden önemli miktarda güç çekimi ve ısı üretimi göz önüne alındığında, optimum termal yönetim ve güç dağıtımını sağlamaya odaklandık. Supermicro şasisi, resmi olarak böyle bir konfigürasyonu desteklemese de kurulumumuza uyum sağlayacak kadar çok yönlü olduğunu kanıtladı. A6000’lerin termallerini kontrol altında tutmak için, sincap kafesli fan tasarımından dolayı onları bir kart genişliğinde aralık bırakmak zorunda kaldık, ancak H100’ler geçişli, pasif soğutma kanatlarıyla paketlenebilir.

Karşılaştırma paketimiz, HPC ve yapay zekaya özgü kullanım senaryolarının bir karışımını içeriyordu. Bunlar, geleneksel kıyaslama iş yüklerinden yapay zeka eğitimine ve evrişimsel sinir ağı modellerini kullanan çıkarım görevlerine kadar uzanıyordu. Ham performanslarını ve verimliliklerini, ölçeklenebilirliklerini ve Supermicro A+ sunucumuzla entegrasyon kolaylığını değerlendirerek bu hızlandırıcıların sınırlarını zorlamayı hedefledik.

Supermicro AS-4125GS-TNRT GPU Testi

Laboratuvarda bir CNN temel modeli üzerinde çalışırken NVIDIA’nın amiral gemisi GPU’larını incelerken, bir çift daha eski ama son derece yetenekli RTX8000 GPU üzerinde iş istasyonu düzeyinde bazı eğitimlerle başladık.

Yapay zeka performans analizimiz sırasında, NVIDIA RTX 8000’den dört RTX A6000 GPU’ya ve son olarak dört NVIDIA H100 PCIe kartına geçerek yeteneklerde dikkat çekici ancak beklenen bir ilerleme gözlemledik. Bu ilerleme, yapay zeka iş yüklerine giderek daha fazla odaklanıldıkça, bu hızlandırıcıların saf gücünü ve NVIDIA hızlandırıcılarının son birkaç yıldaki evrimini gözler önüne serdi.

RTX 8000’den başlayarak iyi performans seviyelerine dikkat çektik. Bu kurulumla, 6,36 GB’lık bir görüntü veri kümesi üzerinde yapay zeka modeli eğitimimiz dönem başına yaklaşık 45 dakika sürdü. Ancak parti boyutu ve üstesinden gelebileceği görevlerin karmaşıklığı açısından RTX 8000’in sınırlamaları açıkça görülüyordu. Daha küçük parti boyutlarıyla sınırlıydık ve etkili bir şekilde eğitebileceğimiz sinir ağı modellerinin karmaşıklığı sınırlıydı.

Dört RTX A6000 GPU’ya geçiş, performansta önemli bir sıçramaya işaret etti. A6000’in üstün bellek bant genişliği ve daha büyük GDDR6 belleği, aynı dönem süresini ve model karmaşıklığını korurken toplu iş boyutunu dört katına çıkarmamıza olanak sağladı. Bu iyileştirme, eğitim sürecini iyileştirdi ve eğitim süresini uzatmadan daha karmaşık modelleri denememize olanak sağladı.

Ancak en çarpıcı gelişme dört adet NVIDIA H100 PCIe kartının piyasaya sürülmesiyle geldi. Hopper mimarisinin gelişmiş yapay zeka özelliklerinden yararlanan bu kartlar, parti boyutunu yeniden ikiye katlamamıza olanak sağladı. Daha etkileyici bir şekilde, çağ süresinde kayda değer bir değişiklik olmadan yapay zeka modellerimizin karmaşıklığını önemli ölçüde artırabildik. Bu yetenek, H100’ün, karmaşık yapay zeka operasyonlarını verimli bir şekilde yönetmek için optimize edilmiş Transformer Engine ve 4. nesil Tensör Çekirdekleri gibi gelişmiş yapay zekaya özgü özelliklerinin bir kanıtıdır.

Bu testler boyunca, 6,36 GB görüntü veri kümesi ve model parametreleri tutarlı bir kıyaslama görevi görerek farklı GPU yapılandırmalarındaki performansı doğrudan karşılaştırmamıza olanak sağladı. RTX 8000’den A6000’lere ve ardından H100’lere geçiş, ham işlem gücündeki gelişmelerin ve GPU’ların hız veya verimlilikten ödün vermeden daha büyük, daha karmaşık yapay zeka iş yüklerini yönetebilme becerisinin altını çizdi. Bu, bu GPU’ları özellikle son teknoloji yapay zeka araştırmaları ve büyük ölçekli derin öğrenme uygulamaları için uygun hale getiriyor.

Testlerimizde kullanılan Supermicro sunucu, PCIe anahtarı ihtiyacını ortadan kaldırarak CPU’lara doğrudan PCIe bağlantısı sunuyor. Bu doğrudan bağlantı, her GPU’nun CPU’ya özel bir yola sahip olmasını sağlayarak hızlı ve verimli veri aktarımını kolaylaştırır. Bu mimari, yapay zeka ve HPC’deki bazı iş yüklerinde gecikmeyi en aza indirmek ve bant genişliği kullanımını en üst düzeye çıkarmak açısından çok önemlidir; özellikle tüm işlerin sunucuda yerel olduğu yapay zeka modeli eğitimi veya karmaşık VDI ortamları gibi yüksek verimli görevlerle uğraşırken faydalıdır.

Çözüm

Supermicro AMD EPYC GPU Sunucuları Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun ölçeklenebilirliği ve esnekliği buradaki en önemli özelliklerdir. Yapay zeka, VDI veya diğer yüksek performanslı görevlerde gelişen iş yükü taleplerine uyum sağlama ihtiyacı duyan müşteriler için özellikle faydalıdır. Mütevazı bir yapılandırmayla başlayan kullanıcılar, giriş seviyesi yapay zeka veya VDI görevlerini etkili bir şekilde gerçekleştirebilir, böylece daha küçük iş yükleri veya yapay zeka ve sanal masaüstü altyapısına yeni girmeye başlayanlar için uygun maliyetli bir çözüm sunulur. Bu ilk kurulum, sağlam ve ölçeklenebilir bir temel sağlayarak kullanıcıların temel ancak gerekli yapay zeka ve VDI uygulamalarıyla etkileşime geçmesine olanak tanır.

Ayrıca pek çok işletmenin soketli H100 GPU’lardan yararlanmak istediğini bilsek de bu platformlar için bekleme süreleri çok uzun, birçok kaynak bize bu bekleme süresinin neredeyse bir yıl olduğunu söyledi. Tedarik zinciri lojistiği bu sunucunun harika yanının altını çiziyor: Her şeyin üstesinden gelebilir. L40S GPU’lar “şimdi” kullanıma sunuldu, böylece müşteriler bu kombinasyonla birlikte en azından yapay zeka iş yüklerini daha geç değil, daha erken harekete geçirebilirler. İhtiyaçlar değiştikçe müşteriler kartları kolayca değiştirebilir. Bu, Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun yalnızca acil ihtiyaçlara yönelik olmasını değil, aynı zamanda gelişen teknolojik ortama uyum sağlayarak geleceğe hazır olmasını sağlar.

supermicrosunucu.com üzerinden ürünü konfigüre edebilirsiniz.