Yapay Zeka için Nvidia H100 NVL

NVIDIA H100 HVL daha önce gördüğümüz bir şeye benzeyebilir ancak arada büyük bir fark var. NVIDIA’ya sorduk ve şirket mantıksal olarak bunun işletim sistemi için iki GPU olduğunu ancak NVLink’in 188 GB belleğin tamamının sistem tarafından kullanılmasına izin vereceğini söyledi.

Üst Düzey Yapay Zeka Çıkarımı için NVIDIA H100 NVL Piyasaya Sürüldü

Yeni NVIDIA H100 NVL, iki NVIDIA H100 PCIe’yi NVLink ile bir araya getiriyor ve bir yenilik getiriyor. Yeni NVL sürümünde GPU başına 94 GB, toplam 188 GB HBM3 bellek bulunuyor. Bu muhtemelen altıncı 16GB’lık yığının etkinleştirildiği, ancak 96GB’lık aktif alanın 94GB’ı için yalnızca 14GB’ın mevcut olduğu anlamına geliyor.

Gerçekten ilginç olan da TDP’dir. Bunlar 350W ila 400W TDP PCIe kartlarıdır. Genel olarak, çoğu sunucu PCIe form faktörlerinde 400W’ı işleyemediğinden, PCIe kartlarındaki diğer satıcıların çoğunda gördüğümüz en üst seviye 300W’tır. Bu, üst düzey OAM/SXM form faktörleri için büyük bir etkendir.

Spesifikasyonlara dayanarak, NVIDIA H100 NVL spesifikasyonlarının 400W için olduğunu varsayarsak, PCIe versiyonlarının H100 SXM5 versiyonlarından çok daha üstün olduğu ancak üst seviye 900GB/s NVLINK arayüzleri olmadığı görülüyor. Hesaplama özellikleri H100 SXM’nin 2 katıdır, ancak NVL sürümü daha fazla belleğe, daha yüksek bellek bant genişliğine sahiptir ve performans için benzer gücü kullanır.

Son sözler

Bizim düşüncemiz, NVL’nin değerinin düşürülmesi gerektiği veya H100 SXM5’in yakın zamanda eşleşmesi için spesifikasyon artışına ihtiyaç duyacağı yönünde. Bu çok garip bir konumlandırma. Yine de NVIDIA, ChatGPT için artık DGX A100’leri kullanan OpenAI’nin, çıkarımını yapmak için 10x’e kadar DGX A100 sistemini dört set NVIDIA H100 NVL çiftiyle değiştirebileceğini söylüyor. Zamanla bunların değerinin düşürülüp düşürülmeyeceğini veya H100 SXM5’in güncellenip güncellenmeyeceğini görmek ilginç olacak.

Daha fazla bilgi edinmek için bizimle iletişime geçin!

Supermicro 4U AMD EPYC GPU Sunucuları Yapay Zeka Esnekliği Sunuyor (AS-4125GS-TNRT)

Supermicro  AMD EPYC GPU Sunucuları yapay zeka esnekliği sunuyor. Bugün, iki AMD EPYC 9004 Serisi CPU’yu, PCIe Gen5’i ve sekiz adet çift genişlikli veya 12 adet tek genişlikli ek GPU kartı seçeneğini destekleyen nispeten yeni 4U hava soğutmalı GPU sunucusuna bakıyoruz. Supermicro, bu sunucuların Intel tabanlı çeşitlerini de sunarken, AMD tabanlı AS-4125GS-TNRT ailesi, bu sınıftaki NVIDIA H100 ve AMD Instinct Mi210 GPU’ları destekleyen tek sunuculardır.

Supermicro AS-4125GS-TNRT GPU sunucusu, yerleşik 10GbE ağ bağlantısı, bant dışı yönetim, 9 FHFL PCIe Gen5 yuvası, dördü NVMe ve geri kalanı SATA/SAS olmak üzere 24 2,5″ yuva gibi birkaç donanım özelliğine daha sahiptir. Ayrıca 4x yedekli titanyum düzeyinde 2000W güç kaynakları da bulunmaktadır. Anakartta önyükleme için tek bir M.2 NVMe yuvası bulunur.

Bu yolda çok ileri gitmeden önce, Supermicro’nun AS-4125GS-TNRT sunucu yapılandırmasının iki çeşidini daha sunduğunu belirtmekte fayda var. Aynı anakartı kullanmalarına rağmen AS-4125GS-TNRT1, 10 adede kadar çift genişlikli GPU’yu ve 8 NVMe SSD yuvasını destekleyen PCIe anahtarına sahip tek soketli bir yapılandırmadır. AS -4125GS-TNRT2, yine PCIe anahtarıyla aşağı yukarı aynı olan çift işlemcili bir konfigürasyondur.

Yapılandırma ne olursa olsun, Supermicro AS-4125GS-TNRT, tasarımı ve PCIe anahtarıyla model seçebilme yeteneği sayesinde inanılmaz derecede esnektir. Bu tarz GPU sunucusu popülerdir çünkü kuruluşların küçükten başlayıp genişletmelerine, farklı ihtiyaçlar için GPU’ları karıştırıp eşleştirmelerine veya istedikleri herhangi bir şeyi yapmalarına olanak tanır. Soketli GPU sistemleri, büyük yapay zeka iş yükleri için GPU’ları daha iyi bir araya getirme olanağı sağlar, ancak iş yükü esnekliği açısından eklenti kart sistemlerine rakip olamaz.

SC23’ten AMD ve NVIDIA GPU’lara sahip Supermicro AS-4125GS-TNRT

Dahası, bu bazılarına küfür gibi gelse de, Supermicro eklenti kartı GPU sunucuları, aynı kutuda AMD ve NVIDIA kartlarıyla bile kullanılabilir! Diyeceksiniz ama pek çok müşteri bazı iş yüklerinin Instinct’i, diğer iş yüklerinin ise NVIDIA GPU’yu tercih ettiğini fark etti. Son olarak, her ne kadar tıka basa doldurulmuş GPU sunucularına göre daha az popüler olsa da, bu yuvaların yalnızca PCIe yuvaları olduğunu belirtmekte fayda var; Müşterilerin bu donanımda FPGA’leri, DPU’ları veya başka bir tür hızlandırıcıyı tercih edebileceği senaryoları hayal etmek mantıksız değil. Yine esneklik bu tasarımın en önemli faydasıdır.

İnceleme amaçlarımız doğrultusunda, Supermicro AS-4125GS-TNRT, CPU, DRAM, depolama ve tabii ki GPU’ları eklememize hazır, barebone olarak geldi. Bu inceleme için 4x NVIDIA H100 GPU ödünç almak üzere Supermicro ile çalıştık.

Supermicro AS-4125GS-TNRT Özellikleri

Özellikler
İşlemci	Her Biri 128C / 256T’ye kadar Çift Soketli SP5 CPU’lar
Hafıza	24x’e kadar 256 GB 4800 MHz ECC DDR5 RDIMM/LRDIMM (Toplam 6 TB Bellek)
GPU	8’e kadar Çift genişlikli veya 12’ye kadar Tek Genişlikli GPU. AMD MI210 ve NVIDIA H100’ü destekler
Genişleme yuvaları	9x PCIE 5.0 x16 FHFL Yuvası
Güç kaynakları	4x 2000W Yedekli Güç Kaynağı
Ağ oluşturma	2x 10GbE
Depolamak	1 adet M.2 NVME 24x 2,5″ çalışırken değiştirilebilir NVMe/SATA/SAS sürücü bölmeleri (4x 2,5″ NVMe ayrılmış)
Anakart	Süper H13DSG-O-CPU
Yönetmek	IPMI 2.0 Özel LAN’lı KVM
Güvenlik	TPM 2.0 Silikon RoT-NIST 800-193 Uyumlu
Şasi Boyutu	4U

Supermicro AS-4125GS-TNRT Yapılandırmayı İnceleme

Sistemimizi Supermicro’dan barebone olarak yapılandırdık, ancak onlar bunu büyük ölçüde yapılandırılmış bir sistem olarak satıyorlar. Laboratuvara vardığımızda yaptığımız ilk şey onu bir çift AMD EPYC 9374F 32c 64t CPU ile doldurmak oldu. Bunlar, yüksek saat hızları ve saygın çok çekirdekli performansları nedeniyle seçildi.

Hızlandırıcılar için, eski Intel Phi Yardımcı İşlemcilerinden en yeni H100 PCIe kartlarına ve üst seviye RTX 6000 iş istasyonu GPU’larına kadar geniş bir yelpazede seçim yapabileceğimiz oldukça fazla ürünümüz vardı. Ham hesaplama gücünü verimlilik ve çok yönlülükle dengelemeyi amaçladık. Sonuçta dört adet NVIDIA RTX A6000 GPU ile başlamaya ve ardından ilk testlerimiz için dört adet NVIDIA H100 PCIe kartına geçmeye karar verdik. Bu kombinasyon Supermicro platformunun esnekliğini ve NVIDIA hızlandırıcı kartlarını gösterir.

Öncelikle grafik ağırlıklı iş yüklerinde performans için tasarlanan RTX A6000, Ampere mimarisiyle yapay zeka ve HPC uygulamalarında da öne çıkıyor. 48 GB GDDR6 bellek sunarak büyük veri kümelerinin ve karmaşık simülasyonların işlenmesi için idealdir. 10.752 CUDA ve 336 Tensor çekirdeği, yapay zeka ve derin öğrenme testlerimiz için çok önemli olan hızlandırılmış hesaplamayı mümkün kılıyor.

Öte yandan NVIDIA H100 PCIe kartları, öncelikle yapay zeka iş yükleri için tasarlanan Hopper mimarisi serisinin en yeni nakliye kartlarıdır. Her kartta etkileyici 80 milyar transistör, 80 GB HBM3 bellek ve GPT-4 gibi yapay zeka modelleri için özel olarak tasarlanmış çığır açan Transformer Engine bulunuyor. H100’ün 4. nesil Tensör Çekirdekleri ve DPX talimatları, yapay zeka çıkarımını ve eğitim görevlerini önemli ölçüde artırır.

Bu GPU’ları Supermicro barebone sistemimize entegre ederek, bu üst düzey bileşenlerden önemli miktarda güç çekimi ve ısı üretimi göz önüne alındığında, optimum termal yönetim ve güç dağıtımını sağlamaya odaklandık. Supermicro şasisi, resmi olarak böyle bir konfigürasyonu desteklemese de kurulumumuza uyum sağlayacak kadar çok yönlü olduğunu kanıtladı. A6000’lerin termallerini kontrol altında tutmak için, sincap kafesli fan tasarımından dolayı onları bir kart genişliğinde aralık bırakmak zorunda kaldık, ancak H100’ler geçişli, pasif soğutma kanatlarıyla paketlenebilir.

Karşılaştırma paketimiz, HPC ve yapay zekaya özgü kullanım senaryolarının bir karışımını içeriyordu. Bunlar, geleneksel kıyaslama iş yüklerinden yapay zeka eğitimine ve evrişimsel sinir ağı modellerini kullanan çıkarım görevlerine kadar uzanıyordu. Ham performanslarını ve verimliliklerini, ölçeklenebilirliklerini ve Supermicro A+ sunucumuzla entegrasyon kolaylığını değerlendirerek bu hızlandırıcıların sınırlarını zorlamayı hedefledik.

Supermicro AS-4125GS-TNRT GPU Testi

Laboratuvarda bir CNN temel modeli üzerinde çalışırken NVIDIA’nın amiral gemisi GPU’larını incelerken, bir çift daha eski ama son derece yetenekli RTX8000 GPU üzerinde iş istasyonu düzeyinde bazı eğitimlerle başladık.

Yapay zeka performans analizimiz sırasında, NVIDIA RTX 8000’den dört RTX A6000 GPU’ya ve son olarak dört NVIDIA H100 PCIe kartına geçerek yeteneklerde dikkat çekici ancak beklenen bir ilerleme gözlemledik. Bu ilerleme, yapay zeka iş yüklerine giderek daha fazla odaklanıldıkça, bu hızlandırıcıların saf gücünü ve NVIDIA hızlandırıcılarının son birkaç yıldaki evrimini gözler önüne serdi.

RTX 8000’den başlayarak iyi performans seviyelerine dikkat çektik. Bu kurulumla, 6,36 GB’lık bir görüntü veri kümesi üzerinde yapay zeka modeli eğitimimiz dönem başına yaklaşık 45 dakika sürdü. Ancak parti boyutu ve üstesinden gelebileceği görevlerin karmaşıklığı açısından RTX 8000’in sınırlamaları açıkça görülüyordu. Daha küçük parti boyutlarıyla sınırlıydık ve etkili bir şekilde eğitebileceğimiz sinir ağı modellerinin karmaşıklığı sınırlıydı.

Dört RTX A6000 GPU’ya geçiş, performansta önemli bir sıçramaya işaret etti. A6000’in üstün bellek bant genişliği ve daha büyük GDDR6 belleği, aynı dönem süresini ve model karmaşıklığını korurken toplu iş boyutunu dört katına çıkarmamıza olanak sağladı. Bu iyileştirme, eğitim sürecini iyileştirdi ve eğitim süresini uzatmadan daha karmaşık modelleri denememize olanak sağladı.

Ancak en çarpıcı gelişme dört adet NVIDIA H100 PCIe kartının piyasaya sürülmesiyle geldi. Hopper mimarisinin gelişmiş yapay zeka özelliklerinden yararlanan bu kartlar, parti boyutunu yeniden ikiye katlamamıza olanak sağladı. Daha etkileyici bir şekilde, çağ süresinde kayda değer bir değişiklik olmadan yapay zeka modellerimizin karmaşıklığını önemli ölçüde artırabildik. Bu yetenek, H100’ün, karmaşık yapay zeka operasyonlarını verimli bir şekilde yönetmek için optimize edilmiş Transformer Engine ve 4. nesil Tensör Çekirdekleri gibi gelişmiş yapay zekaya özgü özelliklerinin bir kanıtıdır.

Bu testler boyunca, 6,36 GB görüntü veri kümesi ve model parametreleri tutarlı bir kıyaslama görevi görerek farklı GPU yapılandırmalarındaki performansı doğrudan karşılaştırmamıza olanak sağladı. RTX 8000’den A6000’lere ve ardından H100’lere geçiş, ham işlem gücündeki gelişmelerin ve GPU’ların hız veya verimlilikten ödün vermeden daha büyük, daha karmaşık yapay zeka iş yüklerini yönetebilme becerisinin altını çizdi. Bu, bu GPU’ları özellikle son teknoloji yapay zeka araştırmaları ve büyük ölçekli derin öğrenme uygulamaları için uygun hale getiriyor.

Testlerimizde kullanılan Supermicro sunucu, PCIe anahtarı ihtiyacını ortadan kaldırarak CPU’lara doğrudan PCIe bağlantısı sunuyor. Bu doğrudan bağlantı, her GPU’nun CPU’ya özel bir yola sahip olmasını sağlayarak hızlı ve verimli veri aktarımını kolaylaştırır. Bu mimari, yapay zeka ve HPC’deki bazı iş yüklerinde gecikmeyi en aza indirmek ve bant genişliği kullanımını en üst düzeye çıkarmak açısından çok önemlidir; özellikle tüm işlerin sunucuda yerel olduğu yapay zeka modeli eğitimi veya karmaşık VDI ortamları gibi yüksek verimli görevlerle uğraşırken faydalıdır.

Çözüm

Supermicro AMD EPYC GPU Sunucuları Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun ölçeklenebilirliği ve esnekliği buradaki en önemli özelliklerdir. Yapay zeka, VDI veya diğer yüksek performanslı görevlerde gelişen iş yükü taleplerine uyum sağlama ihtiyacı duyan müşteriler için özellikle faydalıdır. Mütevazı bir yapılandırmayla başlayan kullanıcılar, giriş seviyesi yapay zeka veya VDI görevlerini etkili bir şekilde gerçekleştirebilir, böylece daha küçük iş yükleri veya yapay zeka ve sanal masaüstü altyapısına yeni girmeye başlayanlar için uygun maliyetli bir çözüm sunulur. Bu ilk kurulum, sağlam ve ölçeklenebilir bir temel sağlayarak kullanıcıların temel ancak gerekli yapay zeka ve VDI uygulamalarıyla etkileşime geçmesine olanak tanır.

Ayrıca pek çok işletmenin soketli H100 GPU’lardan yararlanmak istediğini bilsek de bu platformlar için bekleme süreleri çok uzun, birçok kaynak bize bu bekleme süresinin neredeyse bir yıl olduğunu söyledi. Tedarik zinciri lojistiği bu sunucunun harika yanının altını çiziyor: Her şeyin üstesinden gelebilir. L40S GPU’lar “şimdi” kullanıma sunuldu, böylece müşteriler bu kombinasyonla birlikte en azından yapay zeka iş yüklerini daha geç değil, daha erken harekete geçirebilirler. İhtiyaçlar değiştikçe müşteriler kartları kolayca değiştirebilir. Bu, Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun yalnızca acil ihtiyaçlara yönelik olmasını değil, aynı zamanda gelişen teknolojik ortama uyum sağlayarak geleceğe hazır olmasını sağlar.

supermicrosunucu.com üzerinden ürünü konfigüre edebilirsiniz.

NVIDIA H200 Tensor Core GPU, oyunun kurallarını değiştiren performans ve bellek özellikleriyle üretken yapay zeka ve yüksek performanslı bilgi işlem (HPC) iş yüklerini güçlendirir. HBM3e’ye sahip ilk GPU olan H200’ün daha büyük ve daha hızlı belleği, üretken yapay zeka ve büyük dil modellerinin (LLM’ler) hızlandırılmasını sağlarken HPC iş yükleri için bilimsel bilgi işlemi geliştirir.

Ön ölçülen performans, değişikliğe tabidir.
Llama2 13B: ISL 128, OSL 2K | Verim | H100 1x GPU BS 64 | H200 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 GPU’lar BS 64 | x8 H200 GPU’lar BS 128
Llama2 70B: ISL 2K, OSL 128 | Verim | H100 1x GPU BS 8 | H200 1x GPU BS 32.

Yüksek Performanslı Yüksek Lisans Çıkarımıyla İçgörülerin Kilidini Açın

Yapay zekanın sürekli gelişen ortamında işletmeler, çeşitli çıkarım ihtiyaçlarını karşılamak için Yüksek Lisans’lara güveniyor. Bir yapay zeka çıkarım hızlandırıcısı, geniş bir kullanıcı tabanına uygun ölçekte dağıtıldığında en yüksek verimi en düşük toplam sahip olma maliyetiyle sunmalıdır.

H200, Llama2 gibi LLM’leri işlerken H100 GPU’lara kıyasla çıkarım hızını 2 kata kadar artırır.

Yüksek Performanslı Bilgi İşlemi Güçlendirin

Bellek bant genişliği, daha hızlı veri aktarımı sağlayarak karmaşık işlem darboğazlarını azalttığından HPC uygulamaları için çok önemlidir. Simülasyonlar, bilimsel araştırmalar ve yapay zeka gibi yoğun bellek kullanan HPC uygulamaları için H200’ün daha yüksek bellek bant genişliği, verilere verimli bir şekilde erişilmesini ve işlenmesini sağlar ve CPU’lara kıyasla sonuçlara 110 kat daha hızlı ulaşmayı sağlar.

Yüksek Performanslı Bilgi İşlem Hakkında Daha Fazla Bilgi Edinin

Tahmini performans değişebilir.
HPC MILC-veri kümesi NERSC Apex Medium | HGX H200 4-GPU | çift ​​Sapphire Rapids 8480
HPC Uygulamaları- CP2K: veri kümesi H2O-32-RI-dRPA-96points | GROMACS: STMV veri kümesi | SİMGE: veri kümesi r2b5 | MILC: veri kümesi NERSC Apex Medium | Chroma: veri kümesi HMC Medium | Quantum Espresso: AUSURF112 veri kümesi | 1x H100 | 1x H200.

Tahmini performans değişebilir.
HPC MILC-veri kümesi NERSC Apex Medium | HGX H200 4-GPU | çift ​​Sapphire Rapids 8480
HPC Uygulamaları- CP2K: veri kümesi H2O-32-RI-dRPA-96points | GROMACS: STMV veri kümesi | SİMGE: veri kümesi r2b5 | MILC: veri kümesi NERSC Apex Medium | Chroma: veri kümesi HMC Medium | Quantum Espresso: AUSURF112 veri kümesi | 1x H100 | 1x H200.

Ön ölçülen performans, değişikliğe tabidir.
Llama2 70B: ISL 2K, OSL 128 | Verim | H100 1x GPU BS 8 | H200 1x GPU BS 32

Enerjiyi ve Toplam Sahip Olma Maliyetini Azaltın

H200’ün piyasaya sürülmesiyle enerji verimliliği ve toplam sahip olma maliyeti yeni seviyelere ulaşıyor. Bu son teknoloji, tümü H100 ile aynı güç profilinde olmak üzere benzersiz bir performans sunar. Yalnızca daha hızlı değil, aynı zamanda daha çevre dostu olan yapay zeka fabrikaları ve süper bilgi işlem sistemleri, yapay zekayı ve bilim topluluğunu ileriye taşıyan ekonomik bir avantaj sağlıyor.

Sürdürülebilir Bilgi İşlem Hakkında Daha Fazla Bilgi Edinin

Günümüzün karmaşık iş ortamlarında BT ekipleri, çalışan hesaplarının kilitlenmesi gibi basit sorunlardan kritik güvenlik tehditlerine kadar sürekli bir dizi zorlukla karşı karşıyadır. Bu durumlar hem hızlı düzeltmeler hem de stratejik savunmalar gerektirir, bu da operasyonların sorunsuz ve güvenli bir şekilde sürdürülmesini daha da zorlaştırır.

Yapay zekayı BT operasyonlarıyla harmanlayarak yalnızca rutin görevleri otomatikleştirmekle kalmayıp aynı zamanda güvenlik önlemlerini de geliştiren AIOps tam da bu noktada devreye giriyor. Bu etkili yaklaşım, ekiplerin küçük sorunlarla hızlı bir şekilde ilgilenmesine ve daha da önemlisi, güvenlik tehditlerini eskisinden daha hızlı ve daha doğru bir şekilde tanımlayıp yanıt vermesine olanak tanır.

AIOps, makine öğrenimini kullanarak yalnızca operasyonları kolaylaştırmada değil, aynı zamanda genel olarak güvenliği güçlendirmede de önemli bir araç haline geliyor. Gelişmiş yapay zekayı ekiplerine entegre etmek isteyen işletmeler için oyunun kurallarını değiştirecek ve potansiyel güvenlik risklerinin bir adım önünde kalmalarına yardımcı olacak.

IDC’ye göre , BT operasyon yönetimi yazılım pazarının yıllık %10,3 oranında büyüyerek 2027 yılına kadar tahmini 28,4 milyar dolar gelire ulaşması bekleniyor. Bu büyüme, operasyonel verimlilik ve modern iletişimin kritik bir bileşeni olarak AIOps’a artan güvenin altını çiziyor. siber güvenlik stratejileri.

Makine öğrenimi operasyonlarındaki hızlı büyüme, üretken yapay zeka çağını dönüştürmeye devam ederken, NVIDIA iş ortaklarından oluşan geniş bir ekosistem, BT operasyonlarını iyileştirmek için NVIDIA yapay zekadan yararlanan AIOps çözümleri sunuyor.

NVIDIA, hızlandırılmış bilgi işlem ve yapay zeka yazılımıyla AIOps iş ortaklarından oluşan geniş bir ekosisteme yardımcı oluyor. Buna , her yerde çalışabilen ve yapay zeka modlarının hızlandırılmış çıkarımı için NVIDIA NIM, yapay zeka tabanlı siber güvenlik için NVIDIA Morpheus ve özel üretken yapay zeka için NVIDIA NeMo gibi yazılımlar aracılığıyla AIOps için temel sağlayan, bulutta yerel bir yığın olan NVIDIA AI Enterprise dahildir . Bu yazılım, GenAI tabanlı sohbet robotu, özetleme ve arama işlevlerini kolaylaştırır.

NVIDIA AI kullanan AIOps sağlayıcıları şunları içerir:

• Dynatrace Davis hipermodal yapay zeka, Davis CoPilot’un eklenmesiyle nedensel, öngörücü ve üretken yapay zeka tekniklerini entegre ederek AIOps’u geliştiriyor. Bu kombinasyon, hassas ve eyleme geçirilebilir, yapay zeka odaklı yanıtlar ve otomasyon sunarak BT, geliştirme, güvenlik ve iş operasyonlarında gözlemlenebilirliği ve güvenliği artırır.

• Elastic, semantik ve vektör arama için GPT-4 gibi popüler LLM’lerle entegre olarak Yapay Zeka Asistanlarını Gözlemlenebilirlik ve Güvenlik çözümlerinde destekleyen Elasticsearch Relevance Engine’i (ESRE) sunar . Observability AI Assistant, BT ekiplerinin karmaşık sistemleri anlamasına, sağlığı izlemesine ve operasyonel sorunların iyileştirilmesini otomatikleştirmesine yardımcı olan yeni nesil bir AI Ops yeteneğidir .
• New Relic, makine öğreniminden , üretken yapay zeka yardımcı çerçevelerinden ve gözlemlenebilirlik konusundaki uzun yıllara dayanan uzmanlığından yararlanarak AIOps’u geliştiriyor . Makine öğrenimi ve gelişmiş mantığı, BT ekiplerinin uyarı gürültüsünü azaltmasına, ortalama tespit süresini ve ortalama onarım süresini iyileştirmesine, temel neden analizini otomatikleştirmesine ve geçmişe yönelik değerlendirmeler oluşturmasına yardımcı olur. GenAI asistanı New Relic AI, kullanıcıların bağlamları değiştirmeden hataları tanımlamasına, açıklamasına ve çözmesine olanak tanıyarak sorun çözümünü hızlandırıyor ve kod düzeltmelerini doğrudan geliştiricinin entegre geliştirme ortamında öneriyor ve uyguluyor. Aynı zamanda otomatik olarak üst düzey sistem sağlık raporları üreterek, kontrol panellerini analiz edip özetleyerek ve kullanıcının uygulamaları, altyapısı ve hizmetleri hakkındaki sade dildeki soruları yanıtlayarak olay görünürlüğünü ve önlemeyi teknik olmayan ekiplere de genişletir. New Relic ayrıca NVIDIA GPU’lardan yararlanan yapay zeka destekli uygulamalar için tam yığın gözlemlenebilirlik sağlıyor.
• PagerDuty, PagerDuty Copilot’a , olayın başlangıcından çözümlenmesine kadar içgörüler sunmak, olay yaşam döngüsünü kolaylaştırmak ve BT ekipleri için manuel görev yüklerini azaltmak üzere üretken bir yapay zeka asistanını Slack’e entegre eden yeni bir özelliği tanıttı .
• ServiceNow’un proaktif bir BT operasyonları yaratma taahhüdü, olaylara hızlı müdahale için içgörülerin otomatikleştirilmesini, hizmet yönetiminin optimize edilmesini ve anormalliklerin tespit edilmesini kapsar. Şimdi NVIDIA ile işbirliği içinde, teknoloji hizmetlerinde ve operasyonlarında daha fazla yenilik yapmak için üretken yapay zekaya yöneliyor.
• Splunk’un teknoloji platformu, operasyonel sorunları ve tehditleri tanımlama, teşhis etme ve çözme süreçlerini otomatikleştirmek için yapay zeka ve makine öğrenimini uygulayarak BT verimliliğini ve güvenlik duruşunu geliştirir. Splunk BT Hizmet İstihbaratı , Splunk’un birincil AIOps teklifi olarak hizmet eder ve yerleşik yapay zeka odaklı olay tahmini, tespiti ve çözümünü tek bir yerden sağlar.

Amazon Web Services (AWS), Google Cloud ve Microsoft Azure gibi bulut hizmet sağlayıcıları, bulut kaynaklarının ölçeğinden ve esnekliğinden yararlanarak kuruluşların BT operasyonlarını otomatikleştirmesine ve optimize etmesine olanak tanır.

• AWS , izleme ve gözlemlenebilirlik için Amazon CloudWatch; Kullanıcı etkinliğini ve API kullanımını izlemek için AWS CloudTrail; Tekrarlanabilir ve sorumlu makine öğrenimi iş akışları oluşturmak için Amazon SageMaker; ve sunucusuz bilgi işlem için AWS Lambda, tetikleyicilere dayalı yanıt eylemlerinin otomasyonuna olanak tanır.
• Google Cloud, buluttaki ve şirket içi uygulamalarda izleme, günlük kaydı ve teşhis sağlayan Google Cloud Operations gibi hizmetler aracılığıyla AIOps’u destekler. Google Cloud’un yapay zeka ve makine öğrenimi ürünleri arasında, model eğitimi ve tahmin için Vertex AI ile Google altyapısının işlem gücünü kullanan hızlı SQL sorguları için BigQuery yer alıyor.
• Microsoft Azure, uygulamaların, hizmetlerin ve altyapının kapsamlı bir şekilde izlenmesi için Azure Monitor ile AIOps’u kolaylaştırır. Azure Monitor’ün yerleşik AIOps yetenekleri, kapasite kullanımını tahmin etmeye, otomatik ölçeklendirmeyi etkinleştirmeye, uygulama performansı sorunlarını tanımlamaya ve sanal makineler, kapsayıcılar ve diğer kaynaklardaki anormal davranışları algılamaya yardımcı olur. Microsoft Azure Machine Learning (AzureML), makine öğrenimi modellerini sorumlu, güvenli ve uygun ölçekte eğitmek, dağıtmak ve yönetmek için bulut tabanlı bir MLOps ortamı sunar.

MLOps konusunda uzmanlaşmış platformlar öncelikle makine öğrenimi modellerinin geliştirmeden dağıtıma ve izlemeye kadar yaşam döngüsünü kolaylaştırmaya odaklanır. Temel misyon, makine öğrenimini daha erişilebilir, verimli ve ölçeklenebilir hale getirmeye odaklansa da teknolojileri ve metodolojileri, BT operasyonlarındaki yapay zeka yeteneklerini geliştirerek AIOps’u dolaylı olarak destekliyor: 

• Anyscale’in Ray tabanlı platformu, AIOps’ta anormallik tespiti ve otomatik iyileştirme gibi görevlerde kullanılanlar da dahil olmak üzere yapay zeka ve makine öğrenimi uygulamalarının kolayca ölçeklendirilmesine olanak tanıyor. Anyscale, dağıtılmış bilgi işlemi kolaylaştırarak AIOps sistemlerinin büyük hacimli operasyonel verileri daha verimli bir şekilde işlemesine yardımcı olarak gerçek zamanlı analiz ve karar almayı mümkün kılar.
• Dataiku, BT ekiplerinin bu modelleri üretim ortamlarında hızlı bir şekilde devreye almasına ve yinelemesine olanak tanıyan özelliklerle, BT sistem arızalarını tahmin eden veya kaynak tahsisini optimize eden modeller oluşturmak için kullanılabilir.
• Dataloop’un platformu, tam veri yaşam döngüsü yönetimi ve uçtan uca iş akışı için yapay zeka modellerini bağlamanın esnek bir yolunu sunarak kullanıcıların verilerini kullanarak yapay zeka uygulamaları geliştirmelerine olanak tanıyor.
• DataRobot, BT operasyon ekiplerinin yapay zeka çözümlerini hızlı bir şekilde oluşturmasına, dağıtmasına ve yönetmesine olanak tanıyan, operasyonel verimliliği ve performansı artıran tam bir yapay zeka yaşam döngüsü platformudur.
• Domino Data Lab’in platformu, işletmelerin ve veri bilimcilerinin yapay zekayı birleşik, uçtan uca bir platformda oluşturmasına, dağıtmasına ve yönetmesine olanak tanır. Tüm ortamlardaki veriler, araçlar, bilgi işlem, modeller ve projeler merkezi olarak yönetilir; böylece ekipler işbirliği yapabilir, üretim modellerini izleyebilir ve yönetilen yapay zeka inovasyonu için en iyi uygulamaları standartlaştırabilir. Bu yaklaşım, veri bilimi ekiplerinin ihtiyaç duyduğu self-servis hizmeti, BT operasyonel ihtiyaçları için tam tekrarlanabilirlik, ayrıntılı maliyet takibi ve proaktif yönetim ile dengelediği için AIOps için hayati öneme sahiptir.
• Weights & Biases, AIOps’ta kullanılan yapay zeka modellerinin geliştirilmesi ve ince ayarının yapılması için çok önemli olan deney takibi, model optimizasyonu ve işbirliğine yönelik araçlar sağlar. Weights & Biases, model performansına ilişkin ayrıntılı bilgiler sunarak ve ekipler arasında işbirliğini kolaylaştırarak, BT operasyonları için dağıtılan yapay zeka modellerinin hem etkili hem de şeffaf olmasını sağlamaya yardımcı olur.

NVIDIA’nın iş ortağı ekosistemi ve çalışmaları hakkında daha fazlasını GTM Teknoloji ‘den öğrenin .

• Yeni Blackwell GPU, NVLink ve Resilience Teknolojileri Trilyon Parametre Ölçeğinde Yapay Zeka Modellerine Olanak Sağlıyor
• Yeni Tensor Çekirdekleri ve TensorRT-LLM Derleyicisi, Yüksek Lisans Çıkarımı İşletim Maliyetini ve Enerjiyi 25 Kata Kadar Azaltır
• Yeni Hızlandırıcılar Veri İşleme, Mühendislik Simülasyonu, Elektronik Tasarım Otomasyonu, Bilgisayar Destekli İlaç Tasarımı ve Kuantum Hesaplamada Çığır Açıyor
• Tüm Büyük Bulut Sağlayıcıları, Sunucu Oluşturucuları ve Lider Yapay Zeka Şirketleri Tarafından Yaygın Olarak Benimseniyor

Yeni bir bilişim çağını güçlendirirken, NVIDIA bugün NVIDIA Blackwell platformunun geldiğini duyurdu – organizasyonlara her yerde, önceki nesline göre enerji tüketiminde %25’e kadar daha az maliyetle ve enerji tüketimiyle trilyon parametreli büyük dil modelleri üzerinde gerçek zamanlı üretken yapay zeka inşa etme ve çalıştırma imkanı sunuyor.

Blackwell GPU mimarisi, hızlandırılmış hesaplama için altı devrim niteliğinde teknoloji içerir ve veri işleme, mühendislik simülasyonu, elektronik tasarım otomasyonu, bilgisayar destekli ilaç tasarımı, kuantum bilişim ve üretken yapay zeka gibi alanlarda çığır açacak yeniliklerin kilidini açmaya yardımcı olur – NVIDIA için gelişen endüstri fırsatları.

“NVIDIA olarak üç on yıldır derin öğrenme ve yapay zeka gibi dönüştürücü buluşları mümkün kılacak hızlandırılmış hesaplamayı sürdürüyoruz,” dedi NVIDIA’nın kurucusu ve CEO’su Jensen Huang. “Üretken yapay zeka, zamanımızın belirleyici teknolojisidir. Blackwell, bu yeni endüstri devrimini güçlendirecek motorumuzdur. Dünyanın en dinamik şirketleriyle çalışarak, yapay zekanın her endüstri için vaadini gerçekleştireceğiz.”

Blackwell’u benimseyecek birçok organizasyon arasında Supermicro, Amazon Web Services,  Google, Meta, Microsoft, OpenAI, Oracle, Tesla ve xAI gibi şirketler yer alıyor.

Blackwell’in Hızlandırılmış Bilgi İşlemi ve Üretken Yapay Zekayı Güçlendirecek Yenilikleri
Blackwell’in, 10 trilyon parametreye kadar ölçeklenen modeller için yapay zeka eğitimini ve gerçek zamanlı LLM çıkarımını mümkün kılan devrim niteliğindeki altı teknolojisi şunları içerir:

• Dünyanın En Güçlü Çipi  — 208 milyar transistörle paketlenmiş Blackwell mimarili GPU’lar, tek bir birleşik GPU’ya 10 TB/saniyelik çipten çipe bağlantıyla bağlanan, iki retikül limitli GPU kalıplarına sahip özel yapım 4NP TSMC işlemi kullanılarak üretilir .
• İkinci Nesil Transformatör Motoru  — Yeni mikro tensör ölçeklendirme desteği ve NVIDIA’nın NVIDIA TensorRT-LLM ve NeMo Megatron çerçevelerine entegre edilmiş gelişmiş dinamik aralık yönetimi algoritmalarıyla desteklenen Blackwell, yeni 4 bit kayan noktalı yapay zeka ile iki kat daha fazla bilgi işlem ve model boyutunu destekleyecektir çıkarım yetenekleri.
• Beşinci Nesil NVLink  — Multitrilyon parametreli ve uzmanlardan oluşan karma yapay zeka modellerinin performansını hızlandırmak için NVIDIA NVLink®’in en son sürümü, GPU başına çığır açan 1,8 TB/s çift yönlü verim sunarak 576 GPU’ya kadar kesintisiz yüksek hızlı iletişim sağlar en karmaşık LLM’ler için.
• RAS Motoru  — Blackwell destekli GPU’lar güvenilirlik, kullanılabilirlik ve servis kolaylığı için özel bir motor içerir. Ek olarak Blackwell mimarisi, teşhisleri çalıştırmak ve güvenilirlik sorunlarını tahmin etmek için yapay zeka tabanlı önleyici bakımdan yararlanmak üzere çip düzeyinde yetenekler ekler. Bu, sistemin çalışma süresini en üst düzeye çıkarır ve büyük ölçekli yapay zeka dağıtımlarının haftalarca, hatta aylarca kesintisiz çalışması ve işletme maliyetlerini azaltması için esnekliği artırır.
• Güvenli Yapay Zeka  — Gelişmiş gizli bilgi işlem yetenekleri, sağlık hizmetleri ve finansal hizmetler gibi gizliliğe duyarlı endüstriler için kritik öneme sahip yeni yerel arayüz şifreleme protokollerini destekleyerek yapay zeka modellerini ve müşteri verilerini performanstan ödün vermeden korur.
• Sıkıştırmayı Açma Motoru  — Özel bir sıkıştırmayı açma motoru, veri analitiği ve veri biliminde en yüksek performansı sunmak için veritabanı sorgularını hızlandırarak en yeni formatları destekler. Şirketlerin yılda on milyarlarca dolar harcadığı veri işleme, önümüzdeki yıllarda giderek daha fazla GPU ile hızlandırılacak.

Devasa Bir Süper Çip
NVIDIA GB200 Grace Blackwell Süper Çipi, iki NVIDIA B200 Tensor Core GPU’yu  900 GB/s ultra düşük güçlü NVLink çipten çipe ara bağlantı üzerinden NVIDIA Grace CPU’ya bağlar

En yüksek yapay zeka performansı için GB200 destekli sistemler, yine bugün duyurulan ve 800 Gb/s’ye varan hızlarda gelişmiş ağ iletişimi sağlayan NVIDIA Quantum-X800 InfiniBand ve Spectrum-X800 Ethernet platformlarına bağlanabilir  .

GB200,  bilgi işlem yoğunluklu iş yükleri için çok düğümlü, sıvı soğutmalı, raf ölçekli bir sistem olan NVIDIA GB200 NVL72’nin önemli bir bileşenidir. Beşinci nesil NVLink ile birbirine bağlanan 72 Blackwell GPU ve 36 Grace CPU içeren 36 Grace Blackwell Süper Çipini birleştiriyor. Ayrıca GB200 NVL72, hiper ölçekli yapay zeka bulutlarında bulut ağı hızlandırmayı, şekillendirilebilir depolamayı, sıfır güven güvenliğini ve GPU bilgi işlem esnekliğini etkinleştirmek için NVIDIA BlueField®-3 veri işleme birimlerini içerir. GB200 NVL72, LLM çıkarım iş yükleri için aynı sayıdaki NVIDIA H100 Tensor Core GPU’lara kıyasla 30 kata kadar performans artışı sağlar ve maliyet ile enerji tüketimini 25 kata kadar azaltır.

Platform, 1,4 exaflop yapay zeka performansı ve 30 TB hızlı belleğe sahip tek bir GPU görevi görüyor ve en yeni DGX SuperPOD için bir yapı taşı oluşturuyor.

NVIDIA  , x86 tabanlı üretken yapay zeka platformlarını desteklemek için sekiz B200 GPU’yu NVLink aracılığıyla bağlayan bir sunucu anakartı olan HGX B200’ü sunuyor. HGX B200, NVIDIA Quantum-2 InfiniBand ve Spectrum-X Ethernet ağ platformları aracılığıyla 400 Gb/s’ye kadar ağ oluşturma hızlarını destekler.

Nvidia Blackwell Üretken Yapay Zeka çözümleriyle ilgili detaylı bilgi için Nvidia Elite NPN Partner GTM Teknoloji ile iletişime geçebilirsiniz.

NVIDIA’nın kıdemli ürün pazarlama müdürü Anthony Larijani ve Supermicro’nun kıdemli ürün pazarlama müdürü Yusuke Kondo, OctoML’in kurucu ortağı ve CEO’su Luis Ceze ile üretken yapay zekanın bir kuruluşa nerede fayda sağlayabileceğinin nasıl belirleneceği ve kullanımıyla nasıl denemeler yapılabileceği hakkında konuştu. vakalar ve bir gen yapay zeka stratejisini desteklemek için kritik olan teknoloji.

Altyapı kararları ve iş yükü hususları

Laricani, ihtiyaçların altyapıyla eşleştirilmesinin ilk önemli gereklilik olduğunu söylüyor.

“Bunu yapmanın yolu nihai hedefi akılda tutarak başlamaktır” diye açıklıyor. “Bu altyapının ne için kullanılacağını hayal ettiğinizi, üzerinde çalışan iş yükü türlerini nasıl gördüğünüzü görselleştirmeye çalışın. Örneğin, çok büyük ölçekli bir temel modelin eğitimi doğrultusundaysa, çok sayıda kullanıcıya gerçek zamanlı performans sunması gereken bir çıkarım uygulaması sunmak için farklı hesaplama gereksinimlerine sahip olacaktır.”

Ölçeklenebilirlik de bu noktada devreye giriyor. Yalnızca modelin iş yükünü değerlendirmeniz gerekmez, aynı zamanda çalıştırıyor olabileceğiniz uygulamadaki talep türünü de tahmin etmeniz gerekir. Bu, ister toplu tipte bir kullanım durumu, ister sohbet robotu gibi gerçek zamanlı bir kullanım durumu olsun, çalıştıracağınız çıkarım iş yükü türleriyle ilgili diğer hususlarla örtüşmektedir.

Bulut ve şirket içi hususlar

Nesil AI uygulamaları genellikle ölçek gerektirir ve bu, bulut ve şirket içi değerlendirmelerin konuşmaya dahil olduğu anlamına gelir. Kondo, bunun açıkça ihtiyaç duyulan kullanım senaryosuna ve ölçeğe bağlı olduğunu ancak bunun yine de kritik ve temel bir karar olduğunu açıklıyor.

“Bulutu kullandığınızda elbette daha fazla esnekliğe ve kapsama alanına sahip olursunuz. Ölçek büyütmeniz gerektiğinde bunu yapabilirsiniz” diyor. “Şirket içi çalışmaya başladığınızda, kendiniz için bilişime ne kadar yatırım yapmanız gerektiğine karar vermeden önce bunu planlamanız ve nasıl ölçeklendireceğinizi tahmin etmeniz gerekir. Bu büyük bir başlangıç ​​maliyeti gerektirecek.”

Ancak üretken yapay zeka, özellikle ChatGPT gibi halka açık bir API’ye veri beslerken ve kontrol sorunlarını da beraberinde getirirken tamamen yeni bir düzeyde veri gizliliği hususları getiriyor; iş yükünü uçtan uca kontrol etmek mi istiyorsunuz, yoksa yalnızca API’den yeterince yararlanmak mı istiyorsunuz? Ve tabii ki, üretken yapay zeka yolculuğunuzda nerede olduğunuza bağlı olarak bir maliyet de var; bazı küçük deneylerle yeni başlıyorsunuz veya ölçeklendirmeye başlamaya isteklisiniz.

“Baktığınız projenin büyüklüğüne karar vermelisiniz. Sadece GPU bulutunu kullanmak mantıklı mı?” diyor. “Maliyet düşerken, hesaplama yeteneğinin arttığını tahmin ediyoruz. Altyapının mevcut fiyatına bakıldığında yalnızca GPU bulut örneklerini kullanmak mantıklı mı? Kendi yapay zeka altyapınıza çok fazla sermaye harcamak yerine, bunu GPU bulutunu kullanarak test etmek isteyebilirsiniz.”

Açık kaynak ve tescilli modeller

Laricani, şu anda kuruluş içindeki kullanım durumlarına yönelik dağıtımlar için daha küçük ölçekli, daha özelleştirilmiş, özel model türlerine doğru bir eğilim olduğunu söylüyor. Artırılmış üretimin alınması gibi teknikler sayesinde, özel verileri kullanabilen LLM’lerden yararlanmanın etkili yolları ortaya çıkıyor ve bu, altyapı seçimini doğrudan etkiliyor. Bu özel modeller daha az eğitim gereksinimi içerir.

“Bu modelin yalnızca kullanım durumunuza uygun olan bir kısmını yeniden eğitebilmek, eğitim süresini ve maliyetini azaltır” diye açıklıyor. “Müşterilerin maliyet açısından engelleyici olan kaynak türlerini gerçekten bu tür performansı gerektiren iş yükleri için ayırmalarına ve bu tür iş yüklerini çalıştırmak için maliyeti daha optimize edilmiş çözümlerden yararlanmalarına olanak tanıyor.”

İster açık kaynak ister tescilli olun, modeli ihtiyaçlarınıza göre nasıl boyutlandırırsınız?

Kondo, “Açık kaynaklı modeller kullanıyorsanız, temel modellerin daha özel bir duruma getirilmesi için ince ayar yapılması gerekiyor” diyor. “Bu, maliyetinizin optimizasyonunu ve GPU’ların altyapı kullanımınızın optimizasyonunu etkileyecek. Yatırım yaptığınız şeyi boşa harcamak istemezsiniz.”

Yazılım yığınınızla donanımı en üst düzeye çıkarma

Seçtiğiniz donanımdan en iyi şekilde yararlanmak aynı zamanda karmaşık bir sistem yazılımı yığını anlamına da gelir.

Kondo, “Bu yalnızca tek bir düzey değil; raf ölçeği ve ardından küme düzeyinde uygulama var” diyor. “Büyük ölçekli altyapı söz konusu olduğunda, açıkçası bu, açık kaynaklı bir modeli tek bir sistemle çalıştırmaktan çok daha karmaşık. Çoğu zaman gördüğümüz şey, NVIDIA konu uzmanlarını ilk aşamalardan itibaren dahil ettiğimiz, hatta rafları tasarladığımız, kümeyi NVIDIA’nın bir araya getirdiği yazılım kitaplıkları ve mimarisine dayalı olarak tasarladığımızdır. Müşteriler için doğru çözümü oluşturmak amacıyla NVIDIA ile yakın işbirliği içinde çalışarak rafları onların gereksinimlerine göre tasarlıyoruz.”

Laricani, eksiksiz bir yapay zeka yazılım yığını oluşturmanın karmaşık ve kaynak yoğun bir girişim olduğunu, bu nedenle NVIDIA’nın altyapıdan üzerinde çalışan yazılıma kadar tam kapsamlı bir bilgi işlem şirketi olmaya yatırım yaptığını ekliyor. Örneğin, NVIDIA AI kurumsal platformunun bir parçası olan Nemo çerçevesi, müşterilerin bir dizi üretken AI modeli ve uygulamasını oluşturmasına, özelleştirmesine ve dağıtmasına yardımcı olmak için uçtan uca bir çözüm sunuyor. Model eğitim sürecini optimize etmeye ve GPU kaynaklarını on binlerce düğüme verimli bir şekilde tahsis etmeye yardımcı olabilir. Modeller eğitildikten sonra, onları özelleştirerek belirli alanlardaki çeşitli görevlere uyum sağlayabilir.

“Bir kuruluş bunu geniş ölçekte uygulamaya hazır olduğunda Nemo çerçevesi, Triton çıkarım sunucumuz gibi birçok müşterimizin kullandığı ve aşina olduğu tanıdık araçlarla bütünleşir” diye ekliyor. “Müşterilerimizin yüksek verim ve düşük gecikmeyle verimli bir şekilde dağıtım yapmasına yardımcı olacak optimize edilmiş derleyici, bunların hepsi aynı tanıdık platform üzerinden yapılıyor ve hepsi NVIDIA sertifikalı Supermicro sistemlerinde mükemmel çalışacak şekilde optimize ediliyor.”

Yüksek Lisans’ların artan karmaşıklığına karşı geleceğe yönelik hazırlıklar

Kondo, LLM’lerin her geçen gün büyüdüğünü ve bu büyümenin yavaşlayacak gibi görünmediğini söylüyor. En büyük sorun sürdürülebilirliktir ve bu sunucuların güç gereksinimleri endişe vericidir.

“HGXH100’e bakarsanız GPU başına 700 watt olduğuna inanıyorum. Bunun sonunda GPU başına 1000 watt’a ulaşmasını bekliyoruz” diyor. “Bunu 10 yıl öncesiyle karşılaştırdığınızda, bu çok çılgınca. Bunu nasıl ele alacağız? Tamamen sıvı soğutmalı entegre çözümümüz üzerinde çalışmamızın nedenlerinden biri de budur. Güç kullanımı açısından, sıvı soğutma altyapısı tek başına size yüzde 40’ın üzerinde güç tasarrufu sağlayacaktır. Yeşil bilişim bizim girişimlerimizden biri ve bunun inovasyonumuzu kolaylaştıracağına gerçekten inanıyoruz.”

Paralel tarafta, ister model eğitimi ister müşterilere çıkarım hizmeti olsun, dağıtımları optimize etmeye yönelik yazılımın geliştirilmesi açısından devam eden verimlilikler de mevcut. Laricani, kuruluşların bu yeteneklerden uygun maliyetli ve sürdürülebilir bir şekilde yararlanmasına yardımcı olmak için yeni tekniklerin ortaya çıktığını söylüyor.

“Elbette, bu tür modelleri eğitmek için daha optimize edilmiş, yüksek kapasiteli sistemlere yönelik artan bir ihtiyaç olduğunu görüyoruz, ancak bunlara erişme ve bunları uygulama konusunda yeni yöntemlerin ortaya çıktığını da görüyoruz” diyor. “Her hafta olduğu gibi sık sık yapay zeka için yeni bir kullanım örneği görüyoruz. Uzayda kesinlikle çok ilginç şeyler oluyor. Yazılım açısından da ileriye dönük olarak bunları optimize etmek ve daha verimli hale getirmek için çalışacağız.”

Supermicro ve Nvidia AI Yapay Zeka çözümleri ile alakalı danışmanlığa ihtiyaç duyarsanız GTM Teknoloji ile irtibat kurabilirsiniz.

Tasarım ve Özellikler

Supermicro X13 SuperBlade kasası, yüksek yoğunluğu ve esnekliğiyle bilinen tanıdık 8U kasa tasarımını koruyor. Her kasa 20’ye kadar blade’i destekler; en yeni teklif, Emerald Rapids CPU’ların ve NVIDIA H100 GPU’ların entegre edilmesiyle önemli ölçüde geliştirilmiştir. Bu güçlü kombinasyon, benzeri görülmemiş hesaplama yetenekleri sunmayı vaat ediyor. Ayrıca kasada 200G InfiniBand ve 25G Ethernet iletişimi bulunuyor ve bu da yüksek hızlı veri aktarımı ve ağ verimliliği sağlıyor.

Popüler Kullanım Durumları:

1. Veri Analizi : Emerald Rapids CPU’ların gelişmiş işlem gücü ve NVIDIA H100 GPU’ların hızlandırılmış bilgi işlem yetenekleri ile X13 SuperBlades, zorlu veri analizi görevleri için son derece uygundur. Bu görevler, günümüzün veri odaklı dünyasında giderek daha kritik hale gelen gerçek zamanlı veri işleme ve kapsamlı veri madenciliği operasyonlarını içerir.
2. Yapay Zeka ve Makine Öğrenimi : X13 SuperBlade’ler, yapay zeka ve makine öğrenimi modelleri, özellikle de önemli hesaplama kaynakları gerektiren derin öğrenme algoritmaları için gerekli gücü sunar.
3. Yüksek Performanslı Bilgi İşlem : Mühendislikteki bilimsel simülasyonlar, tıbbi araştırmalar ve ileri hesaplamalı görevler, X13’ün gelişmiş performansından önemli ölçüde faydalanacak ve bu da onu yüksek performanslı bilgi işlem uygulamaları için birincil seçim haline getirecek.
4. Bulut Bilişim : Blade’lerin artan yoğunluğu ve performansı, onları bulut hizmeti sağlayıcıları için ideal kılmaktadır. Yoğun sanallaştırma ve konteynerleştirme gerektirenler de dahil olmak üzere birçok bulut tabanlı uygulama ve hizmeti yönetebilirler.
5. Ağ İletişimi ve İletişim : 200G InfiniBand ve 25G Ethernet iletişimiyle donatılan X13, yüksek bant genişliği ve düşük gecikmeli uygulamalarda öne çıkıyor ve bu da onu zorlu ağ oluşturma ve iletişim görevleri için uygun hale getiriyor. SuperBlade, harici ağ bağlantısı sayesinde bir merkez görevi görerek aynı raf veya veri merkezindeki geleneksel blade olmayan sunucularla InfiniBand ve Ethernet iletişimleri sağlayabilir.

Supermicro’nun sağladığı test donanımımızda toplam beş kanat vardı. Dördü tek bir işlemci ve PCIe hızlandırıcıyı alabilecek kapasiteyle donatılmıştı; bizim durumumuzda dört NVIDIA H100 ve bir çift işlemci kartı. Hesaplama blade’inin daha sonraki bir incelemesiyle devam edeceğiz; bu incelemenin uzunluğu, eklenmesinin biraz fazla olmasına neden oldu.

Supermicro X13 SuperBlade Veri Sayfası

Supermicro X13 GPU SuperBlade’ler

GPU blade’leri, ön tarafta bir giriş ile ve GPU yerine bazı 2,5 inç NVMe yuvalarına sahip olan çift işlemci blade’imiz ile ilk bakışta güçlerini gizler.

Arka tarafta, bıçağı kasaya bağlayan ve tüm gücü ve verileri taşıyan göz kamaştırıcı sayıda pin bulunur.

İçeriye baktığımızda GPU blade’inde m.2 önyükleme SSD’lerini görebiliyoruz.

Yukarıdan hava yönlendirici kılavuzları görebiliriz. GPU blade’i ile Çift CPU blade’i arasındaki farka dikkat edin. GPU blade anakartı Çift CPU ile aynıdır ancak yalnızca arka G/Ç yarısıdır.

Kasanın arkasından başlayarak PSU’ları ve ağ bağlantısını görebiliriz. En üstteki tam genişlikli anahtar 200 Gbit NVIDIA Quantum InfiniBand içindir. Alttaki iki anahtardan büyüğü 25G ethernet, ortadaki küçük modül ise Şasi Yönetim Modülü içindir.

Supermicro X13 SuperBlade Kasa Yönetimi ve Dağıtımı

Bir Şasi Yönetim Modülünün (CMM) Supermicro’nun SuperBlade X13 kasasına entegre edilmesi, bireysel blade’lerin ötesine geçerek tüm rafı kapsayan bir dizi avantaj sunarak veri merkezi operasyonlarının genel verimliliğini ve yönetilebilirliğini artırır. CMM, SuperBlade X13 sisteminin yönetimini kolaylaştıran merkezi bir kontrol noktası görevi görür.

Tüm kasa işlevleri için tek bir cam panel, blade kasa gibi entegre platformlar için kritik öneme sahiptir. Her ne kadar bireysel blade’leri kapatıp açma yeteneği bazıları için önemli olsa da, diğer birçok işlev günlük yönetim rutinlerinde değerli bir rol oynar.

Supermicro’nun CMM’si kasayı izlemek, takılı blade’leri görüntülemek ve kasanın arkasına takılı entegre anahtarları yönetmek için merkezi bir iniş noktası sunar. Bu bant dışı yönetim aynı zamanda cihazın IP adreslerini de alır, böylece bu merkezi noktadan bağlı her cihaza kolayca geçiş yapabilirsiniz.

CMM, sunucu blade’lerini yönetmenin yanı sıra aynı tek arayüz üzerinden ağ yönetimini de yönetir. Bu, kullanıcıların her iki bağlı anahtarın anahtar yönetimi ekranlarına ilgili IP adresleri görüntülenerek kolayca erişmesine ve görüntülemesine olanak tanır. CMM ayrıca daha büyük dağıtımlar için komşu sistemlerle de iletişim kurarak kapsamlı bir yönetim paketi sağlayabilir.

Supermicro SuperBlade SBI-411E-5G – NVIDIA H100 Performansı

Yüksek performanslı bilgi işlemde, NVIDIA H100’e sahip SuperBlade SBI-411E-5G, dağıtılmış eğitim ve tek bıçaklı çıkarım için çok yönlü ve güçlü bir araçtır. Bu esneklik, özellikle değişen iş yüklerini yöneten veri merkezlerinde olduğu gibi, hesaplama taleplerinin önemli ölçüde dalgalandığı durumlarda belirgindir.

Dağıtılmış Eğitim Senaryoları

SuperBlade H100 düğümleri, karmaşık yapay zeka modelleri için hayati öneme sahip bir süreç olan dağıtılmış eğitimde öne çıkıyor. Büyük ölçekli bir sinir ağı modelinin geniş bir veri kümesi üzerinde eğitildiği bir senaryo hayal edin. Modelin eğitimi, her biri H100’ün gelişmiş GPU’larının gücünden yararlanan birden fazla blade’e dağıtılmıştır. Bu dağıtım, eğitim sürecini hızlandırır ve daha büyük modellerin ve pratik olmayan veri kümelerinin tek makinelerde işlenmesine olanak tanır.

200G InfiniBand burada kritik bir rol oynuyor. Yüksek bant genişliğine sahip, düşük gecikmeli iletişimi, blade’ler arasında hızlı ve verimli veri alışverişinin hayati önem taşıdığı dağıtılmış eğitim için çok önemlidir. Bu bağlantı, veri ve öğrenme parametrelerinin tüm blade’ler arasında tutarlı ve hızlı bir şekilde senkronize edilmesini sağlayarak yüksek hacimli veri işlemede sıklıkla karşılaşılan darboğazları en aza indirir.

Laboratuvarda Dağıtılmış Eğitim

Dağıtılmış eğitim, büyük ölçekli makine öğrenimi ve derin öğrenme görevlerine yaklaşımımızda devrim yarattı. Veri kraldır ve büyük miktardaki eğitim verisini verimli bir şekilde işleme yeteneği bir süredir darboğaz olmuştur. Burası açık kaynaklı kitaplıkların ve dört PCIe GPU’lu Supermicro SuperBlade X13 gibi güçlü donanımların, özellikle yüksek hızlı 200G InfiniBand ağı üzerinden bağlanıldığında oyunun kurallarını değiştirdiği yerdir.

TensorFlow ve PyTorch gibi açık kaynaklı kitaplıklar, her üreticinin desteği ve doğrulamasıyla makine öğrenimi topluluğunun temel öğeleri haline geldi. Makine öğrenimi modellerini geliştirmek ve ölçeklendirmek için sağlam, esnek ve sürekli gelişen çerçeveler sunarlar. Doğal dil işleme veya bilgisayarlı görmede kullanılanlar gibi karmaşık modelleri eğitirken hesaplama gereksinimi şaşırtıcı olabilir. SuperBlade X13’ün devreye girdiği yer burasıdır.

SuperBlade X13 platformu, yüksek yoğunluklu bilgi işlem yetenekleriyle tanınmaktadır ve bu da onu HPC ortamları için mükemmel bir seçim haline getirmektedir. H100 PCIe GPU’larla donatılmış iki kat genişlikte, yarım yükseklikte SBI-411E-5G blade’leri kullanan SuperBlade X13, çok büyük paralel işlem görevlerini gerçekleştirmek için hava soğutmalı 10’a kadar GPU’yu ve kasa başına sıvı soğutmalı 20’ye kadar GPU’yu destekler . Daha da önemlisi, blade’ler gerçekten herhangi bir zamanda yeniden yapılandırılabilir, bu da onları bir işletmenin yapay zeka iş yükleri değiştikçe son derece esnek hale getirir.

InfiniBand’in son derece düşük gecikme süresi ve yüksek verimle kasaya getirilmesi, veri ve model parametrelerinin düğümler arasında sürekli geçiş yapmasına yardımcı olur. Bu yüksek hızlı ağ, özellikle büyük ölçekli veri kümeleri ve karmaşık model mimarileriyle uğraşırken, dağıtılmış sistemlerde genellikle bir darboğaz olan veri aktarım süresini önemli ölçüde azaltır.

Bu kurulumda dağıtılmış eğitim için açık kaynak kitaplıkların entegre edilmesi birkaç önemli adımı içeriyordu. İlk olarak, GPU yeteneklerini tam olarak kullanabilmek için optimize edilmiş kapsayıcıları ve kitaplıkları seçmemiz gerekiyordu. Bu, bu kitaplıkların CUDA özellikli sürümlerini kullanarak GPU’nun işlem gücünden doğrudan yararlanabilmelerini sağlamaktan oluşur. İkincisi, InfiniBand’ın NCCL (NVIDIA Toplu İletişim Kütüphanesi) ile birlikte kullanılması ve toplu çoklu GPU/çok düğümlü iletişim için optimize edilmiş iletişim rutinleri sağlanması gerekir.

Uygulamada, bu platformda dağıtılmış bir eğitim görevi ayarlarken, her düğüm (bu durumda her SuperBlade) modelin bir bölümünü çalıştırır. Model parametreleri, InfiniBand ağının hızı ve düşük gecikme süresi sayesinde düğümler arasında gerçek zamanlı olarak senkronize edilir. Bu senkronizasyon, modelin yakınsaması ve doğruluğu açısından çok önemlidir.

TensorRT ve LLM’ler

NVIDIA’nın TensorRT Büyük Dil Modeli (LLM), yapay zeka ve makine öğreniminde önemli bir ilerlemeyi temsil ediyor. Verimlilik ve hız için tasarlanan TensorRT LLM, karmaşık yapay zeka görevlerini işlemedeki olağanüstü performansıyla bilinen Blade sunucu sistemleri ekosisteminin önemli bir bileşenidir. Tasarımı, teknik profesyonellerin ve BT karar vericilerinin ihtiyaçlarını karşılayarak modern veri merkezlerinin zorlu bilgi işlem gereksinimlerini karşılamak için sağlam bir çözüm sunar.

NVIDIA’nın TensorRT LLM’sinin teknik çerçevesi, yapay zeka ve derin öğrenmenin tüm potansiyelinden yararlanmak üzere tasarlanmıştır. Sinir ağı çıkarımını optimize etmek için tasarlandığı için yüksek performanslı bilgi işlem ortamları için ideal bir seçimdir. TensorRT LLM, eğitimli modelleri optimize edilmiş çalışma süresi motorlarına dönüştürme yeteneği sayesinde kayda değer bir verimlilik elde ederek gecikmeyi önemli ölçüde azaltır ve verimi artırır. Bu özellik esas olarak hızlı veri işlemenin ve minimum yanıt sürelerinin çok önemli olduğu Blade sunucu sistemlerine yarar sağlar. Ek olarak, NVIDIA’nın geniş GPU yelpazesiyle uyumluluğu, çok yönlülüğünü artırarak onu çeşitli BT ayarlarında ölçeklenebilir bir çözüm haline getiriyor.

NVIDIA TensorRT LLM’nin öne çıkan özelliklerinden biri de dağıtılmış eğitim kapasitesidir. Bu husus özellikle büyük ölçekli makine öğrenimi modellerinin norm olduğu ortamlarda çok önemlidir. Dağıtılmış eğitim, TensorRT LLM’nin birden fazla sistemden yararlanmasına olanak tanıyarak hesaplama yükünü verimli bir şekilde dağıtır. Bu, doğruluk veya performanstan ödün vermeden karmaşık modellerin eğitim süresinde önemli bir azalmaya yol açar. Çeşitli düğümler arasında dağıtılmış eğitim gerçekleştirme yeteneği, TensorRT LLM’yi genellikle büyük kuruluşlarda ve araştırma tesislerinde bulunan geniş BT altyapılarına son derece uyarlanabilir hale getirir. Ayrıca bu dağıtılmış yaklaşım, gelişmiş yapay zeka projelerinde ortak bir zorluk olan devasa veri kümelerinin işlenmesini kolaylaştırarak daha sağlam ve karmaşık yapay zeka modeli geliştirilmesine olanak tanıyor.

TensorRT LLM’nin optimizasyonu ve yüksek performanslı çıkarım yetenekleri, Blade sunucularının yoğun, birbirine bağlı doğasına idealdir. Blade sistemleri, TensorRT LLM’den yararlanarak karmaşık yapay zeka modellerini daha verimli bir şekilde yürütebilir, böylece daha hızlı işlem süreleri ve daha az gecikme elde edilebilir. Bu, özellikle finansal modelleme veya sağlık hizmetleri teşhisleri gibi gerçek zamanlı veri analizinin ve karar vermenin gerekli olduğu senaryolarda kritik öneme sahiptir.

Supermicro SuperBlade’i TensotRT LLM’nin dağıtılmış eğitim yetenekleri ve birden fazla sisteme uyarlanabilirliği ile birleştirmek, varlığın teknik profesyoneller ve BT karar vericileri için değerini artırır. Kuruluşlar, bu güçlü kombinasyondan yararlanarak büyük ölçekli yapay zeka projelerini verimli bir şekilde yönetebilir, böylece daha hızlı işlem, daha az gecikme ve ölçeklenebilir yapay zeka dağıtımları elde edebilir. Bunu kolaylaştırmak için kasa içerisinde Quantum InfiniBand ağını kullanıyoruz.

MLPerf ile Tek Blade Çıkarım Performansı Karşılaştırması

GPU blade’lerindeki düğüm başına bir CPU’dan bir GPU’ya mimari, özellikle tek blade çıkarım görevleri için yapay zeka ve veri analitiği iş yükleri için potansiyel faydalar sunar. Bu tasarım, dengeli bir işlem gücü oranı sağlayarak GPU’nun yeteneklerinin en iyi şekilde kullanılmasını sağlar.

Tek Blade Çıkarımı performansını test etmek için MLPerf 3.1 Inference’ı hem çevrimdışı hem de sunucuda çalıştırdık. BERT (Transformatörlerden Çift Yönlü Kodlayıcı Gösterimleri), öncelikle soru yanıtlama, dil anlama ve cümle sınıflandırma gibi doğal dil işleme görevleri için kullanılan transformatör tabanlı bir modeldir. ResNet-50, görüntü sınıflandırma görevleri için yaygın olarak kullanılan bir evrişimli sinir ağı (CNN) modelidir. Derin mimarisi ve verimli performansıyla bilinen ResNet modelinin 50 katmanlı bir çeşididir.

• Çevrimdışı Mod: Bu mod, tüm veriler aynı anda işlenmeye uygun olduğunda sistemin performansını ölçer. Sistemin büyük bir veri kümesini tek bir toplu iş halinde işlediği toplu işleme benzer. Bu mod, gecikmenin birincil sorun olmadığı, ancak aktarım hızı ve verimliliğin önemli olduğu senaryolar için çok önemlidir.
• Sunucu Modu: Buna karşılık, sunucu modu, isteklerin teker teker geldiği gerçek dünya sunucu ortamını taklit eden bir senaryoda sistemin performansını değerlendirir. Bu mod gecikmeye duyarlıdır ve sistemin her isteğe ne kadar hızlı yanıt verebileceğini ölçer. Web sunucuları veya etkileşimli uygulamalar gibi anında müdahalenin gerekli olduğu gerçek zamanlı uygulamalar için çok önemlidir.

Çıkarım görevlerinde GPU, hesaplamanın ağır yükünden öncelikli olarak sorumludur. Sistem, onu özel bir CPU ile eşleştirerek, GPU’nun, paylaşılan CPU veya platform kaynakları tarafından tıkanmadan verimli bir şekilde çalışabilmesini sağlar. Bu, canlı video analizi veya anında dil çevirisi gibi gerçek zamanlı veri işleme senaryolarında çok önemlidir.

İlginç bir şekilde, bu 1:1 CPU-GPU oranının performansta daha fazla öngörülebilirlik sağladığını gözlemledik. Her düğüm bağımsız olarak çalışarak tutarlı işlem süreleri sağlar ve çıkarım görevlerindeki değişkenliği azaltır. Bu öngörülebilirlik, yanıt süresinin kritik olduğu ortamlarda hayati öneme sahiptir.

Genel olarak SuperBlade H100’deki bir CPU’dan bir GPU’ya yapılandırması her iki bileşenin etkinliğini en üst düzeye çıkarır. Bu, her düğümün bağımsız modelleri ve süreçleri çalıştırmasıyla, her düğümün çıkarım görevleri için en iyi performansı sunmasını sağlar. Bu mimari, sistemin gerçek zamanlı veri işleme taleplerini verimli ve güvenilir bir şekilde karşılama yeteneğini geliştirir.

Uyarlanabilir İş Yükü Yönetimi

Tüm bilgiler dikkate alındığında SuperBlade sisteminin son derece uyarlanabilir olduğu açıktır. Çıkarım talebinin yüksek olduğu yoğun saatlerde, bu görevleri yerine getirmek için daha fazla GPU özellikli blade dinamik olarak tahsis edilebilir ve böylece gerçek zamanlı isteklerin verimli bir şekilde ele alınması sağlanır. Bunun tersine, yoğun olmayan saatlerde bu kaynaklar, yapay zeka modellerinin ince ayarının yapılmasına veya zamana daha az duyarlı görevlerin işlenmesine odaklanacak şekilde kaydırılabilir. Bu esneklik, kaynakların optimum şekilde kullanılmasına olanak tanıyarak SuperBlade sisteminin değişen hesaplama yüklerini yönetmede sağlam ve verimli olmasını sağlar.

Bu Senaryolarda 200G NVIDIA Quantum InfiniBand’ın Avantajları

SuperBlade H100 sistemine 200G InfiniBand’ın dahil edilmesi, yüksek hızlı veri aktarımının omurgasını sağlayarak bu senaryoları geliştirir. Dağıtılmış eğitim, blade’ler arasında verilerin daha hızlı senkronize edilmesini sağlar; bu, eğitim sürecinin tutarlılığını ve hızını korumak için gereklidir. Tek kanatlı çıkarım, büyük veri kümelerinin işlenmek üzere blade’e hızlı bir şekilde taşınabilmesini sağlar, gecikmeyi azaltır ve verimi artırır.

Quantum InfiniBand’da Neler Var?

Yüksek performanslı bilgi işlemin temel taşı olan InfiniBand, başlangıçta süper bilgi işlem kümeleri içinde giderek artan veri aktarımı ve iletişim taleplerini karşılamak için geliştirilen yüksek hızlı bir ara bağlantı teknolojisidir. Bu son derece uzmanlaşmış ağ çözümü yıllar içinde gelişerek son derece düşük gecikme süresi ve yüksek bant genişliği sunarak HPC ortamlarındaki sunucuları, depolama sistemlerini ve diğer bileşenleri bağlamak için ideal hale getirdi.

Gönderdiğimiz Supermicro X13 blade’ler 200G InfiniBand ağı ve 25G ethernet ile donatılmış olarak geldi. Bu, özellikle dağıtılmış eğitim ve diğer gecikmeli ve veri yoğunluklu görevler üzerinde çalışırken yararlı oldu. Yukarıda bahsedilen oldukça değişken (ve zaman alıcı) birkaç eğitim döneminden sonra, InfiniBand ağının blade kasasının sayısız pininde gizli olan gerçek dünya test ölçümlerini sağlamak için farklı bir ölçüme ihtiyacımız olduğunu belirledik. Çalıştırmadan çalıştırmaya ince ayarın aşırı değişkenliği göz önüne alındığında, bu görevler için bunun gibi çok düğümlü bir sistem kullanmanın etkisini veya etki eksikliğini ölçmeye çalışmak sorumsuzluk olacaktır. Sonuçlar şaşırtıcının da ötesindeydi.

 NVIDIA ClusterKit’e girin . NVIDIA ClusterKit, çok düğümlü GPU kümelerinin tüm potansiyelini test etmek için tasarlanmış bir araç seti olup, yapay zeka ve HPC uygulayıcılarına iş yüklerinin performansını, verimliliğini ve ölçeklenebilirliğini ölçmek için ilginç bir araç paketi sunar.

ClusterKit’te iki temel araca odaklandık:

• Bant Genişliği Testi: Bant genişliği, HPC’de belirli bir zamanda ağ üzerinden iletilebilecek veri miktarını yansıtan kritik bir ölçümdür. Supermicro SuperBlade kurulumunda düğümler arasındaki çift yönlü (duplex) bant genişliğini ölçmek için NVIDIA ClusterKit’i kullandık. Çift yönlü ölçümler, verilerin her iki yönde aynı anda aktığı gerçek dünya senaryosunu yansıttıkları için önemlidir.
• Gecikme Testi: Gecikme veya bir mesajın ağdaki bir noktadan diğerine gitmesi için geçen süre, bir diğer önemli performans ölçütüdür. Düşük gecikme, sıkı bir şekilde bağlı HPC uygulamalarında önemlidir. NVIDIA ClusterKit’in çift yönlü gecikme sürelerini doğru bir şekilde ölçme yeteneği, SuperBlade’lerdeki InfiniBand ağının yanıt verme hızına ilişkin değerli bilgiler sağladı.

ClusterKit ile SuperBlade InfiniBand ve H100 GPU Karşılaştırma Sonuçları

Bu bölüme girerken, her düğümün benzersiz bir etiketle (örneğin, smci-a7, smci-a1, vb.) tanımlandığını anlamak önemlidir. -1, -3, -5 ve -7’nin gösterimi, blade’in kasadaki fiziksel konumunu yansıtan ana bilgisayar adıdır.

İlk test, kümedeki çeşitli düğümler arasındaki çift yönlü bant genişliğini ölçmeye odaklandı. Test, 16 kez yinelenen 8.388.608 baytlık bir mesaj boyutunu içeriyordu.

GPU Doğrudan Testleri

İlk önce GPU Direct testlerine bir göz atıyoruz. Bu, bu yazının yazıldığı sırada mevcut olan en yeni ve en iyi SDK’ların ve araç takımlarının tümünü kullanarak blade platformunun mutlak maksimum verimini bildirir. Testin bant genişliğini çift yönlü olarak rapor ettiğini, yani bant genişliğinin her iki yönde de toplam olduğunu belirtmek önemlidir. Tek yön yaklaşık yarım olacaktır. Temel çıkarım, bant genişliğini sınırlayan faktörün 200G InfiniBand olduğudur, ancak daha sonra göreceğimiz gibi bu çok fazla endişe kaynağı değildir.

Aşağıdaki matris GPUDirect kullanılarak çift yönlü bant genişliğini göstermektedir.

Bant Genişliği Matrisi MB/sn

Gecikme kullanım süresi

Sırada mikrosaniyelerle ölçülen dikkat çekici gecikme testi sonuçları vardı. GPU Direct testleri, birden fazla GPU’nun yerel olarak bir ana bilgisayara sahip olması kadar iyiydi.

GPU Komşu Testleri

GPU komşu testlerine geçersek, bant genişliği yine çift yönlü olarak raporlanır, yani bant genişliği her iki yönde de toplamdır. Tek yön yaklaşık yarım olacaktır. Aşağıdaki matris, dört düğümün her birindeki H100 kartları arasındaki çift yönlü bant genişliğini gösterir. Bu, GPUDirect kitaplıklarının hızlandırılmasını kullanmaz. 1, 3, 5 ve 7’nin gösterimi, blade’in kasadaki fiziksel konumunu yansıtan ana bilgisayar adıdır.

GPU Komşu Bant Genişliği (MB/s)

“GPU Komşu Bant Genişliği” testi, aynı sistem veya düğüm içindeki komşu GPU’lar arasındaki veri aktarım hızını ölçer. Bu ölçüm, çoklu GPU paralel işleme görevleri gibi birbirine yakın GPU’lar arasında sık veri alışverişi gerektiren uygulamalar için çok önemlidir. Bant genişliği ne kadar yüksek olursa veri aktarımı da o kadar hızlı olur ve bu da GPU’nun yoğun kullanıldığı uygulamalarda potansiyel olarak iyileştirilmiş performansa yol açar.

GPU Bellek Bant Genişliği (MB/s)

“GPU Bellek Bant Genişliği” testi, verilerin GPU’nun kendisi tarafından GPU belleğinden okunma veya burada saklanma hızını değerlendirir. Bu bant genişliği, özellikle büyük veri kümeleri içeren veya görüntü işleme, simülasyonlar veya derin öğrenme gibi görevler için yüksek verim gerektiren uygulamalar için kritik bir performans unsurudur. Daha yüksek bellek bant genişliği, GPU’nun büyük hacimli verileri verimli bir şekilde işleme yeteneğinin daha iyi olduğunu gösterir. Bu test bize X13 Blade’lerin H100 GPU’ları sürdürmede sorun yaşamadığını gösteriyor.

GPU’dan GPU’ya Bant Genişliği (MB/s)

Bu test, farklı GPU’lar arasındaki çift yönlü bant genişliğini ölçer. Birden fazla GPU’ya dağıtılmış karmaşık hesaplamalar içeren ve GPU’lar arasındaki veri aktarım hızının genel işlem süresini önemli ölçüde etkileyebildiği görevler için bu gereklidir. GPU’dan GPU’ya yüksek bant genişliği, çoklu GPU iş akışlarını ve paralel bilgi işlem görevlerini hızlandırmak için faydalıdır.

GPU0 – Uzak Ana Bilgisayar Bant Genişliği (MB/s)

“GPU0’dan Uzak Ana Bilgisayar Bant Genişliğine” testi, birincil GPU (GPU0) ile uzak ana bilgisayar sistemi arasındaki veri aktarım hızını ölçer. Bu, verilerin ana GPU ile ağ bağlantılı bir sistemin diğer bölümleri arasında sık sık taşınması gereken, dağıtılmış derin öğrenme eğitimi veya uzak sunuculardaki veri analizi gibi görevleri etkileyen dağıtılmış bilgi işlem ortamlarında hayati öneme sahiptir.

GPU Komşu Gecikmesi (μsaniye)

“GPU Komşu Gecikmesi” testi, küçük miktarda verinin bir GPU’dan komşu GPU’ya gitmesi için geçen süreyi ölçer. Özellikle gerçek zamanlı veri işleme veya GPU’lar arasında yüksek hızlı iletişim gerektiren, gerçek zamanlı işleme veya karmaşık bilimsel simülasyonlar gibi uygulamalarda gecikmenin daha düşük olması arzu edilir.

GPU’dan Uzak Ana Bilgisayara Gecikme (μsaniye)

“GPU0’dan Uzak Ana Bilgisayara Gecikme” testi, birincil GPU (GPU0) ile uzak ana bilgisayar sistemi arasındaki veri iletişimindeki gecikmeyi ölçer. Bu gecikme, dağıtılmış bilgi işlem ortamlarında kritik bir faktördür ve bulut tabanlı oyun veya uzaktan veri işleme gibi GPU ile uzak sistemler arasındaki etkileşime dayanan uygulamaların yanıt verme hızını ve verimliliğini etkiler.

NVIDIA ClusterKit testleri, Supermicro SuperBlades’teki InfiniBand ağı için etkileyici performans ölçümlerini ortaya çıkardı. Çift yönlü bant genişliği testleri, InfiniBand’ın yeteneklerinin verimli şekilde kullanıldığını gösteren yüksek veri aktarım hızlarını ortaya çıkardı. Benzer şekilde, gecikme testleri minimum gecikmeler göstererek ağın zorlu HPC görevleri için uygunluğunu ortaya koydu. Bu, bu platformun bağımsız sistemlerle aynı performansı gösterdiği ve çok daha yüksek yoğunlukta bilgi işlem ve ağ iletişimi sunduğu anlamına geliyor; hepsi birleştirilmiş bir çözümde.

Bağımsız GPU Sunucu Testi

Daha sonra, 4x NVIDIA H100’leri aynı anda 4’ünü de destekleyebilen bir Supermicro 4U AMD EPYC GPU Sunucusuna taşıdık , GPU’yu GPU’ya ve gecikmeye kadar test etmeye baktık. Çapraz bıçak iletişimi olmadan, yalnızca bu sunucudaki kartların performans profilini anlamaya çalıştığımızı anlamak çok önemlidir. Bu 4U sunucu, destekleyebileceği kartlar açısından esnek olsa da, Supermicro X13 SuperBlade Kasasının sunduğu olağanüstü şekillendirilebilirliğe sahip değil. Elbette Supermicro her zamanki gibi sıvı soğutmalı soketli GPU’lar da dahil olmak üzere her uygulama için bir çözüm sunuyor.

Öncelikle tek platformdaki 4 GPU’nun eşler arası Bant Genişliğine bakalım.

 Yazma Bant Genişliği (GB/s) – Tek Yönlü

Okuma Bant Genişliği (GB/s) – Tek Yönlü

Burada GPU0 ve GPU1 GPU’larının bir NUMA düğümünde, GPU2 ve GPU3’ün ise başka bir NUMA Düğümünde olduğunu unutmamak önemlidir. NUMA düğümünü geçmenin performans üzerindeki etkisini burada açıkça görebilirsiniz.

Kopyalama Motoru (CE) – Yazma Gecikmesi (bize)

Son olarak, GPU’dan GPU’ya olan gecikmeyi ölçüyoruz.

Beklendiği gibi, tüm GPU’ları tek bir platforma taşımak, Blade’in 200G IB bağlantılarına kıyasla bize 2 kat bant genişliği sağlıyor. Buradaki bant genişliği uygulama için dikkate alınması gereken bir husus olabilir, ancak mikrosaniye mertebesinde çalışan gecikme sayılarından bahsederken, hepsi tek bir kasadayken ortalama 1,6 us GPU’dan GPU’ya geçişin rapor edilmesinde büyük bir değişiklik yoktur. PCIe Veriyolunu geçmek zorunda kaldığınızda bıçaklarda 1,5us, IB anahtarı ve GPU’ya geri dönüş dikkat çekicidir. Ancak hikayenin tamamı bu değil  .

Çözüm

Supermicro X13 SuperBlade, Emerald Rapids CPU’ları ve NVIDIA H100 GPU’ları ile blade’in hizmet edebileceğinin memnuniyetle karşılanan bir evrimidir. Yetenekleri çeşitli yoğun hesaplamalı görevlere uzanır ve bu da onu veri analitiğinden yapay zeka ve bulut bilişime kadar çeşitli endüstriler için çok yönlü ve sağlam bir çözüm haline getirir. Yüksek performanslı bilgi işlem talebi artmaya devam ederken X13, Supermicro’nun sunucu teknolojisinde yenilikçiliğe ve mükemmelliğe olan bağlılığını göstererek bu zorlukların üstesinden gelmeye hazırdır.

Testlerden elde edilen her şey dikkate alındığında, bütünsel bir bakış açısıyla benzersiz ve son derece uyarlanabilir doğası sayesinde bu platformla özellikle ilgileniyoruz. Platformun uygulamasını bağlamsallaştırmak önemlidir.

Tüm yüksek işlem gücünüz için rafınızda Supermicro X13 Blade sisteminin bulunduğu bir araştırma departmanındaki bir senaryoyu hayal edin. Platformda yerleşik olarak bulunan merkezi yönetim altyapısını yalnızca blade’leri ve platformu kontrol etmek için değil, aynı zamanda diğer ekipman parçalarının kontrolü, ağ iletişimi ve yönetimi için bir merkez olarak da kullanabilirsiniz. Veriye aç GPU’ları beslemek için SuperBlade’lere yeterince güçlü bir depolama sunucusu yuvası bağladığınızda, tüm bitleri hat hızında modellerinize alabilirsiniz. Bu hayali senaryoda, tüm GPU’larımızın gün içinde farklı araştırmacılar tarafından kullanılmasını sağlayabiliriz ve ardından zamanı geldiğinde tüm blade’leri InfiniBand üzerinden bağlayıp birlikte çalışmasını sağlayabiliriz.

CPU ile GPU arasındaki bire bir ilişkinin bant genişliği testi, tam yüklü bir blade kasası göz önüne alındığında, blade sistemiyle ek kart GPU’larına sahip tek bir sunucudan daha iyi performans gösterebileceğinizi de gösterdi. Düzgün tasarlanmış dağıtılmış bir eğitim iş akışıyla, aslında tüm GPU’ların tek bir düğümde olması kadar iyi veya bundan daha iyi bir performans görebilirsiniz, ancak artık çift görevi kolayca üstlenerek ön GPU maliyetini yarıya indiren bir platforma sahip oluyorsunuz . En yeni CPU’ların desteği sayesinde, uygulamaya konulduktan sonra HDR InfiniBand’dan NDR’ye geçmeyi sabırsızlıkla bekliyoruz; çünkü bu, SuperBlade’leri tek bir GPU sunucu platformunda alabileceğiniz performansın çok üstüne ve ötesine taşıyacaktır.

Supermicro X13 SuperBlade kasası ve GPU blade’leri, gelişen veya düzenli olarak değişen yapay zeka ihtiyaçları için son derece uyarlanabilir, sağlam bir seçimdir. Platformda geçirdiğimiz uzun süre boyunca, DRAM, CPU ve GPU değişiklikleri veya yapay zeka dünyasında bilindiği şekliyle “başka bir gün” ihtiyacıyla karşılaştık ve bunların tümü platform tarafından kolaylıkla karşılandı. Genel olarak, platform sağlamdır ve kendisinden istenecek çok fazla şey bırakmadan yapay zeka alanı için ilgi çekici ve güçlü bir cihaz olarak karşımıza çıkar. Rakip sistemlerin fiyat noktaları göz önüne alındığında, bir bıçağın esnekliğinden yararlanabiliyorsanız, bu neredeyse rakipsizdir.

Kaynak : StorageReview.com

Supermicro Super Blade Çözümleriyle ilgili olarak Supermicro Türkiye Katma Değerli Resmi Distribütörü GTM Teknoloji ile irtibat kurabilirsiniz.

Supermicro 4U AMD EPYC GPU Sunucuları Yapay Zeka Esnekliği Sunuyor (AS-4125GS-TNRT)