Supermicro  AMD EPYC GPU Sunucuları yapay zeka esnekliği sunuyor. Bugün, iki AMD EPYC 9004 Serisi CPU’yu, PCIe Gen5’i ve sekiz adet çift genişlikli veya 12 adet tek genişlikli ek GPU kartı seçeneğini destekleyen nispeten yeni 4U hava soğutmalı GPU sunucusuna bakıyoruz. Supermicro, bu sunucuların Intel tabanlı çeşitlerini de sunarken, AMD tabanlı AS-4125GS-TNRT ailesi, bu sınıftaki NVIDIA H100 ve AMD Instinct Mi210 GPU’ları destekleyen tek sunuculardır.

Supermicro AS-4125GS-TNRT GPU sunucusu, yerleşik 10GbE ağ bağlantısı, bant dışı yönetim, 9 FHFL PCIe Gen5 yuvası, dördü NVMe ve geri kalanı SATA/SAS olmak üzere 24 2,5″ yuva gibi birkaç donanım özelliğine daha sahiptir. Ayrıca 4x yedekli titanyum düzeyinde 2000W güç kaynakları da bulunmaktadır. Anakartta önyükleme için tek bir M.2 NVMe yuvası bulunur.

Bu yolda çok ileri gitmeden önce, Supermicro’nun AS-4125GS-TNRT sunucu yapılandırmasının iki çeşidini daha sunduğunu belirtmekte fayda var. Aynı anakartı kullanmalarına rağmen AS-4125GS-TNRT1, 10 adede kadar çift genişlikli GPU’yu ve 8 NVMe SSD yuvasını destekleyen PCIe anahtarına sahip tek soketli bir yapılandırmadır. AS -4125GS-TNRT2, yine PCIe anahtarıyla aşağı yukarı aynı olan çift işlemcili bir konfigürasyondur.

Yapılandırma ne olursa olsun, Supermicro AS-4125GS-TNRT, tasarımı ve PCIe anahtarıyla model seçebilme yeteneği sayesinde inanılmaz derecede esnektir. Bu tarz GPU sunucusu popülerdir çünkü kuruluşların küçükten başlayıp genişletmelerine, farklı ihtiyaçlar için GPU’ları karıştırıp eşleştirmelerine veya istedikleri herhangi bir şeyi yapmalarına olanak tanır. Soketli GPU sistemleri, büyük yapay zeka iş yükleri için GPU’ları daha iyi bir araya getirme olanağı sağlar, ancak iş yükü esnekliği açısından eklenti kart sistemlerine rakip olamaz.

SC23’ten AMD ve NVIDIA GPU’lara sahip Supermicro AS-4125GS-TNRT

Dahası, bu bazılarına küfür gibi gelse de, Supermicro eklenti kartı GPU sunucuları, aynı kutuda AMD ve NVIDIA kartlarıyla bile kullanılabilir! Diyeceksiniz ama pek çok müşteri bazı iş yüklerinin Instinct’i, diğer iş yüklerinin ise NVIDIA GPU’yu tercih ettiğini fark etti. Son olarak, her ne kadar tıka basa doldurulmuş GPU sunucularına göre daha az popüler olsa da, bu yuvaların yalnızca PCIe yuvaları olduğunu belirtmekte fayda var; Müşterilerin bu donanımda FPGA’leri, DPU’ları veya başka bir tür hızlandırıcıyı tercih edebileceği senaryoları hayal etmek mantıksız değil. Yine esneklik bu tasarımın en önemli faydasıdır.

İnceleme amaçlarımız doğrultusunda, Supermicro AS-4125GS-TNRT, CPU, DRAM, depolama ve tabii ki GPU’ları eklememize hazır, barebone olarak geldi. Bu inceleme için 4x NVIDIA H100 GPU ödünç almak üzere Supermicro ile çalıştık.

Supermicro AS-4125GS-TNRT Özellikleri

Supermicro AS-4125GS-TNRT Yapılandırmayı İnceleme

Sistemimizi Supermicro’dan barebone olarak yapılandırdık, ancak onlar bunu büyük ölçüde yapılandırılmış bir sistem olarak satıyorlar. Laboratuvara vardığımızda yaptığımız ilk şey onu bir çift AMD EPYC 9374F 32c 64t CPU ile doldurmak oldu. Bunlar, yüksek saat hızları ve saygın çok çekirdekli performansları nedeniyle seçildi.

Hızlandırıcılar için, eski Intel Phi Yardımcı İşlemcilerinden en yeni H100 PCIe kartlarına ve üst seviye RTX 6000 iş istasyonu GPU’larına kadar geniş bir yelpazede seçim yapabileceğimiz oldukça fazla ürünümüz vardı. Ham hesaplama gücünü verimlilik ve çok yönlülükle dengelemeyi amaçladık. Sonuçta dört adet NVIDIA RTX A6000 GPU ile başlamaya ve ardından ilk testlerimiz için dört adet NVIDIA H100 PCIe kartına geçmeye karar verdik. Bu kombinasyon Supermicro platformunun esnekliğini ve NVIDIA hızlandırıcı kartlarını gösterir.

Öncelikle grafik ağırlıklı iş yüklerinde performans için tasarlanan RTX A6000, Ampere mimarisiyle yapay zeka ve HPC uygulamalarında da öne çıkıyor. 48 GB GDDR6 bellek sunarak büyük veri kümelerinin ve karmaşık simülasyonların işlenmesi için idealdir. 10.752 CUDA ve 336 Tensor çekirdeği, yapay zeka ve derin öğrenme testlerimiz için çok önemli olan hızlandırılmış hesaplamayı mümkün kılıyor.

Öte yandan NVIDIA H100 PCIe kartları, öncelikle yapay zeka iş yükleri için tasarlanan Hopper mimarisi serisinin en yeni nakliye kartlarıdır. Her kartta etkileyici 80 milyar transistör, 80 GB HBM3 bellek ve GPT-4 gibi yapay zeka modelleri için özel olarak tasarlanmış çığır açan Transformer Engine bulunuyor. H100’ün 4. nesil Tensör Çekirdekleri ve DPX talimatları, yapay zeka çıkarımını ve eğitim görevlerini önemli ölçüde artırır.

Bu GPU’ları Supermicro barebone sistemimize entegre ederek, bu üst düzey bileşenlerden önemli miktarda güç çekimi ve ısı üretimi göz önüne alındığında, optimum termal yönetim ve güç dağıtımını sağlamaya odaklandık. Supermicro şasisi, resmi olarak böyle bir konfigürasyonu desteklemese de kurulumumuza uyum sağlayacak kadar çok yönlü olduğunu kanıtladı. A6000’lerin termallerini kontrol altında tutmak için, sincap kafesli fan tasarımından dolayı onları bir kart genişliğinde aralık bırakmak zorunda kaldık, ancak H100’ler geçişli, pasif soğutma kanatlarıyla paketlenebilir.

Karşılaştırma paketimiz, HPC ve yapay zekaya özgü kullanım senaryolarının bir karışımını içeriyordu. Bunlar, geleneksel kıyaslama iş yüklerinden yapay zeka eğitimine ve evrişimsel sinir ağı modellerini kullanan çıkarım görevlerine kadar uzanıyordu. Ham performanslarını ve verimliliklerini, ölçeklenebilirliklerini ve Supermicro A+ sunucumuzla entegrasyon kolaylığını değerlendirerek bu hızlandırıcıların sınırlarını zorlamayı hedefledik.

Supermicro AS-4125GS-TNRT GPU Testi

Laboratuvarda bir CNN temel modeli üzerinde çalışırken NVIDIA’nın amiral gemisi GPU’larını incelerken, bir çift daha eski ama son derece yetenekli RTX8000 GPU üzerinde iş istasyonu düzeyinde bazı eğitimlerle başladık.

Yapay zeka performans analizimiz sırasında, NVIDIA RTX 8000’den dört RTX A6000 GPU’ya ve son olarak dört NVIDIA H100 PCIe kartına geçerek yeteneklerde dikkat çekici ancak beklenen bir ilerleme gözlemledik. Bu ilerleme, yapay zeka iş yüklerine giderek daha fazla odaklanıldıkça, bu hızlandırıcıların saf gücünü ve NVIDIA hızlandırıcılarının son birkaç yıldaki evrimini gözler önüne serdi.

RTX 8000’den başlayarak iyi performans seviyelerine dikkat çektik. Bu kurulumla, 6,36 GB’lık bir görüntü veri kümesi üzerinde yapay zeka modeli eğitimimiz dönem başına yaklaşık 45 dakika sürdü. Ancak parti boyutu ve üstesinden gelebileceği görevlerin karmaşıklığı açısından RTX 8000’in sınırlamaları açıkça görülüyordu. Daha küçük parti boyutlarıyla sınırlıydık ve etkili bir şekilde eğitebileceğimiz sinir ağı modellerinin karmaşıklığı sınırlıydı.

Dört RTX A6000 GPU’ya geçiş, performansta önemli bir sıçramaya işaret etti. A6000’in üstün bellek bant genişliği ve daha büyük GDDR6 belleği, aynı dönem süresini ve model karmaşıklığını korurken toplu iş boyutunu dört katına çıkarmamıza olanak sağladı. Bu iyileştirme, eğitim sürecini iyileştirdi ve eğitim süresini uzatmadan daha karmaşık modelleri denememize olanak sağladı.

Ancak en çarpıcı gelişme dört adet NVIDIA H100 PCIe kartının piyasaya sürülmesiyle geldi. Hopper mimarisinin gelişmiş yapay zeka özelliklerinden yararlanan bu kartlar, parti boyutunu yeniden ikiye katlamamıza olanak sağladı. Daha etkileyici bir şekilde, çağ süresinde kayda değer bir değişiklik olmadan yapay zeka modellerimizin karmaşıklığını önemli ölçüde artırabildik. Bu yetenek, H100’ün, karmaşık yapay zeka operasyonlarını verimli bir şekilde yönetmek için optimize edilmiş Transformer Engine ve 4. nesil Tensör Çekirdekleri gibi gelişmiş yapay zekaya özgü özelliklerinin bir kanıtıdır.

Bu testler boyunca, 6,36 GB görüntü veri kümesi ve model parametreleri tutarlı bir kıyaslama görevi görerek farklı GPU yapılandırmalarındaki performansı doğrudan karşılaştırmamıza olanak sağladı. RTX 8000’den A6000’lere ve ardından H100’lere geçiş, ham işlem gücündeki gelişmelerin ve GPU’ların hız veya verimlilikten ödün vermeden daha büyük, daha karmaşık yapay zeka iş yüklerini yönetebilme becerisinin altını çizdi. Bu, bu GPU’ları özellikle son teknoloji yapay zeka araştırmaları ve büyük ölçekli derin öğrenme uygulamaları için uygun hale getiriyor.

Testlerimizde kullanılan Supermicro sunucu, PCIe anahtarı ihtiyacını ortadan kaldırarak CPU’lara doğrudan PCIe bağlantısı sunuyor. Bu doğrudan bağlantı, her GPU’nun CPU’ya özel bir yola sahip olmasını sağlayarak hızlı ve verimli veri aktarımını kolaylaştırır. Bu mimari, yapay zeka ve HPC’deki bazı iş yüklerinde gecikmeyi en aza indirmek ve bant genişliği kullanımını en üst düzeye çıkarmak açısından çok önemlidir; özellikle tüm işlerin sunucuda yerel olduğu yapay zeka modeli eğitimi veya karmaşık VDI ortamları gibi yüksek verimli görevlerle uğraşırken faydalıdır.

Çözüm

Supermicro AMD EPYC GPU Sunucuları Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun ölçeklenebilirliği ve esnekliği buradaki en önemli özelliklerdir. Yapay zeka, VDI veya diğer yüksek performanslı görevlerde gelişen iş yükü taleplerine uyum sağlama ihtiyacı duyan müşteriler için özellikle faydalıdır. Mütevazı bir yapılandırmayla başlayan kullanıcılar, giriş seviyesi yapay zeka veya VDI görevlerini etkili bir şekilde gerçekleştirebilir, böylece daha küçük iş yükleri veya yapay zeka ve sanal masaüstü altyapısına yeni girmeye başlayanlar için uygun maliyetli bir çözüm sunulur. Bu ilk kurulum, sağlam ve ölçeklenebilir bir temel sağlayarak kullanıcıların temel ancak gerekli yapay zeka ve VDI uygulamalarıyla etkileşime geçmesine olanak tanır.

Ayrıca pek çok işletmenin soketli H100 GPU’lardan yararlanmak istediğini bilsek de bu platformlar için bekleme süreleri çok uzun, birçok kaynak bize bu bekleme süresinin neredeyse bir yıl olduğunu söyledi. Tedarik zinciri lojistiği bu sunucunun harika yanının altını çiziyor: Her şeyin üstesinden gelebilir. L40S GPU’lar “şimdi” kullanıma sunuldu, böylece müşteriler bu kombinasyonla birlikte en azından yapay zeka iş yüklerini daha geç değil, daha erken harekete geçirebilirler. İhtiyaçlar değiştikçe müşteriler kartları kolayca değiştirebilir. Bu, Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun yalnızca acil ihtiyaçlara yönelik olmasını değil, aynı zamanda gelişen teknolojik ortama uyum sağlayarak geleceğe hazır olmasını sağlar.