Supermicro  AMD EPYC GPU Sunucuları yapay zeka esnekliği sunuyor. Bugün, iki AMD EPYC 9004 Serisi CPU’yu, PCIe Gen5’i ve sekiz adet çift genişlikli veya 12 adet tek genişlikli ek GPU kartı seçeneğini destekleyen nispeten yeni 4U hava soğutmalı GPU sunucusuna bakıyoruz. Supermicro, bu sunucuların Intel tabanlı çeşitlerini de sunarken, AMD tabanlı AS-4125GS-TNRT ailesi, bu sınıftaki NVIDIA H100 ve AMD Instinct Mi210 GPU’ları destekleyen tek sunuculardır.

Supermicro AS-4125GS-TNRT GPU sunucusu, yerleşik 10GbE ağ bağlantısı, bant dışı yönetim, 9 FHFL PCIe Gen5 yuvası, dördü NVMe ve geri kalanı SATA/SAS olmak üzere 24 2,5″ yuva gibi birkaç donanım özelliğine daha sahiptir. Ayrıca 4x yedekli titanyum düzeyinde 2000W güç kaynakları da bulunmaktadır. Anakartta önyükleme için tek bir M.2 NVMe yuvası bulunur.

Bu yolda çok ileri gitmeden önce, Supermicro’nun AS-4125GS-TNRT sunucu yapılandırmasının iki çeşidini daha sunduğunu belirtmekte fayda var. Aynı anakartı kullanmalarına rağmen AS-4125GS-TNRT1, 10 adede kadar çift genişlikli GPU’yu ve 8 NVMe SSD yuvasını destekleyen PCIe anahtarına sahip tek soketli bir yapılandırmadır. AS -4125GS-TNRT2, yine PCIe anahtarıyla aşağı yukarı aynı olan çift işlemcili bir konfigürasyondur.

Yapılandırma ne olursa olsun, Supermicro AS-4125GS-TNRT, tasarımı ve PCIe anahtarıyla model seçebilme yeteneği sayesinde inanılmaz derecede esnektir. Bu tarz GPU sunucusu popülerdir çünkü kuruluşların küçükten başlayıp genişletmelerine, farklı ihtiyaçlar için GPU’ları karıştırıp eşleştirmelerine veya istedikleri herhangi bir şeyi yapmalarına olanak tanır. Soketli GPU sistemleri, büyük yapay zeka iş yükleri için GPU’ları daha iyi bir araya getirme olanağı sağlar, ancak iş yükü esnekliği açısından eklenti kart sistemlerine rakip olamaz.

SC23’ten AMD ve NVIDIA GPU’lara sahip Supermicro AS-4125GS-TNRT

Dahası, bu bazılarına küfür gibi gelse de, Supermicro eklenti kartı GPU sunucuları, aynı kutuda AMD ve NVIDIA kartlarıyla bile kullanılabilir! Diyeceksiniz ama pek çok müşteri bazı iş yüklerinin Instinct’i, diğer iş yüklerinin ise NVIDIA GPU’yu tercih ettiğini fark etti. Son olarak, her ne kadar tıka basa doldurulmuş GPU sunucularına göre daha az popüler olsa da, bu yuvaların yalnızca PCIe yuvaları olduğunu belirtmekte fayda var; Müşterilerin bu donanımda FPGA’leri, DPU’ları veya başka bir tür hızlandırıcıyı tercih edebileceği senaryoları hayal etmek mantıksız değil. Yine esneklik bu tasarımın en önemli faydasıdır.

İnceleme amaçlarımız doğrultusunda, Supermicro AS-4125GS-TNRT, CPU, DRAM, depolama ve tabii ki GPU’ları eklememize hazır, barebone olarak geldi. Bu inceleme için 4x NVIDIA H100 GPU ödünç almak üzere Supermicro ile çalıştık.

Supermicro AS-4125GS-TNRT Özellikleri

Supermicro AS-4125GS-TNRT Yapılandırmayı İnceleme

Sistemimizi Supermicro’dan barebone olarak yapılandırdık, ancak onlar bunu büyük ölçüde yapılandırılmış bir sistem olarak satıyorlar. Laboratuvara vardığımızda yaptığımız ilk şey onu bir çift AMD EPYC 9374F 32c 64t CPU ile doldurmak oldu. Bunlar, yüksek saat hızları ve saygın çok çekirdekli performansları nedeniyle seçildi.

Hızlandırıcılar için, eski Intel Phi Yardımcı İşlemcilerinden en yeni H100 PCIe kartlarına ve üst seviye RTX 6000 iş istasyonu GPU’larına kadar geniş bir yelpazede seçim yapabileceğimiz oldukça fazla ürünümüz vardı. Ham hesaplama gücünü verimlilik ve çok yönlülükle dengelemeyi amaçladık. Sonuçta dört adet NVIDIA RTX A6000 GPU ile başlamaya ve ardından ilk testlerimiz için dört adet NVIDIA H100 PCIe kartına geçmeye karar verdik. Bu kombinasyon Supermicro platformunun esnekliğini ve NVIDIA hızlandırıcı kartlarını gösterir.

Öncelikle grafik ağırlıklı iş yüklerinde performans için tasarlanan RTX A6000, Ampere mimarisiyle yapay zeka ve HPC uygulamalarında da öne çıkıyor. 48 GB GDDR6 bellek sunarak büyük veri kümelerinin ve karmaşık simülasyonların işlenmesi için idealdir. 10.752 CUDA ve 336 Tensor çekirdeği, yapay zeka ve derin öğrenme testlerimiz için çok önemli olan hızlandırılmış hesaplamayı mümkün kılıyor.

Öte yandan NVIDIA H100 PCIe kartları, öncelikle yapay zeka iş yükleri için tasarlanan Hopper mimarisi serisinin en yeni nakliye kartlarıdır. Her kartta etkileyici 80 milyar transistör, 80 GB HBM3 bellek ve GPT-4 gibi yapay zeka modelleri için özel olarak tasarlanmış çığır açan Transformer Engine bulunuyor. H100’ün 4. nesil Tensör Çekirdekleri ve DPX talimatları, yapay zeka çıkarımını ve eğitim görevlerini önemli ölçüde artırır.

Bu GPU’ları Supermicro barebone sistemimize entegre ederek, bu üst düzey bileşenlerden önemli miktarda güç çekimi ve ısı üretimi göz önüne alındığında, optimum termal yönetim ve güç dağıtımını sağlamaya odaklandık. Supermicro şasisi, resmi olarak böyle bir konfigürasyonu desteklemese de kurulumumuza uyum sağlayacak kadar çok yönlü olduğunu kanıtladı. A6000’lerin termallerini kontrol altında tutmak için, sincap kafesli fan tasarımından dolayı onları bir kart genişliğinde aralık bırakmak zorunda kaldık, ancak H100’ler geçişli, pasif soğutma kanatlarıyla paketlenebilir.

Karşılaştırma paketimiz, HPC ve yapay zekaya özgü kullanım senaryolarının bir karışımını içeriyordu. Bunlar, geleneksel kıyaslama iş yüklerinden yapay zeka eğitimine ve evrişimsel sinir ağı modellerini kullanan çıkarım görevlerine kadar uzanıyordu. Ham performanslarını ve verimliliklerini, ölçeklenebilirliklerini ve Supermicro A+ sunucumuzla entegrasyon kolaylığını değerlendirerek bu hızlandırıcıların sınırlarını zorlamayı hedefledik.

Supermicro AS-4125GS-TNRT GPU Testi

Laboratuvarda bir CNN temel modeli üzerinde çalışırken NVIDIA’nın amiral gemisi GPU’larını incelerken, bir çift daha eski ama son derece yetenekli RTX8000 GPU üzerinde iş istasyonu düzeyinde bazı eğitimlerle başladık.

Yapay zeka performans analizimiz sırasında, NVIDIA RTX 8000’den dört RTX A6000 GPU’ya ve son olarak dört NVIDIA H100 PCIe kartına geçerek yeteneklerde dikkat çekici ancak beklenen bir ilerleme gözlemledik. Bu ilerleme, yapay zeka iş yüklerine giderek daha fazla odaklanıldıkça, bu hızlandırıcıların saf gücünü ve NVIDIA hızlandırıcılarının son birkaç yıldaki evrimini gözler önüne serdi.

RTX 8000’den başlayarak iyi performans seviyelerine dikkat çektik. Bu kurulumla, 6,36 GB’lık bir görüntü veri kümesi üzerinde yapay zeka modeli eğitimimiz dönem başına yaklaşık 45 dakika sürdü. Ancak parti boyutu ve üstesinden gelebileceği görevlerin karmaşıklığı açısından RTX 8000’in sınırlamaları açıkça görülüyordu. Daha küçük parti boyutlarıyla sınırlıydık ve etkili bir şekilde eğitebileceğimiz sinir ağı modellerinin karmaşıklığı sınırlıydı.

Dört RTX A6000 GPU’ya geçiş, performansta önemli bir sıçramaya işaret etti. A6000’in üstün bellek bant genişliği ve daha büyük GDDR6 belleği, aynı dönem süresini ve model karmaşıklığını korurken toplu iş boyutunu dört katına çıkarmamıza olanak sağladı. Bu iyileştirme, eğitim sürecini iyileştirdi ve eğitim süresini uzatmadan daha karmaşık modelleri denememize olanak sağladı.

Ancak en çarpıcı gelişme dört adet NVIDIA H100 PCIe kartının piyasaya sürülmesiyle geldi. Hopper mimarisinin gelişmiş yapay zeka özelliklerinden yararlanan bu kartlar, parti boyutunu yeniden ikiye katlamamıza olanak sağladı. Daha etkileyici bir şekilde, çağ süresinde kayda değer bir değişiklik olmadan yapay zeka modellerimizin karmaşıklığını önemli ölçüde artırabildik. Bu yetenek, H100’ün, karmaşık yapay zeka operasyonlarını verimli bir şekilde yönetmek için optimize edilmiş Transformer Engine ve 4. nesil Tensör Çekirdekleri gibi gelişmiş yapay zekaya özgü özelliklerinin bir kanıtıdır.

Bu testler boyunca, 6,36 GB görüntü veri kümesi ve model parametreleri tutarlı bir kıyaslama görevi görerek farklı GPU yapılandırmalarındaki performansı doğrudan karşılaştırmamıza olanak sağladı. RTX 8000’den A6000’lere ve ardından H100’lere geçiş, ham işlem gücündeki gelişmelerin ve GPU’ların hız veya verimlilikten ödün vermeden daha büyük, daha karmaşık yapay zeka iş yüklerini yönetebilme becerisinin altını çizdi. Bu, bu GPU’ları özellikle son teknoloji yapay zeka araştırmaları ve büyük ölçekli derin öğrenme uygulamaları için uygun hale getiriyor.

Testlerimizde kullanılan Supermicro sunucu, PCIe anahtarı ihtiyacını ortadan kaldırarak CPU’lara doğrudan PCIe bağlantısı sunuyor. Bu doğrudan bağlantı, her GPU’nun CPU’ya özel bir yola sahip olmasını sağlayarak hızlı ve verimli veri aktarımını kolaylaştırır. Bu mimari, yapay zeka ve HPC’deki bazı iş yüklerinde gecikmeyi en aza indirmek ve bant genişliği kullanımını en üst düzeye çıkarmak açısından çok önemlidir; özellikle tüm işlerin sunucuda yerel olduğu yapay zeka modeli eğitimi veya karmaşık VDI ortamları gibi yüksek verimli görevlerle uğraşırken faydalıdır.

Çözüm

Supermicro AMD EPYC GPU Sunucuları Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun ölçeklenebilirliği ve esnekliği buradaki en önemli özelliklerdir. Yapay zeka, VDI veya diğer yüksek performanslı görevlerde gelişen iş yükü taleplerine uyum sağlama ihtiyacı duyan müşteriler için özellikle faydalıdır. Mütevazı bir yapılandırmayla başlayan kullanıcılar, giriş seviyesi yapay zeka veya VDI görevlerini etkili bir şekilde gerçekleştirebilir, böylece daha küçük iş yükleri veya yapay zeka ve sanal masaüstü altyapısına yeni girmeye başlayanlar için uygun maliyetli bir çözüm sunulur. Bu ilk kurulum, sağlam ve ölçeklenebilir bir temel sağlayarak kullanıcıların temel ancak gerekli yapay zeka ve VDI uygulamalarıyla etkileşime geçmesine olanak tanır.

Ayrıca pek çok işletmenin soketli H100 GPU’lardan yararlanmak istediğini bilsek de bu platformlar için bekleme süreleri çok uzun, birçok kaynak bize bu bekleme süresinin neredeyse bir yıl olduğunu söyledi. Tedarik zinciri lojistiği bu sunucunun harika yanının altını çiziyor: Her şeyin üstesinden gelebilir. L40S GPU’lar “şimdi” kullanıma sunuldu, böylece müşteriler bu kombinasyonla birlikte en azından yapay zeka iş yüklerini daha geç değil, daha erken harekete geçirebilirler. İhtiyaçlar değiştikçe müşteriler kartları kolayca değiştirebilir. Bu, Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun yalnızca acil ihtiyaçlara yönelik olmasını değil, aynı zamanda gelişen teknolojik ortama uyum sağlayarak geleceğe hazır olmasını sağlar.

Supermicro 4U AMD EPYC GPU Sunucuları Yapay Zeka Esnekliği Sunuyor (AS-4125GS-TNRT). Supermicro, uzun süredir bu incelemede tartışacağımızdan daha fazla şekil ve boyutta GPU sunucuları sunuyor. Bugün, iki adet AMD EPYC 9004 Serisi CPU’yu, PCIe Gen5’i ve sekiz adet çift genişlikli veya 12 adet tek genişlikli ek GPU kartı seçeneğini destekleyen nispeten yeni 4U hava soğutmalı GPU sunucusuna bakıyoruz. Supermicro bu sunucuların Intel tabanlı çeşitlerini de sunarken, AMD tabanlı AS-4125GS-TNRT ailesi, bu sınıftaki NVIDIA H100 ve AMD Instinct Mi210 GPU’ları destekleyen tek sunuculardır.

Supermicro 4U AMD EPYC GPU Sunucuları Yapay Zeka Esnekliği Sunuyor AS-4125GS-TNRT sunucusu , yerleşik 10GbE ağ bağlantısı, bant dışı yönetim, 9 FHFL PCIe Gen5 yuvası, dördü NVMe olmak üzere 24 2,5″ yuva ve geri kalanı SATA/SAS gibi birkaç donanım özelliğine daha sahiptir. Ayrıca 4x yedekli titanyum düzeyinde 2000W güç kaynakları da bulunmaktadır. Anakartta önyükleme için tek bir M.2 NVMe yuvası bulunur.

Bu yolda çok ileri gitmeden önce, Supermicro’nun AS-4125GS-TNRT sunucu yapılandırmasının iki çeşidini daha sunduğunu belirtmekte fayda var. Aynı anakartı kullanmalarına rağmen AS-4125GS-TNRT1, 10 adede kadar çift genişlikli GPU’yu ve 8 NVMe SSD yuvasını destekleyen PCIe anahtarına sahip tek soketli bir yapılandırmadır. AS -4125GS-TNRT2, yine PCIe anahtarıyla aşağı yukarı aynı olan çift işlemcili bir konfigürasyondur.

Yapılandırma ne olursa olsun, Supermicro AS-4125GS-TNRT, tasarımı ve PCIe anahtarıyla model seçebilme yeteneği sayesinde inanılmaz derecede esnektir. Bu tarz GPU sunucusu popülerdir çünkü kuruluşların küçükten başlayıp genişletmelerine, farklı ihtiyaçlar için GPU’ları karıştırıp eşleştirmelerine veya istedikleri herhangi bir şeyi yapmalarına olanak tanır. Soketli GPU sistemleri, büyük yapay zeka iş yükleri için GPU’ları daha iyi bir araya getirme olanağı sağlar, ancak iş yükü esnekliği açısından eklenti kart sistemlerine rakip olamaz.

Dahası, bu bazılarına küfür gibi gelse de, Supermicro eklenti kartı GPU sunucuları, aynı kutuda AMD ve NVIDIA kartlarıyla bile kullanılabilir! Diyeceksiniz ama pek çok müşteri bazı iş yüklerinin Instinct’i, diğer iş yüklerinin ise NVIDIA GPU’yu tercih ettiğini fark etti. Son olarak, her ne kadar tıka basa doldurulmuş GPU sunucularına göre daha az popüler olsa da, bu yuvaların yalnızca PCIe yuvaları olduğunu belirtmekte fayda var; Müşterilerin bu donanımda FPGA’leri, DPU’ları veya başka bir tür hızlandırıcıyı tercih edebileceği senaryoları hayal etmek mantıksız değil. Yine esneklik bu tasarımın en önemli faydasıdır.

İnceleme amaçlarımız doğrultusunda, Supermicro AS-4125GS-TNRT, CPU, DRAM, depolama ve tabii ki GPU’ları eklememize hazır, barebone olarak geldi. Bu inceleme için 4x NVIDIA H100 GPU ödünç almak üzere Supermicro ile çalıştık.

Supermicro AS-4125GS-TNRT Özellikleri

Supermicro AS-4125GS-TNRT Yapılandırmayı İnceleme

Sistemimizi Supermicro’dan barebone olarak yapılandırdık, ancak onlar bunu büyük ölçüde yapılandırılmış bir sistem olarak satıyorlar. Laboratuvara vardığımızda yaptığımız ilk şey onu bir çift AMD EPYC 9374F 32c 64t CPU ile doldurmak oldu. Bunlar, yüksek saat hızları ve saygın çok çekirdekli performansları nedeniyle seçildi.

Hızlandırıcılar için, eski Intel Phi Yardımcı İşlemcilerinden en yeni H100 PCIe kartlarına ve üst seviye RTX 6000 iş istasyonu GPU’larına kadar geniş bir yelpazede seçim yapabileceğimiz oldukça fazla ürünümüz vardı. Ham hesaplama gücünü verimlilik ve çok yönlülükle dengelemeyi amaçladık. Sonuçta dört adet NVIDIA RTX A6000 GPU ile başlamaya ve ardından ilk testlerimiz için dört adet NVIDIA H100 PCIe kartına geçmeye karar verdik. Bu kombinasyon Supermicro platformunun esnekliğini ve NVIDIA hızlandırıcı kartlarını gösterir.

Öncelikle grafik ağırlıklı iş yüklerinde performans için tasarlanan RTX A6000, Ampere mimarisiyle yapay zeka ve HPC uygulamalarında da öne çıkıyor. 48 GB GDDR6 bellek sunarak büyük veri kümelerinin ve karmaşık simülasyonların işlenmesi için idealdir. 10.752 CUDA ve 336 Tensor çekirdeği, yapay zeka ve derin öğrenme testlerimiz için çok önemli olan hızlandırılmış hesaplamayı mümkün kılıyor.

Öte yandan NVIDIA H100 PCIe kartları, öncelikle yapay zeka iş yükleri için tasarlanan Hopper mimarisi serisinin en yeni nakliye kartlarıdır. Her kartta etkileyici 80 milyar transistör, 80 GB HBM3 bellek ve GPT-4 gibi yapay zeka modelleri için özel olarak tasarlanmış çığır açan Transformer Engine bulunuyor. H100’ün 4. nesil Tensör Çekirdekleri ve DPX talimatları, yapay zeka çıkarımını ve eğitim görevlerini önemli ölçüde artırır.

Bu GPU’ları Supermicro barebone sistemimize entegre ederek, bu üst düzey bileşenlerden elde edilen önemli miktarda güç çekimi ve ısı üretimi göz önüne alındığında, optimum termal yönetim ve güç dağıtımını sağlamaya odaklandık. Supermicro şasisi, resmi olarak böyle bir konfigürasyonu desteklemese de kurulumumuza uyum sağlayacak kadar çok yönlü olduğunu kanıtladı. A6000’lerin termallerini kontrol altında tutmak için, sincap kafesli fan tasarımından dolayı onları bir kart genişliğinde aralık bırakmak zorunda kaldık, ancak H100’ler geçişli, pasif soğutma kanatlarıyla paketlenebilir.

Karşılaştırma paketimiz, HPC ve yapay zekaya özgü kullanım senaryolarının bir karışımını içeriyordu. Bunlar, geleneksel kıyaslama iş yüklerinden yapay zeka eğitimine ve evrişimli sinir ağı modellerini kullanan çıkarım görevlerine kadar uzanıyordu. Ham performanslarını ve verimliliklerini, ölçeklenebilirliklerini ve Supermicro A+ sunucumuzla entegrasyon kolaylığını değerlendirerek bu hızlandırıcıların sınırlarını zorlamayı hedefledik.

Supermicro AS-4125GS-TNRT GPU Testi

Laboratuvarda temel bir CNN modeli üzerinde çalışırken NVIDIA’nın amiral gemisi GPU’larını incelerken, bir çift daha eski ama son derece yetenekli RTX8000 GPU üzerinde iş istasyonu düzeyinde bazı eğitimlerle başladık.

Yapay zeka performans analizimiz sırasında, NVIDIA RTX 8000’den dört RTX A6000 GPU’ya ve son olarak dört NVIDIA H100 PCIe kartına geçerek yeteneklerde dikkat çekici ancak beklenen bir ilerleme gözlemledik. Bu ilerleme, yapay zeka iş yüklerine giderek daha fazla odaklanıldıkça, bu hızlandırıcıların ham gücünü ve son birkaç yılda NVIDIA hızlandırıcıların evrimini ortaya koydu.

RTX 8000’den başlayarak iyi performans seviyelerine dikkat çektik. Bu kurulumla, 6,36 GB’lık bir görüntü veri kümesi üzerinde yapay zeka modeli eğitimimiz dönem başına yaklaşık 45 dakika sürdü. Ancak parti boyutu ve üstesinden gelebileceği görevlerin karmaşıklığı açısından RTX 8000’in sınırlamaları açıkça görülüyordu. Daha küçük parti boyutlarıyla sınırlıydık ve etkili bir şekilde eğitebileceğimiz sinir ağı modellerinin karmaşıklığı sınırlıydı.

Dört RTX A6000 GPU’ya geçiş, performansta önemli bir sıçramaya işaret etti. A6000’in üstün bellek bant genişliği ve daha büyük GDDR6 belleği, aynı dönem süresini ve model karmaşıklığını korurken toplu iş boyutunu dört katına çıkarmamıza olanak sağladı. Bu iyileştirme, eğitim sürecini iyileştirdi ve eğitim süresini uzatmadan daha karmaşık modelleri denememize olanak sağladı.

Ancak en çarpıcı gelişme dört adet NVIDIA H100 PCIe kartının piyasaya sürülmesiyle geldi. Hopper mimarisinin gelişmiş yapay zeka özelliklerinden yararlanan bu kartlar, parti boyutunu yeniden ikiye katlamamıza olanak sağladı. Daha etkileyici bir şekilde, çağ süresinde kayda değer bir değişiklik olmadan yapay zeka modellerimizin karmaşıklığını önemli ölçüde artırabildik. Bu yetenek, H100’ün, karmaşık yapay zeka operasyonlarını verimli bir şekilde yönetmek için optimize edilmiş Transformer Engine ve 4. nesil Tensör Çekirdekleri gibi gelişmiş yapay zekaya özgü özelliklerinin bir kanıtıdır.

Bu testler boyunca, 6,36 GB görüntü veri kümesi ve model parametreleri tutarlı bir kıyaslama görevi görerek farklı GPU yapılandırmalarındaki performansı doğrudan karşılaştırmamıza olanak sağladı. RTX 8000’den A6000’lere ve ardından H100’lere geçiş, ham işlem gücündeki gelişmelerin ve GPU’ların hız veya verimlilikten ödün vermeden daha büyük, daha karmaşık yapay zeka iş yüklerini yönetebilme becerisinin altını çizdi. Bu, bu GPU’ları özellikle son teknoloji yapay zeka araştırmaları ve büyük ölçekli derin öğrenme uygulamaları için uygun hale getiriyor.

Testlerimizde kullanılan Supermicro sunucu, PCIe anahtarı ihtiyacını ortadan kaldırarak CPU’lara doğrudan PCIe bağlantısı sunuyor. Bu doğrudan bağlantı, her GPU’nun CPU’ya özel bir yola sahip olmasını sağlayarak hızlı ve verimli veri aktarımını kolaylaştırır. Bu mimari, yapay zeka ve HPC’deki bazı iş yüklerinde gecikmeyi en aza indirmek ve bant genişliği kullanımını en üst düzeye çıkarmak açısından çok önemlidir; özellikle tüm işlerin sunucuda yerel olduğu yapay zeka modeli eğitimi veya karmaşık VDI ortamları gibi yüksek verimli görevlerle uğraşırken faydalıdır.

Çözüm

Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun ölçeklenebilirliği ve esnekliği buradaki en önemli özelliklerdir. Yapay zeka, VDI veya diğer yüksek performanslı görevlerde gelişen iş yükü taleplerine uyum sağlama ihtiyacı duyan müşteriler için özellikle faydalıdır. Mütevazı bir yapılandırmayla başlayan kullanıcılar, giriş düzeyindeki yapay zeka veya VDI görevlerini etkili bir şekilde gerçekleştirebilir, böylece daha küçük iş yükleri veya yapay zeka ve sanal masaüstü altyapısına yeni başlayan kişiler için uygun maliyetli bir çözüm sunulur. Bu ilk kurulum, sağlam ve ölçeklenebilir bir temel sağlayarak kullanıcıların temel ancak gerekli yapay zeka ve VDI uygulamalarıyla etkileşime geçmesine olanak tanır.

Ayrıca pek çok işletmenin soketli H100 GPU’lardan yararlanmak istediğini bilsek de bu platformlar için bekleme süreleri çok uzun, birçok kaynak bize bu bekleme süresinin neredeyse bir yıl olduğunu söyledi. Tedarik zinciri lojistiği bu sunucunun harika yanının altını çiziyor: Her şeyin üstesinden gelebilir. L40S GPU’lar “şimdi” kullanıma sunuldu, böylece müşteriler bu kombinasyonla birlikte en azından yapay zeka iş yüklerini daha geç değil, daha erken harekete geçirebilirler. İhtiyaçlar değiştikçe müşteriler kartları kolayca değiştirebilir. Bu, Supermicro GPU A+ Sunucu AS-4125GS-TNRT sunucusunun yalnızca acil ihtiyaçlara yönelik olmasını değil, aynı zamanda gelişen teknolojik ortama uyum sağlayarak geleceğe hazır olmasını sağlar.

NVIDIA L4 GPU Günümüzün yapay zeka dünyasının durmak bilmeyen yenilik selinde, çeşitli donanım platformlarının yeteneklerini ölçmek ve anlamak kritik öneme sahiptir. Yapay zekanın tamamı büyük eğitim GPU çiftlikleri gerektirmez; çıkarım yapay zekasının, özellikle uçta genellikle daha az GPU gücü gerektiren önemli bir bölümü vardır. Bu incelemede, L4’ün nasıl yığıldığını görmek için üç farklı Dell sunucusundaki çeşitli NVIDIA L4 GPU’lara ve MLperf dahil çeşitli iş yüklerine göz atacağız.

NVIDIA L4 GPU

L4, özünde, yüksek hassasiyetli hesaplama görevleri için ideal olan FP32 performansında etkileyici bir 30,3 teraFLOP sunar. Becerisi, derin öğrenme verimliliği için çok önemli olan TF32, FP16 ve BFLOAT16 Tensör Çekirdekleri ile karma duyarlıklı hesaplamalara kadar uzanır; L4 Teknik Özellikler sayfası, 60 ila 121 teraFLOP arasındaki performansı belirtir.

Düşük hassasiyetli görevlerde L4, FP8 ve INT8 Tensör Çekirdeklerinde 242,5 teraFLOP ile parlayarak sinir ağı çıkarımını geliştirir. 300 GB/s bant genişliğiyle tamamlanan 24 GB GDDR6 belleği, büyük veri kümelerini ve karmaşık modelleri yönetebilmesini sağlar. L4’ün enerji verimliliği burada en çok dikkat çeken noktadır; 72W TDP, onu çeşitli bilgi işlem ortamlarına uygun hale getirir. Yüksek performans, bellek verimliliği ve düşük güç tüketiminin bu karışımı, NVIDIA L4’ü uç bilişim zorlukları için cazip bir seçim haline getiriyor.

Tabii ki, L4’ün fiyatı 2500 dolara yakın bir yerde, A2 kabaca yarı fiyatına geliyor ve eski (yine de oldukça yetenekli) T4’ün 1000 doların altında bir fiyata mevcut olmasıyla, bariz soru bu üç çıkarım GPU’su arasındaki farkın ne olduğudur.

Bu üç karta bakarken anlaşılması gereken bir şey, bunların tam olarak nesiller boyu bire bir değişim olmadığıdır; bu da T4’ün neden yıllar sonra hala bazı kullanım durumları için popüler bir seçim olarak kaldığını açıklıyor. A2, düşük güçlü ve daha uyumlu (x8’e karşı x16 mekanik) bir seçenek olarak T4’ün yerini almak üzere ortaya çıktı. Teknik olarak L4, T4’ün yerini alıyor ve A2, gelecekte bir noktada yenilenebilecek veya yenilenemeyecek bir arada yer alıyor.

MLPerf Çıkarımı 3.1 Performansı

MLPerf, adil ve ilgili AI donanım ve yazılım kıyaslamalarını sağlamak için kurulmuş, akademi, araştırma ve endüstriden AI liderlerinden oluşan bir konsorsiyumdur. Bu kıyaslamalar, makine öğrenimi donanımının, yazılımının ve hizmetlerinin çeşitli görev ve senaryolardaki performansını ölçmek için tasarlanmıştır.

Testlerimiz iki spesifik MLPerf kriterine odaklanmaktadır: Resnet50 ve BERT.

• Resnet50: Bu, öncelikle görüntü sınıflandırması için kullanılan evrişimli bir sinir ağıdır. Bu, bir sistemin görüntü işlemeyle ilgili derin öğrenme görevlerini ne kadar iyi yerine getirebileceğinin iyi bir göstergesidir.
• BERT (Transformatörlerden Çift Yönlü Kodlayıcı Gösterimleri): Bu kıyaslama, doğal dil işleme görevlerine odaklanarak bir sistemin insan dilini anlama ve işleme konusunda nasıl performans gösterdiğine dair bilgiler sunar.

Bu testlerin her ikisi de yapay zeka donanımının görüntü ve dil işlemeyi içeren gerçek dünya senaryolarındaki yeteneklerini değerlendirmek için çok önemlidir.

NVIDIA L4’ü bu kıyaslamalarla değerlendirmek, L4 GPU’nun belirli yapay zeka görevlerindeki yeteneklerinin anlaşılmasına yardımcı olmak açısından kritik öneme sahiptir. Ayrıca farklı konfigürasyonların (tekli, ikili ve dörtlü kurulumlar) performansı nasıl etkilediğine dair bilgiler sunar. Bu bilgiler, yapay zeka altyapılarını optimize etmek isteyen profesyoneller ve kuruluşlar için hayati öneme sahiptir.

Modeller iki temel modda çalışır: Sunucu ve Çevrimdışı.

• Çevrimdışı Mod: Bu mod, tüm veriler aynı anda işlenmeye uygun olduğunda sistemin performansını ölçer. Sistemin büyük bir veri kümesini tek bir toplu iş halinde işlediği toplu işleme benzer. Çevrimdışı mod, gecikmenin birincil sorun olmadığı ancak aktarım hızı ve verimliliğin önemli olduğu senaryolar için çok önemlidir.
• Sunucu Modu: Buna karşılık, sunucu modu, isteklerin teker teker geldiği gerçek dünya sunucu ortamını taklit eden bir senaryoda sistemin performansını değerlendirir. Bu mod gecikmeye duyarlıdır ve sistemin her isteğe ne kadar hızlı yanıt verebileceğini ölçer. Anında müdahalenin gerekli olduğu web sunucuları veya etkileşimli uygulamalar gibi gerçek zamanlı uygulamalar için gereklidir.

1 x NVIDIA L4 – Dell PowerEdge XR7620

Tek bir NVIDIA L4 ile donatılmış Dell PowerEdge XR7620’ye ilişkin son incelememizin bir parçası olarak , MLPerf de dahil olmak üzere çeşitli görevleri yürütmek için onu en uç noktaya taşıdık.

Test sistemi konfigürasyonumuz aşağıdaki bileşenleri içeriyordu:

• 2 x Xeon Gold 6426Y – 16 çekirdekli 2,5 GHz
• 1 xNVIDIA L4
• 8 x 16 GB DDR5
• 480 GB BOSS RAID1
• Ubuntu Sunucusu 22.04
• NVIDIA Sürücüsü 535

Resnet50 ve BERT K99 için sunucu ve çevrimdışı senaryolardaki performans neredeyse aynıdır; bu da L4’ün farklı sunucu modellerinde tutarlı performansı koruduğunu gösterir.

1, 2 ve 4 NVIDIA L4’ler – Dell PowerEdge T560

İnceleme birimi yapılandırmamız aşağıdaki bileşenleri içeriyordu:

• 2 x Intel Xeon Gold 6448Y (her biri 32 çekirdek/64 iş parçacığı, 225 watt TDP, 2,1-4,1 GHz)
• PERC 12 RAID kartıyla 8 x 1,6 TB Solidigm P5520 SSD
• 1-4x NVIDIA L4 GPU’lar
• 8 x 64 GB RDIMM’ler
• Ubuntu Sunucusu 22.04
• NVIDIA Sürücüsü 535

Dell T560’taki iki L4 ile yaptığımız testlerde, hem Resnet50 hem de BERT K99 testleri için performansta bu doğrusala yakın ölçeklendirmeyi gözlemledik. Bu ölçeklendirme, L4 GPU’ların verimliliğinin ve genel gider veya verimsizlik nedeniyle önemli kayıplar olmadan birlikte çalışabilme yeteneklerinin bir kanıtıdır.

İki NVIDIA L4 GPU ile tanık olduğumuz tutarlı doğrusal ölçeklendirme, etkileyici bir şekilde dört L4 birimi içeren yapılandırmalara kadar uzanıyor. Paralel işleme ve kaynak yönetiminin karmaşıklığı nedeniyle, eklenen her GPU ile doğrusal performans kazanımlarını korumak giderek zorlaştığından, bu ölçeklendirme özellikle dikkate değerdir.

Bu sonuçlar yalnızca açıklama amaçlıdır; rekabetçi veya resmi MLPerf sonuçları değildir. Resmi sonuçların tam listesi için lütfen MLPerf Sonuçları Sayfasını ziyaret edin .

Laboratuvardaki testlerimiz, NVIDIA L4 GPU’ların doğrusal ölçeklenebilirliğini doğrulamanın yanı sıra, bu birimlerin farklı operasyonel senaryolarda konuşlandırılmasının pratik sonuçlarına ışık tutuyor. Örneğin, L4 GPU’larla tüm yapılandırmalarda sunucu ve çevrimdışı modlar arasındaki performans tutarlılığı, bunların güvenilirliğini ve çok yönlülüğünü ortaya koyuyor.

Bu husus özellikle operasyonel bağlamların önemli ölçüde farklılık gösterdiği işletmeler ve araştırma kurumları için geçerlidir. Ayrıca, ara bağlantı darboğazlarının minimum etkisi ve çoklu GPU kurulumlarında GPU senkronizasyonunun verimliliği hakkındaki gözlemlerimiz, yapay zeka altyapılarını ölçeklendirmek isteyenler için değerli bilgiler sağlıyor. Bu bilgiler, yalnızca karşılaştırmalı değerlendirme rakamlarının ötesine geçerek, bu tür donanımların gerçek dünya senaryolarında en iyi şekilde nasıl kullanılabileceğine dair daha derin bir anlayış sunarak, yapay zeka ve HPC altyapısında daha iyi mimari kararlara ve yatırım stratejilerine yol gösterir.

NVIDIA L4 – Uygulama Performansı

Yeni NVIDIA L4’ün performansını kendisinden önceki NVIDIA A2 ve NVIDIA T4 ile karşılaştırdık. Önceki modellere göre bu performans yükseltmesini sergilemek için, tüm üç modeli de laboratuvarımızdaki bir sunucuya, Windows Server 2022 ve en yeni NVIDIA sürücüleri ile GPU test paketimizin tamamından yararlanarak yerleştirdik.

Bu kartlar aşağıdaki yapılandırmaya sahip bir Dell Poweredge R760 üzerinde test edilmiştir :

• 2 x Intel Xeon Gold 6430 (32 Çekirdek, 2,1 GHz)
• Windows Sunucusu 2022
• NVIDIA Sürücüsü 538.15
• 1x örnekleme için tüm kartlarda ECC Devre Dışı

Üç kurumsal GPU’dan oluşan bu grup arasındaki performans testini başlatırken, önceki A2 ve T4 modelleri arasındaki benzersiz performans farklarına dikkat etmek önemlidir. A2 piyasaya sürüldüğünde, daha düşük güç tüketimi ve eski T4’ün gerektirdiği daha büyük PCIe Gen3 x16 yuvası yerine daha küçük bir PCIe Gen4 x8 yuvasında çalışma gibi bazı önemli iyileştirmeler sunuyordu. En başından itibaren, özellikle ihtiyaç duyulan daha küçük ayak iziyle daha fazla sisteme yerleştirilmesine olanak sağladı.

Blender OptiX 4.0

Blender OptiX açık kaynaklı bir 3D modelleme uygulamasıdır. Bu test hem CPU hem de GPU için çalıştırılabilir, ancak burada diğer çoğu test gibi yalnızca GPU’yu yaptık. Bu kıyaslama, Blender Benchmark CLI yardımcı programı kullanılarak çalıştırıldı. Puan, dakika başına örnek sayısıdır; daha yüksek, daha iyidir.

Blackmagic RAW Hız Testi

CPU’ları ve GPU’ları, Blackmagic’in video oynatma hızlarını test eden RAW Hız Testi ile test ediyoruz. Bu daha çok gerçek dünyadaki RAW kod çözme için CPU ve GPU performansını içeren hibrit bir testtir. Bunlar ayrı sonuçlar olarak görüntülenir ancak burada yalnızca GPU’lara odaklanıyoruz, bu nedenle CPU sonuçları atlandı.

Cinebench 2024 GPU

Maxon’un Cinebench 2024’ü, tüm CPU çekirdeklerini ve iş parçacıklarını kullanan bir CPU ve GPU oluşturma karşılaştırmasıdır. Yine GPU sonuçlarına odaklandığımız için testin CPU bölümlerini çalıştırmadık. Daha Yüksek Puanlar Daha İyidir.

GPU PI’sı

GPUPI 3.3.3, GPU’lar ve CPU’lar aracılığıyla donanım hızlandırmayı kullanarak π (pi)’yi milyarlarca ondalık sayıya kadar hesaplamak için tasarlanmış hafif kıyaslama yardımcı programının bir sürümüdür. Hem merkezi hem de grafik işlem birimlerini içeren OpenCL ve CUDA’nın bilgi işlem gücünden yararlanır. CUDA’yı yalnızca 3 GPU’nun tamamında çalıştırdık ve buradaki sayılar, azaltma süresi eklenmeden hesaplama süresidir. Alçak daha iyi.

Önceki sonuçlar her kartın yalnızca tek bir yinelemesini incelerken, aynı zamanda Dell PowerEdge T560 içindeki 5x NVIDIA L4 dağıtımına da bakma şansımız oldu .

Oktan tezgahı

OctaneBench, V-Ray’e benzer RTX desteğine sahip başka bir 3D oluşturucu olan OctaneRender için bir kıyaslama aracıdır.

Geek Bench 6 GPU

Geekbench 6, genel sistem performansını ölçen platformlar arası bir kıyaslamadır. Hem CPU hem de GPU kıyaslaması için test seçenekleri vardır. Daha yüksek puanlar daha iyidir. Yine sadece GPU sonuçlarına baktık.

Geekbench Tarayıcısında istediğiniz herhangi bir sistemle karşılaştırmalar bulabilirsiniz  .

Lüksmark

LuxMark, açık kaynaklı 3D işleme motoru LuxRender’ı sürdürenlerin ürettiği bir OpenCL platformlar arası kıyaslama aracıdır. Bu araç 3D modelleme, aydınlatma ve video çalışmalarında GPU performansına bakar. Bu inceleme için en yeni sürüm olan v4alpha0’ı kullandık. LuxMark’ta puan söz konusu olduğunda daha yüksek olan daha iyidir.

GROMACS CUDA

Ayrıca, özellikle CUDA için bir moleküler dinamik yazılımı olan derlenmiş GROMACS’ı da tedarik ediyoruz. Bu özel derleme, hesaplamalı simülasyonları hızlandırmak için gerekli olan 5 NVIDIA L4 GPU’nun paralel işleme yeteneklerinden yararlanmaktı.

Süreç, NVIDIA’nın CUDA derleyicisi olan nvcc’nin kullanımını ve ikili dosyaların sunucunun mimarisine uygun şekilde ayarlanmasını sağlamak için uygun optimizasyon işaretlerinin birçok yinelemesini içeriyordu. CUDA desteğinin GROMACS derlemesine dahil edilmesi, yazılımın GPU donanımıyla doğrudan arayüz oluşturmasına olanak tanır ve bu da karmaşık simülasyonlar için hesaplama sürelerini büyük ölçüde artırabilir.

Test: Gromac’larda Özel Protein Etkileşimi

Belirli bir protein etkileşimi çalışması için özel olarak tasarlanmış parametreler ve yapılar içeren, çeşitli Discord’umuzdan topluluk tarafından sağlanan bir girdi dosyasından yararlanarak bir moleküler dinamik simülasyonu başlattık. Sonuçlar dikkat çekiciydi; sistem günde 170.268 nanosaniyelik bir simülasyon hızına ulaştı.

Yapay Zekadan Daha Fazlası

Yapay zekanın tüm moda olduğu heyecanıyla, NVIDIA L4’teki modellerin performansına kapılmak kolaydır, ancak aynı zamanda video uygulamaları için bir olasılıklar alanının önünü açan birkaç başka püf noktası daha vardır. 720p30’da 1.040’a kadar eşzamanlı AV1 video akışına ev sahipliği yapabilir. Bu, içeriğin uç kullanıcılara canlı olarak yayınlanma biçimini değiştirebilir, yaratıcı hikaye anlatımını geliştirebilir ve sürükleyici AR/VR deneyimleri için ilginç kullanımlar sunabilir.

NVIDIA L4 aynı zamanda grafik performansını optimize etme konusunda da başarılıdır; bu, gerçek zamanlı işleme ve ışın izleme yeteneklerinde açıkça görülmektedir. Uç ofislerde L4, yüksek kaliteli, gerçek zamanlı grafik oluşturmanın gerekli olduğu yerlerde en çok ihtiyaç duyan son kullanıcılara VDI’da sağlam ve güçlü hızlandırılmış grafik hesaplama sağlama kapasitesine sahiptir.

Kapanış Düşünceleri

NVIDIA L4 GPU, çeşitli uygulamalarda benzersiz verimlilik ve çok yönlülük sunarak uç yapay zeka ve yüksek performanslı bilgi işlem için sağlam bir platform sağlar. Yoğun yapay zeka, hızlandırma veya video işlem hatlarını yönetme ve grafik performansını optimize etme yeteneği, onu uç çıkarım veya sanal masaüstü hızlandırma için ideal bir seçim haline getirir. L4’ün yüksek bilgi işlem gücü, gelişmiş bellek yetenekleri ve enerji verimliliği birleşimi, onu özellikle yapay zeka ve grafik ağırlıklı endüstrilerde uçtaki iş yüklerinin hızlandırılmasında önemli bir oyuncu olarak konumlandırıyor.

Hiç şüphe yok ki, bugünlerde BT kasırganının gözü yapay zekadır ve canavar H100/H200 GPU’lara olan talep tavan yapmaya devam ediyor. Ancak verilerin oluşturulduğu ve analiz edildiği uç noktaya daha sağlam bir BT kiti seti sağlanması yönünde de büyük bir baskı var. Bu durumlarda daha uygun bir GPU’ya ihtiyaç duyulur. Burada NVIDIA L4 öne çıkıyor ve T560’ta test ettiğimiz gibi tek bir birim olarak veya birlikte ölçeklendirilmiş olarak uç çıkarım için varsayılan seçenek olmalıdır.

NVIDIA, Süper Şarj Haznesi HGX H200ü tanıttı ve yapay zeka hesaplamasında önemli bir adım attı. NVIDIA Hopper mimarisini temel alan bu yeni platform, üretken yapay zeka ve yüksek performanslı bilgi işlem (HPC) iş yükleri için özel olarak tasarlanmış, gelişmiş bellek özellikleriyle devasa veri hacimlerini işleyen NVIDIA H200 Tensor Core GPU’ya sahiptir.

H200, yüksek bant genişliğine sahip (HBM3e) belleğe sahip ilk GPU olarak öne çıkıyor; üretken yapay zeka ve büyük dil modelleri (LLM’ler) için hayati önem taşıyan daha hızlı ve daha büyük bellek sunuyor ve HPC iş yükleri için bilimsel bilgi işlemi geliştiriyor. Saniyede 4,8 terabayt hızında 141 GB belleğe sahip olup, kapasiteyi neredeyse iki katına çıkarır ve selefi NVIDIA A100’e göre 2,4 kat daha fazla bant genişliği sunar.

Önde gelen sunucu üreticilerinin ve bulut hizmet sağlayıcılarının H200 tarafından desteklenen sistemlerinin 2024’ün ikinci çeyreğinde sevkiyata başlaması bekleniyor. NVIDIA’nın Hiper Ölçek ve HPC Başkan Yardımcısı Ian Buck, H200’ün çok büyük miktarlardaki verinin yüksek hızda işlenmesini önemli ölçüde geliştireceğini vurguluyor. Üretken yapay zeka ve HPC uygulamaları için gerekli olan hızlar.

Hopper mimarisi, önceki nesillere göre kayda değer bir performans artışına işaret ediyor ve NVIDIA TensorRT-LLM’nin son sürümü gibi devam eden yazılım güncellemeleriyle daha da geliştirildi . H200, Llama 2 gibi büyük dil modellerinde çıkarım hızını neredeyse iki katına çıkarmayı vaat ediyor ve gelecekteki yazılım güncellemelerinde daha fazla performans geliştirmesi bekleniyor.

H200 Özellikleri

Uyarlanabilir Form Faktörleri

NVIDIA H200, HGX H100 sistemleriyle uyumlu, dört ve sekiz yollu konfigürasyonlardaki NVIDIA HGX H200 sunucu anakartları da dahil olmak üzere çeşitli form faktörlerinde satışa sunulacak. Ayrıca HBM3e’li NVIDIA GH200 Grace Hopper Superchip’te de mevcuttur . Yakın zamanda NVIDIA GH200 Grace Hopper Supperchip hakkında bir yazı yayınladık . Bu seçenekler, H200’ün şirket içi, bulut, hibrit bulut ve uç ortamlar dahil olmak üzere farklı veri merkezi türlerine uyarlanabilirliğini sağlar.

Amazon Web Services, Google Cloud, Microsoft Azure ve Oracle Cloud Infrastructure dahil olmak üzere önemli sunucu üreticileri ve bulut hizmeti sağlayıcıları, gelecek yıldan itibaren H200 tabanlı bulut sunucularını dağıtmaya hazırlanıyor.

NVIDIA NVLink ve NVSwitch yüksek hızlı ara bağlantılarıyla donatılmış HGX H200, 175 milyar parametrenin ötesindeki modeller için eğitim ve çıkarım da dahil olmak üzere çeşitli iş yükleri için en üst performansı sunar. Sekiz yönlü HGX H200 yapılandırması, 32 petafloptan fazla FP8 derin öğrenme hesaplaması ve 1,1 TB yüksek bant genişliğine sahip bellek sağlar; NVIDIA Grace CPU’lar ve NVLink-C2C ara bağlantısıyla birleştirilmiş üretken yapay zeka ve HPC uygulamaları için idealdir; H200, GH200 Grace’i oluşturur Büyük ölçekli HPC ve yapay zeka uygulamaları için tasarlanmış bir modül olan HBM3e’li Hopper Superchip.

NVIDIA AI Enterprise paketi de dahil olmak üzere NVIDIA’nın tam kapsamlı yazılım desteği, geliştiricilerin ve kuruluşların yapay zekadan HPC’ye kadar uygulamalar oluşturmasına ve hızlandırmasına olanak tanır. NVIDIA H200, 2024’ün ikinci çeyreğinden itibaren küresel sistem üreticileri ve bulut hizmet sağlayıcılarında satışa sunulacak ve yapay zeka ve HPC yeteneklerinde yeni bir döneme işaret edecek.

NVIDIA RTX 6000 Ada ve RTX A6000  incelemesinde NVIDIA RTX 6000 Ada GPU kısa süre önce piyasaya sürüldü ve uzun testler için laboratuvarda bir tane edinme şansına sahip olduk. Ada Lovelace mimarisi, GPU performans ortamını kategorik olarak yeniden tanımlıyor. NVIDIA’nın amiral gemisi teklifi olarak konumlandırılan bu devasa kart, kendi başına müthiş ve hala çok geçerli bir öncül olan RTX A6000’in yerini alıyor.

Ancak isimlendirmedeki yüzeysel benzerlik, başlık altındaki ilerlemelerin bir dönüm noktasını gizlemektedir. Her iki GPU da yüksek profilli incelemelerde yer aldı: Dell Precision 7960 incelememizde RTX 6000 Ada ve HP Z6 G5 ve Lenovo Thinkstation PX’te RTX A6000 .

NVIDIA RTX 6000 Ada Vs. NVIDIA RTX A6000

NVIDIA RTX 6000 Ada ve RTX A6000 ilk bakışta aynı özellikleri paylaşıyor: 48 GB GDDR6 bellek, 4x DisplayPort 1.4a çıkış, 300 W TDP ve aynı form faktörleri. Ancak daha derine inildiğinde muazzam bir değişim ortaya çıkıyor. RTX 6000 Ada, RTX A6000’in Ampere mimarisindeki kökleriyle tam bir tezat oluşturan, NVIDIA’nın Ada Lovelace mimarisi kapsamında önemli bir üründür.

RTX 6000 Ada Teknik Özellikler Sayfası | RTX A6000 Teknik Özellikler Sayfası

Mimarinin inceliklerine girdiğinizde farklılıklar keskin bir şekilde ortaya çıkıyor. Cuda Çekirdek sayıları, Bellek Bant Genişliği, Işın İzleme (RT) Çekirdekleri ve Tensör Çekirdekleri RTX 6000 Ada lehine farklılık gösteriyor. Özellikle RTX A6000’in 10.752’sini gölgede bırakan 18.176 Cuda Çekirdeği ile övünüyor. Ancak mesele sadece ham sayılarla ilgili değil, bu spesifik farklılıkların gerçek dünyadaki ölçülebilir performans ölçümlerine nasıl dönüştüğü ile ilgili. Pirinç meselelerine geçelim.

NVIDIA RTX 6000 Ada Performans Karşılaştırmaları

Bu GPU’ların karşılaştırmalı gücünü değerlendirmek için, yeni piyasaya sürülen AMD EPYC GenoaX 96 Core CPU ile donatılmış TYAN Transport HX FT65T-B8050 test donanımımızda bir ikili düzenledik . Bu platformun darboğazları en aza indirmede sağlam ve güvenilir olduğu kanıtlanmıştır. Değişken olarak yalnızca GPU’ya bakmak için tüm çevresel değişkenleri aynı tutmak için GPU’ları değiştirdik.

Test Tezgahı Temel Özellikleri

• AMD Cenova-X 9684X
• 8 x 64 GB Kingston DDR5-5600
• Solidigm P41 Plus (21x 1TB)
• Solidigm P5430 15,36TB
• Windows Sunucusu 2022
• NVIDIA Üretim Şubesi Sürücüsü 537.58

SPECviewperf2020

SPECviewperf 2020 kıyaslaması, OpenGL ve Direct X uygulama programlama arayüzleri altında profesyonel uygulamaların grafik performansını ölçmek için dünya çapında standarttır. Görünüm kümeleri (veya kıyaslamalar), uygulamaların kendilerinin kurulmasına gerek kalmadan gerçek uygulamaların grafik içeriğini ve davranışını temsil eder. Bu görünüm kümeleri arasında 3D Max, CATIA, Creo, Energy, Maya, Medical, Siemens NX ve Solidworks bulunur. Daha yüksek sayılar daha iyidir.

RTX 6000 ADA, bu testlerin bazılarında A6000’in puanlarını 2 katına kadar çıkarıyor, ancak diğerleri birbirine biraz daha yakın kalıyor.

ESRI

Sırada Çevresel Sistemler Araştırma Enstitüsü (Esri) kıyaslaması var. Esri, Coğrafi Bilgi Sistemi (GIS) yazılımının tedarikçisidir. Esri’nin Performans Ekibi, ArcGIS Pro’yu otomatik olarak başlatmak için PerfTool eklenti komut dosyalarını tasarladı. Bu uygulama, önceden tanımlanmış çeşitli yer imlerine göz atmak ve kullanıcı deneyimini tahmin etmek için gerekli tüm önemli veri noktalarını içeren bir günlük dosyası oluşturmak için “ZoomToBookmarks” işlevini kullanır. Komut dosyası, önbelleğe almayı (bellek ve disk önbelleği) hesaba katmak için yer işaretlerini otomatik olarak üç kez döngüye alır. Başka bir deyişle, bu kıyaslama, Esri’nin ArcGIS Pro yazılımında görülebilecek yoğun grafik kullanımını simüle eder.

Testler üç ana veri kümesinden oluşur. Bunlardan ikisi Philadelphia, PA ve Montreal, QC’nin 3 boyutlu şehir görünümleridir. Bu şehir manzaraları, bir arazi modeli üzerine örtülmüş dokulu 3 boyutlu çok parçalı binaları ve örtülmüş hava görüntülerini içerir. Üçüncü veri kümesi Portland, OR bölgesinin 2 boyutlu harita görünümüdür. Bu veriler yollar, arazi kullanım parselleri, parklar ve okullar, nehirler, göller ve tepelerin gölgelediği araziler hakkında ayrıntılı bilgiler içerir.

Montreal animasyonu ilk sırada yer alıyor. 6000 Ada, yüzde 25 daha yüksek sonuçlarla A6000 üzerindeki gücünü hemen ortaya koyuyor.

Sırada, RTX 6000 Ada’nın üstün performansının yaklaşık yüzde 21 daha yüksek performansla devam ettiği Philly görüntüleme seti var.

Sonuncusu, RTX 6000 Ada ve RTX A6000’in çok daha yakın performans gösterdiği Portland’dır çünkü bu alt test CPU’ya bağlıdır.

Lüksmark

İnceleyeceğimiz bir diğer 3D kıyaslama, OpenCL GPU kıyaslama aracı olan LuxMark’tır. Bu testte 6000 Ada numaraları gerçekten parlıyor ve Salon Tezgahında A6000’den yüzde 44,7, Yemek Tezgahında ise yüzde 58,7 daha yüksek puan alıyor.

Blender OptiX

Sırada açık kaynaklı bir 3D modelleme uygulaması olan Blender var. Bu kıyaslama, seçilen işleme yöntemi olarak NVIDIA OptiX ile Blender Benchmark yardımcı programı kullanılarak çalıştırıldı. Skor, dakika başına örnek sayısı cinsindendir; daha yüksek, daha iyidir.

6000 Ada, Monster testinde yüzde 78,4 gibi muazzam bir performans artışı sağlayarak, Junkshop’ta yüzde 55,1 ve Classroom testinde yüzde 68,44 performans artışı göstererek dişlerini bir kez daha gösteriyor.

Blackmagic RAW Hız Testi

Bir sonraki testimiz Blackmagic RAW Hız Testi. Bu test, 6000 Ada ve A6000 puanını yüzde 11,7’lik daha az dramatik bir performans farkıyla sıkılaştırıyor.

3DMark Testi

Toplam sistem performansını ölçmek için popüler “oyuncular” 3DMark karşılaştırmasına baktık ve iş istasyonumuzda çalıştırdık. RTX 6000 Ada’nın Cuda sayısı ve saat hızı avantajı, kapıdan açıkça görülüyor.

Geek Bench 6

Geekbench 6, genel sistem performansını ölçen platformlar arası bir kıyaslamadır. Bu testte tek çekirdekli CPU puanlaması, çok çekirdekli CPU puanlaması ve GPU puanlaması yapılabilir ancak bu incelemede yalnızca GPU Puanlarına yer vereceğiz.

Geekbench Tarayıcısında istediğiniz herhangi bir sistemle karşılaştırmalar bulabilirsiniz  .

GPU Pi’si

GPU Pi testi, GPU’nun belirli miktarda PI rakamını ne kadar hızlı hesaplayabildiğini gösterir. Biz kendimizi 20 milyon haneli grup ve 512 azaltmayla 32 milyar haneyi hesaplayacak şekilde ayarladık. Ölçüm saniye cinsinden olduğundan burada daha düşük olması daha iyidir. 6000 Ada bu testte yüzde 69,2 daha iyi performans gösterdi.

Cinebench R24

Son testimiz yakın zamanda test programımıza eklediğimiz Cinebench 2024 olacak. Güncellemeler arasında gözle görülür fark, Cinebench’in artık aşağıda listelenen GPU test sonuçlarına sahip olmasıdır. Bu inceleme için CPU puanlamasını hariç tutuyoruz. Bu son testte 6000 Ada, yüzde 55,75 performans farkıyla A6000’e göre önemli bir avantaj gösteriyor.

Güç Testi

NVIDIA RTX 6000 Ada’nın sunduğu büyük performans artışının güç tüketimi üzerindeki etkisini görmek de önemlidir. Bunu aklımızda tutarak Quarch IEC Şebeke Güç Analizi Modülümüzü kullandık . Burada boştayken temel sistemin güç tüketimini ölçtük ve ardından düşük yük ölçümü için kartı Luxmark’a yükledik. Hem boşta hem de yükte, yeni RTX 6000 ölçülebilir bir güç tasarrufuna sahiptir; kartın sunduğu önemli performans artışı göz önüne alındığında bu etkileyicidir.

Çözüm

NVIDIA RTX 6000 Ada, yalnızca RTX A6000 iş istasyonu GPU’sunun halefi değildir; kapsamlı bir revizyondur. Teknik özellikler sayfası ve fiziksel benzerlik, artan iyileştirmeler önerebilir, ancak hata yapmayın: Bu GPU oyunu başkalaştırdı. Daha da iyisi, aynı güç aralığında bu devasa performans artışını sağlayarak A6000’e göre watt başına daha fazla performans sağlıyor.

Dell GPU Hızlandırılmış Sunucu Ailesi

PowerEdge XE sunucu ailesi, performans ve güvenilirlik gerektiren karmaşık yapay zeka ve HPC iş yükleri için özel olarak tasarlanmıştır. Bu sunucular yüksek performanslı, öngörü odaklı ve akıllı olacak şekilde tasarlanmıştır. Bugün, XE sunucu ailesi XE9680 (Jordan’ın favorisi olduğundan bahsetmiş miydik?), XE9640, XE8640 ve XE8545’ten oluşuyor. Tüm bu sunucular arasındaki ortak nokta, müşteriye anlamlı gelen bir soğutma seçeneğiyle çok çeşitli yapay zeka girişimlerini destekleyen tasarımdır.

Dell PowerEdge XE9640 – GPU Çeşitliliği ve Sıvı Soğutma

PowerEdge XE9640, iş ortağı CoolIT ile olan derin ortaklığı sayesinde GPU’lara ve CPU’lara doğrudan sıvı soğutma (DLC) sunar. Sunucu, DRAM, depolama ve PCIe genişletme kartlarının yeterli hava akışı ve soğutma almasını sağlamak için birkaç fan satıyor. Bununla birlikte, bu fanların maksimum RPM’de çalışmasına gerek olmadığı için önemli miktarda güç tasarrufu sağlanır.

PowerEdge XE9640, GPU çeşitliliğini masaya getirerek 4x NVIDIA NVLink bağlantılı H100 SXM5 GPU 700W modülü veya 4x Intel XeLink bağlantılı Intel Veri Merkezi GPU Max 1550 600W Açık Bilgi İşlem Platformu (OCP) Hızlandırıcı Modülü (OAM) arasında seçim olanağı sunar.

NVIDIA NVLink ve Intel Xelink gibi teknolojiler sayesinde bu GPU’lar sorunsuz bir şekilde iletişim kurarak belleklerini ve çekirdeklerini etkili bir şekilde bir araya toplar. Bu özellikle Büyük Dil Modelleri (LLM) gibi bellekle tutarlı iş yüklerinin işlenmesinde faydalıdır. Bu çok yönlülük, onu çok çeşitli yapay zeka iş yükleri için uygun hale getirir. Elbette bariz soru şu: “Peki ya AMD Instinct?” Dell sürekli olarak ek GPU desteğini değerlendiriyor ancak lansman sırasında bu sunucuda bir AMD çözümü sunmuyor.

Bu GPU çeşitliliği, kullanıcıların üretken yapay zeka, endüstriyel simülasyon modelleme ve son teknoloji bilimsel araştırmaların artan taleplerini karşılamasını sağlar. Örneğin, PowerEdge XE9640’ın Intel Veri Merkezi GPU Max hızlandırıcı yetenekleri, Texas Gelişmiş Bilgi İşlem Merkezi’nde (TACC) Stampede3 süper bilgisayarı için kullanılmaya başlandı .

Yoğunluk ve soğutma açısından PowerEdge XE9640, performansı artırırken raf alanını verimli şekilde kullanacak şekilde tasarlanmış ve tasarlanmıştır. Kompakt 2RU profiliyle bu sunucu, raf başına etkileyici GPU kapasitesi sunarak değerli veri merkezi alanını en üst düzeye çıkarır. DLC kullanan PowerEdge XE9640, verimlilik ve maliyet etkinliği açısından geleneksel hava soğutmalı sistemlerden daha iyi performans gösterir.

Dell PowerEdge XE9640 – Donanımın Geri Kalanı

“Sadece” GPU’ların ötesinde, XE serisinin arkasındaki mühendislik birinci sınıftır. Az önce XE9640 ve XE8640’ın video incelemesini yayınladık . Video, sürücü erişiminden ve XE9640’taki DLC borularının yönlendirilmesinden XE8640’taki kapalı döngü GPU sıvı soğutmasına ve tüm XE sunucularında gelecekteki iyileştirmelerin yoluna kadar tasarım hakkında mükemmel ayrıntılar sunuyor. Referans olması açısından aşağıya yerleştirilmiştir.

XE9640’a ek olarak, çerçevenin çıkarılması NVMe sürücülerine kolay erişim sağlar. Kasanın sağ tarafındaki iki yuva, NVMe önyükleme için optimize edilmiş depolama alt sistemi (BOSS) sürücülerini destekler ve 2 x M.2 SSD aracılığıyla HWRAID 1’i içerir. Günümüzde birincil depolama, 4 adet U.2 Gen4 NVMe sürücüsü aracılığıyla sağlanıyor. 8x E3.S Gen5 NVMe sürücüleri destekleyen bir SSD tepsisi seçeneği sayesinde bu, gelecekteki bir sürümde iki katına çıkacaktır. Platform, U.2 NVMe bölmeleri için HW RAID’i desteklemiyor, ancak çoğu buna ihtiyaç duymayacak. Bu GPU kutularının çoğu, harici olarak büyük veri kümelerinden yararlanır. Bu durumda yerel depolama, bu büyük veri kümeleri için birincil kaynak olmayacaktır.

Elbette, devasa depolama dizilerinden yararlanmak isteyen yapay zeka profesyonelleri için sunucunun arkasında iyi genişletme seçenekleri mevcut. XE9640, ikisi yarım yükseklikte ve ikisi tam yükseklikte olmak üzere dört adet PCIe Gen5 yuvasını destekler. Ayrıca bir PCIe Gen3 OCP NIC yuvanız var.

Sızıntı korkusunu ortadan kaldırmak için sıvı soğutmalı sunucular, iDRAC’ta sızıntı tespit raporlamasını içerir. Kasanın farklı kısımlarını deldiğinizde Dell’in sızıntıları tespit etme yöntemi oldukça inanılmazdır. Örneğin, aşağıdaki CPU soğutma plakası çekiminde, tüm su bloğunun etrafında kesikli bir desen halinde ince bakır izleri görebilirsiniz. Bu bağlantılara su damlarsa, açık kablo döngüsü küçük bir kısa devreyi algılar ve sistem bir sızıntının meydana geldiğini anlar. Şasinin diğer kısımlarında da benzer tespit yöntemi ile örgülü tel halat kullanılmaktadır. Bu, kasanın ön tarafında çok sayıda hortum bulunan ana sıvı dağıtım bloğunu gösteren fotoğrafımızda görülebilir. Ek olarak CoolIT CDU’ları ve döngünün geri kalanı da yol boyunca birçok noktada sızıntı tespit raporlamasına sahiptir.

Bu arada, hava soğutmalı XE8640 ve XE9680, iDRAC aracılığıyla aynı sızıntı tespitine sahip kapalı döngü GPU sıvı soğutmayı da içerir.

Raf Başına Gücü Optimize Etme

PowerEdge XE9640, müşterilere raf başına güç kullanımında ince ayar yapma fırsatı sunar. Raf başına dokuz sunucuyla, hızlandırılmış bilgi işlemin en yüksek yükü, dengeli performans için üç fazlı bir güç dağıtımı kullanan yaklaşık 41kW güç gerektirebilir. Veri merkezleri, ölçeği büyütmek için 12, 18 ve hatta 21 PowerEdge XE9640 sunucusunu barındıran raflara yerleştirerek sırasıyla yaklaşık 54kW, 81kW ve 95kW güç seviyelerine ulaşabilir. Bu uyarlanabilirlik, veri merkezlerinin raf gücü kullanımını belirli gereksinimlere göre optimize etmelerine olanak tanır.

Dell, müşterilere PowerEdge XE9640 hakkında kapsamlı bilgi sağlamak için çeşitli kaynakları derledi. Buna kutu açma videoları ve ayrıntılı ürün incelemeleri de dahildir. Kutudan çıkarma videosunda sunucunun tasarımı ve özellikleri sergileniyor ve müşterilere sunucunun yeteneklerine ilişkin görsel bir tur sunuluyor.

PowerEdge XE9640’ın avantajlarını daha da vurgulamak için Dell, onu hava soğutmalı muadili PowerEdge XE8640 ile karşılaştıran bir bilgi grafiği hazırladı . Bu infografik, PowerEdge XE9640’ın dikkat çekici farklılıklarını, özellikle de sıvı soğutmadaki verimliliğini ve raf başına etkileyici GPU kapasitesini vurgulamaktadır.

Son düşünceler

Dell PowerEdge XE9640 Sıvı Soğutmalı GPU PowerEdge XE9640, Dell’in genişleyen Üretken Yapay Zeka Çözümlerinin ayrılmaz bir parçasıdır ve yapay zeka iş yüklerinde devrim yaratmak ve yeniliği teşvik etmek için tasarlanmıştır. Dell’in Üretken Yapay Zeka çözümü, daha akıllı ve hızlandırılmış sonuçlar sunmak için en son teknolojiyi, yenilikçiliği ve Dell Technologies tarafından sunulan hizmetleri birleştirir. Kuruluşlar, üretken yapay zekanın yeteneklerinden yararlanarak yeni içgörüler elde edebilir, dönüşüm çabalarını hızlandırabilir ve iş gücü verimliliğini artırabilir.

XE9680, Dell GPU sunucuları arasında favorimiz olmaya devam etse de, XE9640 tamamen verimlilik ve tasarım perspektifinden kalplerimize girmeyi başardı. 2U şasi, muazzam miktarda mühendislik barındırıyor; Sıvı soğutmalı veri merkezleri açıkça bu güç tasarruflu kutulara yönelecek. Dört NVIDIA modülü kendileri için 2800 W güç tüketiyor; dolayısıyla Dell’in veri merkezlerinin raf ve güç açısından daha verimli olmasına yardımcı olmak için yapabileceği her şey ileriye doğru dev bir adımdır.