NVIDIA’nın kıdemli ürün pazarlama müdürü Anthony Larijani ve Supermicro’nun kıdemli ürün pazarlama müdürü Yusuke Kondo, OctoML’in kurucu ortağı ve CEO’su Luis Ceze ile üretken yapay zekanın bir kuruluşa nerede fayda sağlayabileceğinin nasıl belirleneceği ve kullanımıyla nasıl denemeler yapılabileceği hakkında konuştu. vakalar ve bir gen yapay zeka stratejisini desteklemek için kritik olan teknoloji.

Altyapı kararları ve iş yükü hususları

Laricani, ihtiyaçların altyapıyla eşleştirilmesinin ilk önemli gereklilik olduğunu söylüyor.

“Bunu yapmanın yolu nihai hedefi akılda tutarak başlamaktır” diye açıklıyor. “Bu altyapının ne için kullanılacağını hayal ettiğinizi, üzerinde çalışan iş yükü türlerini nasıl gördüğünüzü görselleştirmeye çalışın. Örneğin, çok büyük ölçekli bir temel modelin eğitimi doğrultusundaysa, çok sayıda kullanıcıya gerçek zamanlı performans sunması gereken bir çıkarım uygulaması sunmak için farklı hesaplama gereksinimlerine sahip olacaktır.”

Ölçeklenebilirlik de bu noktada devreye giriyor. Yalnızca modelin iş yükünü değerlendirmeniz gerekmez, aynı zamanda çalıştırıyor olabileceğiniz uygulamadaki talep türünü de tahmin etmeniz gerekir. Bu, ister toplu tipte bir kullanım durumu, ister sohbet robotu gibi gerçek zamanlı bir kullanım durumu olsun, çalıştıracağınız çıkarım iş yükü türleriyle ilgili diğer hususlarla örtüşmektedir.

Bulut ve şirket içi hususlar

Nesil AI uygulamaları genellikle ölçek gerektirir ve bu, bulut ve şirket içi değerlendirmelerin konuşmaya dahil olduğu anlamına gelir. Kondo, bunun açıkça ihtiyaç duyulan kullanım senaryosuna ve ölçeğe bağlı olduğunu ancak bunun yine de kritik ve temel bir karar olduğunu açıklıyor.

“Bulutu kullandığınızda elbette daha fazla esnekliğe ve kapsama alanına sahip olursunuz. Ölçek büyütmeniz gerektiğinde bunu yapabilirsiniz” diyor. “Şirket içi çalışmaya başladığınızda, kendiniz için bilişime ne kadar yatırım yapmanız gerektiğine karar vermeden önce bunu planlamanız ve nasıl ölçeklendireceğinizi tahmin etmeniz gerekir. Bu büyük bir başlangıç ​​maliyeti gerektirecek.”

Ancak üretken yapay zeka, özellikle ChatGPT gibi halka açık bir API’ye veri beslerken ve kontrol sorunlarını da beraberinde getirirken tamamen yeni bir düzeyde veri gizliliği hususları getiriyor; iş yükünü uçtan uca kontrol etmek mi istiyorsunuz, yoksa yalnızca API’den yeterince yararlanmak mı istiyorsunuz? Ve tabii ki, üretken yapay zeka yolculuğunuzda nerede olduğunuza bağlı olarak bir maliyet de var; bazı küçük deneylerle yeni başlıyorsunuz veya ölçeklendirmeye başlamaya isteklisiniz.

“Baktığınız projenin büyüklüğüne karar vermelisiniz. Sadece GPU bulutunu kullanmak mantıklı mı?” diyor. “Maliyet düşerken, hesaplama yeteneğinin arttığını tahmin ediyoruz. Altyapının mevcut fiyatına bakıldığında yalnızca GPU bulut örneklerini kullanmak mantıklı mı? Kendi yapay zeka altyapınıza çok fazla sermaye harcamak yerine, bunu GPU bulutunu kullanarak test etmek isteyebilirsiniz.”

Açık kaynak ve tescilli modeller

Laricani, şu anda kuruluş içindeki kullanım durumlarına yönelik dağıtımlar için daha küçük ölçekli, daha özelleştirilmiş, özel model türlerine doğru bir eğilim olduğunu söylüyor. Artırılmış üretimin alınması gibi teknikler sayesinde, özel verileri kullanabilen LLM’lerden yararlanmanın etkili yolları ortaya çıkıyor ve bu, altyapı seçimini doğrudan etkiliyor. Bu özel modeller daha az eğitim gereksinimi içerir.

“Bu modelin yalnızca kullanım durumunuza uygun olan bir kısmını yeniden eğitebilmek, eğitim süresini ve maliyetini azaltır” diye açıklıyor. “Müşterilerin maliyet açısından engelleyici olan kaynak türlerini gerçekten bu tür performansı gerektiren iş yükleri için ayırmalarına ve bu tür iş yüklerini çalıştırmak için maliyeti daha optimize edilmiş çözümlerden yararlanmalarına olanak tanıyor.”

İster açık kaynak ister tescilli olun, modeli ihtiyaçlarınıza göre nasıl boyutlandırırsınız?

Kondo, “Açık kaynaklı modeller kullanıyorsanız, temel modellerin daha özel bir duruma getirilmesi için ince ayar yapılması gerekiyor” diyor. “Bu, maliyetinizin optimizasyonunu ve GPU’ların altyapı kullanımınızın optimizasyonunu etkileyecek. Yatırım yaptığınız şeyi boşa harcamak istemezsiniz.”

Yazılım yığınınızla donanımı en üst düzeye çıkarma

Seçtiğiniz donanımdan en iyi şekilde yararlanmak aynı zamanda karmaşık bir sistem yazılımı yığını anlamına da gelir.

Kondo, “Bu yalnızca tek bir düzey değil; raf ölçeği ve ardından küme düzeyinde uygulama var” diyor. “Büyük ölçekli altyapı söz konusu olduğunda, açıkçası bu, açık kaynaklı bir modeli tek bir sistemle çalıştırmaktan çok daha karmaşık. Çoğu zaman gördüğümüz şey, NVIDIA konu uzmanlarını ilk aşamalardan itibaren dahil ettiğimiz, hatta rafları tasarladığımız, kümeyi NVIDIA’nın bir araya getirdiği yazılım kitaplıkları ve mimarisine dayalı olarak tasarladığımızdır. Müşteriler için doğru çözümü oluşturmak amacıyla NVIDIA ile yakın işbirliği içinde çalışarak rafları onların gereksinimlerine göre tasarlıyoruz.”

Laricani, eksiksiz bir yapay zeka yazılım yığını oluşturmanın karmaşık ve kaynak yoğun bir girişim olduğunu, bu nedenle NVIDIA’nın altyapıdan üzerinde çalışan yazılıma kadar tam kapsamlı bir bilgi işlem şirketi olmaya yatırım yaptığını ekliyor. Örneğin, NVIDIA AI kurumsal platformunun bir parçası olan Nemo çerçevesi, müşterilerin bir dizi üretken AI modeli ve uygulamasını oluşturmasına, özelleştirmesine ve dağıtmasına yardımcı olmak için uçtan uca bir çözüm sunuyor. Model eğitim sürecini optimize etmeye ve GPU kaynaklarını on binlerce düğüme verimli bir şekilde tahsis etmeye yardımcı olabilir. Modeller eğitildikten sonra, onları özelleştirerek belirli alanlardaki çeşitli görevlere uyum sağlayabilir.

“Bir kuruluş bunu geniş ölçekte uygulamaya hazır olduğunda Nemo çerçevesi, Triton çıkarım sunucumuz gibi birçok müşterimizin kullandığı ve aşina olduğu tanıdık araçlarla bütünleşir” diye ekliyor. “Müşterilerimizin yüksek verim ve düşük gecikmeyle verimli bir şekilde dağıtım yapmasına yardımcı olacak optimize edilmiş derleyici, bunların hepsi aynı tanıdık platform üzerinden yapılıyor ve hepsi NVIDIA sertifikalı Supermicro sistemlerinde mükemmel çalışacak şekilde optimize ediliyor.”

Yüksek Lisans’ların artan karmaşıklığına karşı geleceğe yönelik hazırlıklar

Kondo, LLM’lerin her geçen gün büyüdüğünü ve bu büyümenin yavaşlayacak gibi görünmediğini söylüyor. En büyük sorun sürdürülebilirliktir ve bu sunucuların güç gereksinimleri endişe vericidir.

“HGXH100’e bakarsanız GPU başına 700 watt olduğuna inanıyorum. Bunun sonunda GPU başına 1000 watt’a ulaşmasını bekliyoruz” diyor. “Bunu 10 yıl öncesiyle karşılaştırdığınızda, bu çok çılgınca. Bunu nasıl ele alacağız? Tamamen sıvı soğutmalı entegre çözümümüz üzerinde çalışmamızın nedenlerinden biri de budur. Güç kullanımı açısından, sıvı soğutma altyapısı tek başına size yüzde 40’ın üzerinde güç tasarrufu sağlayacaktır. Yeşil bilişim bizim girişimlerimizden biri ve bunun inovasyonumuzu kolaylaştıracağına gerçekten inanıyoruz.”

Paralel tarafta, ister model eğitimi ister müşterilere çıkarım hizmeti olsun, dağıtımları optimize etmeye yönelik yazılımın geliştirilmesi açısından devam eden verimlilikler de mevcut. Laricani, kuruluşların bu yeteneklerden uygun maliyetli ve sürdürülebilir bir şekilde yararlanmasına yardımcı olmak için yeni tekniklerin ortaya çıktığını söylüyor.

“Elbette, bu tür modelleri eğitmek için daha optimize edilmiş, yüksek kapasiteli sistemlere yönelik artan bir ihtiyaç olduğunu görüyoruz, ancak bunlara erişme ve bunları uygulama konusunda yeni yöntemlerin ortaya çıktığını da görüyoruz” diyor. “Her hafta olduğu gibi sık sık yapay zeka için yeni bir kullanım örneği görüyoruz. Uzayda kesinlikle çok ilginç şeyler oluyor. Yazılım açısından da ileriye dönük olarak bunları optimize etmek ve daha verimli hale getirmek için çalışacağız.”

Supermicro ve Nvidia AI Yapay Zeka çözümleri ile alakalı danışmanlığa ihtiyaç duyarsanız GTM Teknoloji ile irtibat kurabilirsiniz.

Tasarım ve Özellikler

Supermicro X13 SuperBlade kasası, yüksek yoğunluğu ve esnekliğiyle bilinen tanıdık 8U kasa tasarımını koruyor. Her kasa 20’ye kadar blade’i destekler; en yeni teklif, Emerald Rapids CPU’ların ve NVIDIA H100 GPU’ların entegre edilmesiyle önemli ölçüde geliştirilmiştir. Bu güçlü kombinasyon, benzeri görülmemiş hesaplama yetenekleri sunmayı vaat ediyor. Ayrıca kasada 200G InfiniBand ve 25G Ethernet iletişimi bulunuyor ve bu da yüksek hızlı veri aktarımı ve ağ verimliliği sağlıyor.

Popüler Kullanım Durumları:

1. Veri Analizi : Emerald Rapids CPU’ların gelişmiş işlem gücü ve NVIDIA H100 GPU’ların hızlandırılmış bilgi işlem yetenekleri ile X13 SuperBlades, zorlu veri analizi görevleri için son derece uygundur. Bu görevler, günümüzün veri odaklı dünyasında giderek daha kritik hale gelen gerçek zamanlı veri işleme ve kapsamlı veri madenciliği operasyonlarını içerir.
2. Yapay Zeka ve Makine Öğrenimi : X13 SuperBlade’ler, yapay zeka ve makine öğrenimi modelleri, özellikle de önemli hesaplama kaynakları gerektiren derin öğrenme algoritmaları için gerekli gücü sunar.
3. Yüksek Performanslı Bilgi İşlem : Mühendislikteki bilimsel simülasyonlar, tıbbi araştırmalar ve ileri hesaplamalı görevler, X13’ün gelişmiş performansından önemli ölçüde faydalanacak ve bu da onu yüksek performanslı bilgi işlem uygulamaları için birincil seçim haline getirecek.
4. Bulut Bilişim : Blade’lerin artan yoğunluğu ve performansı, onları bulut hizmeti sağlayıcıları için ideal kılmaktadır. Yoğun sanallaştırma ve konteynerleştirme gerektirenler de dahil olmak üzere birçok bulut tabanlı uygulama ve hizmeti yönetebilirler.
5. Ağ İletişimi ve İletişim : 200G InfiniBand ve 25G Ethernet iletişimiyle donatılan X13, yüksek bant genişliği ve düşük gecikmeli uygulamalarda öne çıkıyor ve bu da onu zorlu ağ oluşturma ve iletişim görevleri için uygun hale getiriyor. SuperBlade, harici ağ bağlantısı sayesinde bir merkez görevi görerek aynı raf veya veri merkezindeki geleneksel blade olmayan sunucularla InfiniBand ve Ethernet iletişimleri sağlayabilir.

Supermicro’nun sağladığı test donanımımızda toplam beş kanat vardı. Dördü tek bir işlemci ve PCIe hızlandırıcıyı alabilecek kapasiteyle donatılmıştı; bizim durumumuzda dört NVIDIA H100 ve bir çift işlemci kartı. Hesaplama blade’inin daha sonraki bir incelemesiyle devam edeceğiz; bu incelemenin uzunluğu, eklenmesinin biraz fazla olmasına neden oldu.

Supermicro X13 SuperBlade Veri Sayfası

Supermicro X13 GPU SuperBlade’ler

GPU blade’leri, ön tarafta bir giriş ile ve GPU yerine bazı 2,5 inç NVMe yuvalarına sahip olan çift işlemci blade’imiz ile ilk bakışta güçlerini gizler.

Arka tarafta, bıçağı kasaya bağlayan ve tüm gücü ve verileri taşıyan göz kamaştırıcı sayıda pin bulunur.

İçeriye baktığımızda GPU blade’inde m.2 önyükleme SSD’lerini görebiliyoruz.

Yukarıdan hava yönlendirici kılavuzları görebiliriz. GPU blade’i ile Çift CPU blade’i arasındaki farka dikkat edin. GPU blade anakartı Çift CPU ile aynıdır ancak yalnızca arka G/Ç yarısıdır.

Kasanın arkasından başlayarak PSU’ları ve ağ bağlantısını görebiliriz. En üstteki tam genişlikli anahtar 200 Gbit NVIDIA Quantum InfiniBand içindir. Alttaki iki anahtardan büyüğü 25G ethernet, ortadaki küçük modül ise Şasi Yönetim Modülü içindir.

Supermicro X13 SuperBlade Kasa Yönetimi ve Dağıtımı

Bir Şasi Yönetim Modülünün (CMM) Supermicro’nun SuperBlade X13 kasasına entegre edilmesi, bireysel blade’lerin ötesine geçerek tüm rafı kapsayan bir dizi avantaj sunarak veri merkezi operasyonlarının genel verimliliğini ve yönetilebilirliğini artırır. CMM, SuperBlade X13 sisteminin yönetimini kolaylaştıran merkezi bir kontrol noktası görevi görür.

Tüm kasa işlevleri için tek bir cam panel, blade kasa gibi entegre platformlar için kritik öneme sahiptir. Her ne kadar bireysel blade’leri kapatıp açma yeteneği bazıları için önemli olsa da, diğer birçok işlev günlük yönetim rutinlerinde değerli bir rol oynar.

Supermicro’nun CMM’si kasayı izlemek, takılı blade’leri görüntülemek ve kasanın arkasına takılı entegre anahtarları yönetmek için merkezi bir iniş noktası sunar. Bu bant dışı yönetim aynı zamanda cihazın IP adreslerini de alır, böylece bu merkezi noktadan bağlı her cihaza kolayca geçiş yapabilirsiniz.

CMM, sunucu blade’lerini yönetmenin yanı sıra aynı tek arayüz üzerinden ağ yönetimini de yönetir. Bu, kullanıcıların her iki bağlı anahtarın anahtar yönetimi ekranlarına ilgili IP adresleri görüntülenerek kolayca erişmesine ve görüntülemesine olanak tanır. CMM ayrıca daha büyük dağıtımlar için komşu sistemlerle de iletişim kurarak kapsamlı bir yönetim paketi sağlayabilir.

Supermicro SuperBlade SBI-411E-5G – NVIDIA H100 Performansı

Yüksek performanslı bilgi işlemde, NVIDIA H100’e sahip SuperBlade SBI-411E-5G, dağıtılmış eğitim ve tek bıçaklı çıkarım için çok yönlü ve güçlü bir araçtır. Bu esneklik, özellikle değişen iş yüklerini yöneten veri merkezlerinde olduğu gibi, hesaplama taleplerinin önemli ölçüde dalgalandığı durumlarda belirgindir.

Dağıtılmış Eğitim Senaryoları

SuperBlade H100 düğümleri, karmaşık yapay zeka modelleri için hayati öneme sahip bir süreç olan dağıtılmış eğitimde öne çıkıyor. Büyük ölçekli bir sinir ağı modelinin geniş bir veri kümesi üzerinde eğitildiği bir senaryo hayal edin. Modelin eğitimi, her biri H100’ün gelişmiş GPU’larının gücünden yararlanan birden fazla blade’e dağıtılmıştır. Bu dağıtım, eğitim sürecini hızlandırır ve daha büyük modellerin ve pratik olmayan veri kümelerinin tek makinelerde işlenmesine olanak tanır.

200G InfiniBand burada kritik bir rol oynuyor. Yüksek bant genişliğine sahip, düşük gecikmeli iletişimi, blade’ler arasında hızlı ve verimli veri alışverişinin hayati önem taşıdığı dağıtılmış eğitim için çok önemlidir. Bu bağlantı, veri ve öğrenme parametrelerinin tüm blade’ler arasında tutarlı ve hızlı bir şekilde senkronize edilmesini sağlayarak yüksek hacimli veri işlemede sıklıkla karşılaşılan darboğazları en aza indirir.

Laboratuvarda Dağıtılmış Eğitim

Dağıtılmış eğitim, büyük ölçekli makine öğrenimi ve derin öğrenme görevlerine yaklaşımımızda devrim yarattı. Veri kraldır ve büyük miktardaki eğitim verisini verimli bir şekilde işleme yeteneği bir süredir darboğaz olmuştur. Burası açık kaynaklı kitaplıkların ve dört PCIe GPU’lu Supermicro SuperBlade X13 gibi güçlü donanımların, özellikle yüksek hızlı 200G InfiniBand ağı üzerinden bağlanıldığında oyunun kurallarını değiştirdiği yerdir.

TensorFlow ve PyTorch gibi açık kaynaklı kitaplıklar, her üreticinin desteği ve doğrulamasıyla makine öğrenimi topluluğunun temel öğeleri haline geldi. Makine öğrenimi modellerini geliştirmek ve ölçeklendirmek için sağlam, esnek ve sürekli gelişen çerçeveler sunarlar. Doğal dil işleme veya bilgisayarlı görmede kullanılanlar gibi karmaşık modelleri eğitirken hesaplama gereksinimi şaşırtıcı olabilir. SuperBlade X13’ün devreye girdiği yer burasıdır.

SuperBlade X13 platformu, yüksek yoğunluklu bilgi işlem yetenekleriyle tanınmaktadır ve bu da onu HPC ortamları için mükemmel bir seçim haline getirmektedir. H100 PCIe GPU’larla donatılmış iki kat genişlikte, yarım yükseklikte SBI-411E-5G blade’leri kullanan SuperBlade X13, çok büyük paralel işlem görevlerini gerçekleştirmek için hava soğutmalı 10’a kadar GPU’yu ve kasa başına sıvı soğutmalı 20’ye kadar GPU’yu destekler . Daha da önemlisi, blade’ler gerçekten herhangi bir zamanda yeniden yapılandırılabilir, bu da onları bir işletmenin yapay zeka iş yükleri değiştikçe son derece esnek hale getirir.

InfiniBand’in son derece düşük gecikme süresi ve yüksek verimle kasaya getirilmesi, veri ve model parametrelerinin düğümler arasında sürekli geçiş yapmasına yardımcı olur. Bu yüksek hızlı ağ, özellikle büyük ölçekli veri kümeleri ve karmaşık model mimarileriyle uğraşırken, dağıtılmış sistemlerde genellikle bir darboğaz olan veri aktarım süresini önemli ölçüde azaltır.

Bu kurulumda dağıtılmış eğitim için açık kaynak kitaplıkların entegre edilmesi birkaç önemli adımı içeriyordu. İlk olarak, GPU yeteneklerini tam olarak kullanabilmek için optimize edilmiş kapsayıcıları ve kitaplıkları seçmemiz gerekiyordu. Bu, bu kitaplıkların CUDA özellikli sürümlerini kullanarak GPU’nun işlem gücünden doğrudan yararlanabilmelerini sağlamaktan oluşur. İkincisi, InfiniBand’ın NCCL (NVIDIA Toplu İletişim Kütüphanesi) ile birlikte kullanılması ve toplu çoklu GPU/çok düğümlü iletişim için optimize edilmiş iletişim rutinleri sağlanması gerekir.

Uygulamada, bu platformda dağıtılmış bir eğitim görevi ayarlarken, her düğüm (bu durumda her SuperBlade) modelin bir bölümünü çalıştırır. Model parametreleri, InfiniBand ağının hızı ve düşük gecikme süresi sayesinde düğümler arasında gerçek zamanlı olarak senkronize edilir. Bu senkronizasyon, modelin yakınsaması ve doğruluğu açısından çok önemlidir.

TensorRT ve LLM’ler

NVIDIA’nın TensorRT Büyük Dil Modeli (LLM), yapay zeka ve makine öğreniminde önemli bir ilerlemeyi temsil ediyor. Verimlilik ve hız için tasarlanan TensorRT LLM, karmaşık yapay zeka görevlerini işlemedeki olağanüstü performansıyla bilinen Blade sunucu sistemleri ekosisteminin önemli bir bileşenidir. Tasarımı, teknik profesyonellerin ve BT karar vericilerinin ihtiyaçlarını karşılayarak modern veri merkezlerinin zorlu bilgi işlem gereksinimlerini karşılamak için sağlam bir çözüm sunar.

NVIDIA’nın TensorRT LLM’sinin teknik çerçevesi, yapay zeka ve derin öğrenmenin tüm potansiyelinden yararlanmak üzere tasarlanmıştır. Sinir ağı çıkarımını optimize etmek için tasarlandığı için yüksek performanslı bilgi işlem ortamları için ideal bir seçimdir. TensorRT LLM, eğitimli modelleri optimize edilmiş çalışma süresi motorlarına dönüştürme yeteneği sayesinde kayda değer bir verimlilik elde ederek gecikmeyi önemli ölçüde azaltır ve verimi artırır. Bu özellik esas olarak hızlı veri işlemenin ve minimum yanıt sürelerinin çok önemli olduğu Blade sunucu sistemlerine yarar sağlar. Ek olarak, NVIDIA’nın geniş GPU yelpazesiyle uyumluluğu, çok yönlülüğünü artırarak onu çeşitli BT ayarlarında ölçeklenebilir bir çözüm haline getiriyor.

NVIDIA TensorRT LLM’nin öne çıkan özelliklerinden biri de dağıtılmış eğitim kapasitesidir. Bu husus özellikle büyük ölçekli makine öğrenimi modellerinin norm olduğu ortamlarda çok önemlidir. Dağıtılmış eğitim, TensorRT LLM’nin birden fazla sistemden yararlanmasına olanak tanıyarak hesaplama yükünü verimli bir şekilde dağıtır. Bu, doğruluk veya performanstan ödün vermeden karmaşık modellerin eğitim süresinde önemli bir azalmaya yol açar. Çeşitli düğümler arasında dağıtılmış eğitim gerçekleştirme yeteneği, TensorRT LLM’yi genellikle büyük kuruluşlarda ve araştırma tesislerinde bulunan geniş BT altyapılarına son derece uyarlanabilir hale getirir. Ayrıca bu dağıtılmış yaklaşım, gelişmiş yapay zeka projelerinde ortak bir zorluk olan devasa veri kümelerinin işlenmesini kolaylaştırarak daha sağlam ve karmaşık yapay zeka modeli geliştirilmesine olanak tanıyor.

TensorRT LLM’nin optimizasyonu ve yüksek performanslı çıkarım yetenekleri, Blade sunucularının yoğun, birbirine bağlı doğasına idealdir. Blade sistemleri, TensorRT LLM’den yararlanarak karmaşık yapay zeka modellerini daha verimli bir şekilde yürütebilir, böylece daha hızlı işlem süreleri ve daha az gecikme elde edilebilir. Bu, özellikle finansal modelleme veya sağlık hizmetleri teşhisleri gibi gerçek zamanlı veri analizinin ve karar vermenin gerekli olduğu senaryolarda kritik öneme sahiptir.

Supermicro SuperBlade’i TensotRT LLM’nin dağıtılmış eğitim yetenekleri ve birden fazla sisteme uyarlanabilirliği ile birleştirmek, varlığın teknik profesyoneller ve BT karar vericileri için değerini artırır. Kuruluşlar, bu güçlü kombinasyondan yararlanarak büyük ölçekli yapay zeka projelerini verimli bir şekilde yönetebilir, böylece daha hızlı işlem, daha az gecikme ve ölçeklenebilir yapay zeka dağıtımları elde edebilir. Bunu kolaylaştırmak için kasa içerisinde Quantum InfiniBand ağını kullanıyoruz.

MLPerf ile Tek Blade Çıkarım Performansı Karşılaştırması

GPU blade’lerindeki düğüm başına bir CPU’dan bir GPU’ya mimari, özellikle tek blade çıkarım görevleri için yapay zeka ve veri analitiği iş yükleri için potansiyel faydalar sunar. Bu tasarım, dengeli bir işlem gücü oranı sağlayarak GPU’nun yeteneklerinin en iyi şekilde kullanılmasını sağlar.

Tek Blade Çıkarımı performansını test etmek için MLPerf 3.1 Inference’ı hem çevrimdışı hem de sunucuda çalıştırdık. BERT (Transformatörlerden Çift Yönlü Kodlayıcı Gösterimleri), öncelikle soru yanıtlama, dil anlama ve cümle sınıflandırma gibi doğal dil işleme görevleri için kullanılan transformatör tabanlı bir modeldir. ResNet-50, görüntü sınıflandırma görevleri için yaygın olarak kullanılan bir evrişimli sinir ağı (CNN) modelidir. Derin mimarisi ve verimli performansıyla bilinen ResNet modelinin 50 katmanlı bir çeşididir.

• Çevrimdışı Mod: Bu mod, tüm veriler aynı anda işlenmeye uygun olduğunda sistemin performansını ölçer. Sistemin büyük bir veri kümesini tek bir toplu iş halinde işlediği toplu işleme benzer. Bu mod, gecikmenin birincil sorun olmadığı, ancak aktarım hızı ve verimliliğin önemli olduğu senaryolar için çok önemlidir.
• Sunucu Modu: Buna karşılık, sunucu modu, isteklerin teker teker geldiği gerçek dünya sunucu ortamını taklit eden bir senaryoda sistemin performansını değerlendirir. Bu mod gecikmeye duyarlıdır ve sistemin her isteğe ne kadar hızlı yanıt verebileceğini ölçer. Web sunucuları veya etkileşimli uygulamalar gibi anında müdahalenin gerekli olduğu gerçek zamanlı uygulamalar için çok önemlidir.

Çıkarım görevlerinde GPU, hesaplamanın ağır yükünden öncelikli olarak sorumludur. Sistem, onu özel bir CPU ile eşleştirerek, GPU’nun, paylaşılan CPU veya platform kaynakları tarafından tıkanmadan verimli bir şekilde çalışabilmesini sağlar. Bu, canlı video analizi veya anında dil çevirisi gibi gerçek zamanlı veri işleme senaryolarında çok önemlidir.

İlginç bir şekilde, bu 1:1 CPU-GPU oranının performansta daha fazla öngörülebilirlik sağladığını gözlemledik. Her düğüm bağımsız olarak çalışarak tutarlı işlem süreleri sağlar ve çıkarım görevlerindeki değişkenliği azaltır. Bu öngörülebilirlik, yanıt süresinin kritik olduğu ortamlarda hayati öneme sahiptir.

Genel olarak SuperBlade H100’deki bir CPU’dan bir GPU’ya yapılandırması her iki bileşenin etkinliğini en üst düzeye çıkarır. Bu, her düğümün bağımsız modelleri ve süreçleri çalıştırmasıyla, her düğümün çıkarım görevleri için en iyi performansı sunmasını sağlar. Bu mimari, sistemin gerçek zamanlı veri işleme taleplerini verimli ve güvenilir bir şekilde karşılama yeteneğini geliştirir.

Uyarlanabilir İş Yükü Yönetimi

Tüm bilgiler dikkate alındığında SuperBlade sisteminin son derece uyarlanabilir olduğu açıktır. Çıkarım talebinin yüksek olduğu yoğun saatlerde, bu görevleri yerine getirmek için daha fazla GPU özellikli blade dinamik olarak tahsis edilebilir ve böylece gerçek zamanlı isteklerin verimli bir şekilde ele alınması sağlanır. Bunun tersine, yoğun olmayan saatlerde bu kaynaklar, yapay zeka modellerinin ince ayarının yapılmasına veya zamana daha az duyarlı görevlerin işlenmesine odaklanacak şekilde kaydırılabilir. Bu esneklik, kaynakların optimum şekilde kullanılmasına olanak tanıyarak SuperBlade sisteminin değişen hesaplama yüklerini yönetmede sağlam ve verimli olmasını sağlar.

Bu Senaryolarda 200G NVIDIA Quantum InfiniBand’ın Avantajları

SuperBlade H100 sistemine 200G InfiniBand’ın dahil edilmesi, yüksek hızlı veri aktarımının omurgasını sağlayarak bu senaryoları geliştirir. Dağıtılmış eğitim, blade’ler arasında verilerin daha hızlı senkronize edilmesini sağlar; bu, eğitim sürecinin tutarlılığını ve hızını korumak için gereklidir. Tek kanatlı çıkarım, büyük veri kümelerinin işlenmek üzere blade’e hızlı bir şekilde taşınabilmesini sağlar, gecikmeyi azaltır ve verimi artırır.

Quantum InfiniBand’da Neler Var?

Yüksek performanslı bilgi işlemin temel taşı olan InfiniBand, başlangıçta süper bilgi işlem kümeleri içinde giderek artan veri aktarımı ve iletişim taleplerini karşılamak için geliştirilen yüksek hızlı bir ara bağlantı teknolojisidir. Bu son derece uzmanlaşmış ağ çözümü yıllar içinde gelişerek son derece düşük gecikme süresi ve yüksek bant genişliği sunarak HPC ortamlarındaki sunucuları, depolama sistemlerini ve diğer bileşenleri bağlamak için ideal hale getirdi.

Gönderdiğimiz Supermicro X13 blade’ler 200G InfiniBand ağı ve 25G ethernet ile donatılmış olarak geldi. Bu, özellikle dağıtılmış eğitim ve diğer gecikmeli ve veri yoğunluklu görevler üzerinde çalışırken yararlı oldu. Yukarıda bahsedilen oldukça değişken (ve zaman alıcı) birkaç eğitim döneminden sonra, InfiniBand ağının blade kasasının sayısız pininde gizli olan gerçek dünya test ölçümlerini sağlamak için farklı bir ölçüme ihtiyacımız olduğunu belirledik. Çalıştırmadan çalıştırmaya ince ayarın aşırı değişkenliği göz önüne alındığında, bu görevler için bunun gibi çok düğümlü bir sistem kullanmanın etkisini veya etki eksikliğini ölçmeye çalışmak sorumsuzluk olacaktır. Sonuçlar şaşırtıcının da ötesindeydi.

 NVIDIA ClusterKit’e girin . NVIDIA ClusterKit, çok düğümlü GPU kümelerinin tüm potansiyelini test etmek için tasarlanmış bir araç seti olup, yapay zeka ve HPC uygulayıcılarına iş yüklerinin performansını, verimliliğini ve ölçeklenebilirliğini ölçmek için ilginç bir araç paketi sunar.

ClusterKit’te iki temel araca odaklandık:

• Bant Genişliği Testi: Bant genişliği, HPC’de belirli bir zamanda ağ üzerinden iletilebilecek veri miktarını yansıtan kritik bir ölçümdür. Supermicro SuperBlade kurulumunda düğümler arasındaki çift yönlü (duplex) bant genişliğini ölçmek için NVIDIA ClusterKit’i kullandık. Çift yönlü ölçümler, verilerin her iki yönde aynı anda aktığı gerçek dünya senaryosunu yansıttıkları için önemlidir.
• Gecikme Testi: Gecikme veya bir mesajın ağdaki bir noktadan diğerine gitmesi için geçen süre, bir diğer önemli performans ölçütüdür. Düşük gecikme, sıkı bir şekilde bağlı HPC uygulamalarında önemlidir. NVIDIA ClusterKit’in çift yönlü gecikme sürelerini doğru bir şekilde ölçme yeteneği, SuperBlade’lerdeki InfiniBand ağının yanıt verme hızına ilişkin değerli bilgiler sağladı.

ClusterKit ile SuperBlade InfiniBand ve H100 GPU Karşılaştırma Sonuçları

Bu bölüme girerken, her düğümün benzersiz bir etiketle (örneğin, smci-a7, smci-a1, vb.) tanımlandığını anlamak önemlidir. -1, -3, -5 ve -7’nin gösterimi, blade’in kasadaki fiziksel konumunu yansıtan ana bilgisayar adıdır.

İlk test, kümedeki çeşitli düğümler arasındaki çift yönlü bant genişliğini ölçmeye odaklandı. Test, 16 kez yinelenen 8.388.608 baytlık bir mesaj boyutunu içeriyordu.

GPU Doğrudan Testleri

İlk önce GPU Direct testlerine bir göz atıyoruz. Bu, bu yazının yazıldığı sırada mevcut olan en yeni ve en iyi SDK’ların ve araç takımlarının tümünü kullanarak blade platformunun mutlak maksimum verimini bildirir. Testin bant genişliğini çift yönlü olarak rapor ettiğini, yani bant genişliğinin her iki yönde de toplam olduğunu belirtmek önemlidir. Tek yön yaklaşık yarım olacaktır. Temel çıkarım, bant genişliğini sınırlayan faktörün 200G InfiniBand olduğudur, ancak daha sonra göreceğimiz gibi bu çok fazla endişe kaynağı değildir.

Aşağıdaki matris GPUDirect kullanılarak çift yönlü bant genişliğini göstermektedir.

Bant Genişliği Matrisi MB/sn

Gecikme kullanım süresi

Sırada mikrosaniyelerle ölçülen dikkat çekici gecikme testi sonuçları vardı. GPU Direct testleri, birden fazla GPU’nun yerel olarak bir ana bilgisayara sahip olması kadar iyiydi.

GPU Komşu Testleri

GPU komşu testlerine geçersek, bant genişliği yine çift yönlü olarak raporlanır, yani bant genişliği her iki yönde de toplamdır. Tek yön yaklaşık yarım olacaktır. Aşağıdaki matris, dört düğümün her birindeki H100 kartları arasındaki çift yönlü bant genişliğini gösterir. Bu, GPUDirect kitaplıklarının hızlandırılmasını kullanmaz. 1, 3, 5 ve 7’nin gösterimi, blade’in kasadaki fiziksel konumunu yansıtan ana bilgisayar adıdır.

GPU Komşu Bant Genişliği (MB/s)

“GPU Komşu Bant Genişliği” testi, aynı sistem veya düğüm içindeki komşu GPU’lar arasındaki veri aktarım hızını ölçer. Bu ölçüm, çoklu GPU paralel işleme görevleri gibi birbirine yakın GPU’lar arasında sık veri alışverişi gerektiren uygulamalar için çok önemlidir. Bant genişliği ne kadar yüksek olursa veri aktarımı da o kadar hızlı olur ve bu da GPU’nun yoğun kullanıldığı uygulamalarda potansiyel olarak iyileştirilmiş performansa yol açar.

GPU Bellek Bant Genişliği (MB/s)

“GPU Bellek Bant Genişliği” testi, verilerin GPU’nun kendisi tarafından GPU belleğinden okunma veya burada saklanma hızını değerlendirir. Bu bant genişliği, özellikle büyük veri kümeleri içeren veya görüntü işleme, simülasyonlar veya derin öğrenme gibi görevler için yüksek verim gerektiren uygulamalar için kritik bir performans unsurudur. Daha yüksek bellek bant genişliği, GPU’nun büyük hacimli verileri verimli bir şekilde işleme yeteneğinin daha iyi olduğunu gösterir. Bu test bize X13 Blade’lerin H100 GPU’ları sürdürmede sorun yaşamadığını gösteriyor.

GPU’dan GPU’ya Bant Genişliği (MB/s)

Bu test, farklı GPU’lar arasındaki çift yönlü bant genişliğini ölçer. Birden fazla GPU’ya dağıtılmış karmaşık hesaplamalar içeren ve GPU’lar arasındaki veri aktarım hızının genel işlem süresini önemli ölçüde etkileyebildiği görevler için bu gereklidir. GPU’dan GPU’ya yüksek bant genişliği, çoklu GPU iş akışlarını ve paralel bilgi işlem görevlerini hızlandırmak için faydalıdır.

GPU0 – Uzak Ana Bilgisayar Bant Genişliği (MB/s)

“GPU0’dan Uzak Ana Bilgisayar Bant Genişliğine” testi, birincil GPU (GPU0) ile uzak ana bilgisayar sistemi arasındaki veri aktarım hızını ölçer. Bu, verilerin ana GPU ile ağ bağlantılı bir sistemin diğer bölümleri arasında sık sık taşınması gereken, dağıtılmış derin öğrenme eğitimi veya uzak sunuculardaki veri analizi gibi görevleri etkileyen dağıtılmış bilgi işlem ortamlarında hayati öneme sahiptir.

GPU Komşu Gecikmesi (μsaniye)

“GPU Komşu Gecikmesi” testi, küçük miktarda verinin bir GPU’dan komşu GPU’ya gitmesi için geçen süreyi ölçer. Özellikle gerçek zamanlı veri işleme veya GPU’lar arasında yüksek hızlı iletişim gerektiren, gerçek zamanlı işleme veya karmaşık bilimsel simülasyonlar gibi uygulamalarda gecikmenin daha düşük olması arzu edilir.

GPU’dan Uzak Ana Bilgisayara Gecikme (μsaniye)

“GPU0’dan Uzak Ana Bilgisayara Gecikme” testi, birincil GPU (GPU0) ile uzak ana bilgisayar sistemi arasındaki veri iletişimindeki gecikmeyi ölçer. Bu gecikme, dağıtılmış bilgi işlem ortamlarında kritik bir faktördür ve bulut tabanlı oyun veya uzaktan veri işleme gibi GPU ile uzak sistemler arasındaki etkileşime dayanan uygulamaların yanıt verme hızını ve verimliliğini etkiler.

NVIDIA ClusterKit testleri, Supermicro SuperBlades’teki InfiniBand ağı için etkileyici performans ölçümlerini ortaya çıkardı. Çift yönlü bant genişliği testleri, InfiniBand’ın yeteneklerinin verimli şekilde kullanıldığını gösteren yüksek veri aktarım hızlarını ortaya çıkardı. Benzer şekilde, gecikme testleri minimum gecikmeler göstererek ağın zorlu HPC görevleri için uygunluğunu ortaya koydu. Bu, bu platformun bağımsız sistemlerle aynı performansı gösterdiği ve çok daha yüksek yoğunlukta bilgi işlem ve ağ iletişimi sunduğu anlamına geliyor; hepsi birleştirilmiş bir çözümde.

Bağımsız GPU Sunucu Testi

Daha sonra, 4x NVIDIA H100’leri aynı anda 4’ünü de destekleyebilen bir Supermicro 4U AMD EPYC GPU Sunucusuna taşıdık , GPU’yu GPU’ya ve gecikmeye kadar test etmeye baktık. Çapraz bıçak iletişimi olmadan, yalnızca bu sunucudaki kartların performans profilini anlamaya çalıştığımızı anlamak çok önemlidir. Bu 4U sunucu, destekleyebileceği kartlar açısından esnek olsa da, Supermicro X13 SuperBlade Kasasının sunduğu olağanüstü şekillendirilebilirliğe sahip değil. Elbette Supermicro her zamanki gibi sıvı soğutmalı soketli GPU’lar da dahil olmak üzere her uygulama için bir çözüm sunuyor.

Öncelikle tek platformdaki 4 GPU’nun eşler arası Bant Genişliğine bakalım.

 Yazma Bant Genişliği (GB/s) – Tek Yönlü

Okuma Bant Genişliği (GB/s) – Tek Yönlü

Burada GPU0 ve GPU1 GPU’larının bir NUMA düğümünde, GPU2 ve GPU3’ün ise başka bir NUMA Düğümünde olduğunu unutmamak önemlidir. NUMA düğümünü geçmenin performans üzerindeki etkisini burada açıkça görebilirsiniz.

Kopyalama Motoru (CE) – Yazma Gecikmesi (bize)

Son olarak, GPU’dan GPU’ya olan gecikmeyi ölçüyoruz.

Beklendiği gibi, tüm GPU’ları tek bir platforma taşımak, Blade’in 200G IB bağlantılarına kıyasla bize 2 kat bant genişliği sağlıyor. Buradaki bant genişliği uygulama için dikkate alınması gereken bir husus olabilir, ancak mikrosaniye mertebesinde çalışan gecikme sayılarından bahsederken, hepsi tek bir kasadayken ortalama 1,6 us GPU’dan GPU’ya geçişin rapor edilmesinde büyük bir değişiklik yoktur. PCIe Veriyolunu geçmek zorunda kaldığınızda bıçaklarda 1,5us, IB anahtarı ve GPU’ya geri dönüş dikkat çekicidir. Ancak hikayenin tamamı bu değil  .

Çözüm

Supermicro X13 SuperBlade, Emerald Rapids CPU’ları ve NVIDIA H100 GPU’ları ile blade’in hizmet edebileceğinin memnuniyetle karşılanan bir evrimidir. Yetenekleri çeşitli yoğun hesaplamalı görevlere uzanır ve bu da onu veri analitiğinden yapay zeka ve bulut bilişime kadar çeşitli endüstriler için çok yönlü ve sağlam bir çözüm haline getirir. Yüksek performanslı bilgi işlem talebi artmaya devam ederken X13, Supermicro’nun sunucu teknolojisinde yenilikçiliğe ve mükemmelliğe olan bağlılığını göstererek bu zorlukların üstesinden gelmeye hazırdır.

Testlerden elde edilen her şey dikkate alındığında, bütünsel bir bakış açısıyla benzersiz ve son derece uyarlanabilir doğası sayesinde bu platformla özellikle ilgileniyoruz. Platformun uygulamasını bağlamsallaştırmak önemlidir.

Tüm yüksek işlem gücünüz için rafınızda Supermicro X13 Blade sisteminin bulunduğu bir araştırma departmanındaki bir senaryoyu hayal edin. Platformda yerleşik olarak bulunan merkezi yönetim altyapısını yalnızca blade’leri ve platformu kontrol etmek için değil, aynı zamanda diğer ekipman parçalarının kontrolü, ağ iletişimi ve yönetimi için bir merkez olarak da kullanabilirsiniz. Veriye aç GPU’ları beslemek için SuperBlade’lere yeterince güçlü bir depolama sunucusu yuvası bağladığınızda, tüm bitleri hat hızında modellerinize alabilirsiniz. Bu hayali senaryoda, tüm GPU’larımızın gün içinde farklı araştırmacılar tarafından kullanılmasını sağlayabiliriz ve ardından zamanı geldiğinde tüm blade’leri InfiniBand üzerinden bağlayıp birlikte çalışmasını sağlayabiliriz.

CPU ile GPU arasındaki bire bir ilişkinin bant genişliği testi, tam yüklü bir blade kasası göz önüne alındığında, blade sistemiyle ek kart GPU’larına sahip tek bir sunucudan daha iyi performans gösterebileceğinizi de gösterdi. Düzgün tasarlanmış dağıtılmış bir eğitim iş akışıyla, aslında tüm GPU’ların tek bir düğümde olması kadar iyi veya bundan daha iyi bir performans görebilirsiniz, ancak artık çift görevi kolayca üstlenerek ön GPU maliyetini yarıya indiren bir platforma sahip oluyorsunuz . En yeni CPU’ların desteği sayesinde, uygulamaya konulduktan sonra HDR InfiniBand’dan NDR’ye geçmeyi sabırsızlıkla bekliyoruz; çünkü bu, SuperBlade’leri tek bir GPU sunucu platformunda alabileceğiniz performansın çok üstüne ve ötesine taşıyacaktır.

Supermicro X13 SuperBlade kasası ve GPU blade’leri, gelişen veya düzenli olarak değişen yapay zeka ihtiyaçları için son derece uyarlanabilir, sağlam bir seçimdir. Platformda geçirdiğimiz uzun süre boyunca, DRAM, CPU ve GPU değişiklikleri veya yapay zeka dünyasında bilindiği şekliyle “başka bir gün” ihtiyacıyla karşılaştık ve bunların tümü platform tarafından kolaylıkla karşılandı. Genel olarak, platform sağlamdır ve kendisinden istenecek çok fazla şey bırakmadan yapay zeka alanı için ilgi çekici ve güçlü bir cihaz olarak karşımıza çıkar. Rakip sistemlerin fiyat noktaları göz önüne alındığında, bir bıçağın esnekliğinden yararlanabiliyorsanız, bu neredeyse rakipsizdir.

Kaynak : StorageReview.com

Supermicro Super Blade Çözümleriyle ilgili olarak Supermicro Türkiye Katma Değerli Resmi Distribütörü GTM Teknoloji ile irtibat kurabilirsiniz.

Supermicro günümüz BT ve veri merkezi sahiplerinin yüksek performans ve ölçeklenebilirlik ihtiyaçlarını karşılamayı amaçlayan yeni bir sunucu çözümünü tanıttı. Microcloud AS-3015MR-H8TNR, AMD Ryzen 7000 Zen 4 çekirdek mimarisini destekleyen Super H13SRD-F anakart tabanlı düğümlere sahip 8 kanatlı bir kasadır.

Supermicro MicroCloud

Bu AMD işlemciler, 5,7 GHz’e kadar maksimum yükseltme hızıyla olağanüstü performans sunarak PCIe Gen5 depolamayı, düğüm başına 128 GB’a kadar DDR5-5200 MHz RAM’i ve CPU başına 16 çekirdeğe kadar desteklemelerine olanak tanıyor. Supermicro, Ryzen 7000 Serisi donanım yazılımını ve sunucu kullanımlarına göre optimize etmek için AMD ile yakın iş birliği yaptı.

Microcloud AS-3015MR-H8TNR, E-ticaret, bulut oyunları, kod geliştirme, içerik oluşturma ve sanal özel sunucular gibi çeşitli uygulamalar için tasarlanmıştır. Supermicro, BT yöneticilerine kompakt ve yüksek performanslı bir seçenek sunacaklar. İç ve dış müşterilere azaltılmış gecikmelerle hizmet sunmalarına olanak tanıyacaklarını vurguladılar.

Bu düğüm tabanlı sunucu kasayı, güç kaynağını ve soğutma sistemini paylaşır. Bireysel düğümlerin kendi CPU, bellek ve depolama setini içerdiği ve daha büyük bir sunucu altyapısı oluşturmak üzere bir araya getirildiği modüler bir sunucu mimarisidir.

Bu, bir ton ölçeklenebilirlik, esneklik ve verimli kaynak tahsisine olanak tanır. Bulut bilişim, sanallaştırma ve yüksek performanslı bilgi işlem uygulamaları için ideal kılar. Bu sunucu türlerinin yönetimi ve bakımı daha kolaydır. Kaynak kullanımı iyileştirilmiştir. Kaynakları bağımsız olarak ölçeklendirme özelliğine sahiptir. Bu da daha iyi performans ve maliyet verimliliği sağlar.

Supermicro AS-3015MR-H8TNR Ayrıntılar

A+ Sunucu AS-3015MR-H8TNR düğümlerine arkadan servis veriliyor. Her biri Süper H13SRD-F anakart tarafından çalıştırılıyor. Zorlu bilgi işlem görevleri için etkileyici performans ve çok yönlülük sunar.

Her düğümde, CPU başına 16 çekirdeğe kadar AMD Ryzen Zen4 İşlemcileri destekleyen tek Soket AM5 CPU bulunabiliyor. Supermicro, 65W’lık etkileyici bir 170W’a kadar TDP’ye sahip CPU’ları destekleyebileceğini belirtiyor. Yüksek verimli hava soğutmalı tasarımı sayesinde bu durumun üstesinden gelebiliyor.

Her düğüm, 5200 MHz’de 128 GB’a kadar DDR5 UDIMM belleği barındıran 4DIMM yuvası sağlanıyor. 2 adet 3,5″ çalışırken değiştirilebilir NVMe/SAS/SATA sürücü yuvası destekliyor. 2 adet U.2 NVMe sürücüsü dahil çeşitli depolama seçeneklerini destekler. Yüksek hızlı ve esnek depolama özellikleri sunar.

Sunucu, daha fazla esneklik sağlamak için düşük güçlü bir GPU barındırır. PCIe 5.0 x16 LP ve PCIe 5.0 x8 MLP genişletme yuvası ile donatılmıştır.

Sunucu, 4x 8 cm ağır hizmet fanları ve stratejik olarak yerleştirilmiş hava örtüleriyle soğutma sağlıyor. Sıcaklığı etkili bir şekilde yönetir. CPU çekirdekleri, voltaj seviyeleri ve bellek dahil kritik bileşenleri izleyerek optimum performans ve kararlılık sağlar. Kasa, kompakt ve sağlam bir yapıya sahip, 3U rafa monte form faktöründe tasarlanmıştır.

Sunucu, güvenli işlemler sağlayan ve hassas verileri koruyan TPM 2.0 dahil gelişmiş güvenlik özellikleriyle donatılmıştır.

Bu sunucuya güç sağlayan, verimli güç dağıtımı sağlayan 2.200 W yedekli titanyum bir güç kaynağıdır. RoHS standartlarıyla uyumludur ve 10°C ila 35°C (50°F ila 95°F) arasındaki geniş sıcaklık aralığında çalışır. Bu onu çeşitli ortamlar için uygun kılar.

Supermicro, günümüzün BT ve veri merkezi sahiplerinin yüksek performans ve ölçeklenebilirlik ihtiyaçlarını karşılamayı amaçlayan yeni bir sunucu çözümünü tanıttı. Supermicro Microcloud AS-3015MR-H8TNR, AMD Ryzen 7000 Zen 4 çekirdek mimarisini destekleyen Super H13SRD-F anakart tabanlı düğümlere sahip 8 kanatlı bir kasadır.

Supermicro Microcloud

Bu AMD işlemciler, PCIe Gen5 depolamayı, düğüm başına 192 GB’a kadar DDR5-5200 MHz RAM’i ve CPU başına 16 adede kadar çekirdeği (32 iş parçacığı) desteklemelerine olanak tanıyan 5,7 GHz’e kadar maksimum artırma hızıyla olağanüstü performans sunar. Supermicro, Ryzen 7000, Ryzen 9 9900X ve AMD EPYC 4004 Serisi işlemci desteğiyle geniş bir işlemci yelpazesini destekler. Üretici yazılımını özellikle sunucu kullanımlarına göre optimize etmek için AMD ile yakın işbirliği yaptı ve bu gelişmiş, optimize edilmiş çözümleri yakın zamanda piyasaya sunuldu.

Microcloud AS-3015MR-H8TNR, E-ticaret, bulut oyunları, kod geliştirme, içerik oluşturma, sanal sunucu, bulut sunucu, hosting sunucu ve sanal özel sunucular gibi çeşitli uygulamalar için tasarlanmıştır. Supermicro, BT yöneticilerine kompakt ve yüksek performanslı bir seçenek sunacaklarını ve hem iç hem de dış müşterilere azaltılmış gecikmelerle hizmet sunmalarına olanak tanıyacaklarını vurguladı.

Supermicro MicroCloud server AS -3015MR-H8TNR Cloud sunucuları, tüm bu özelliklerinin yanı sıra, her bir sunucu modülü üzerine GPU desteği de sunarak derin öğrenme, yapay zeka iş yükleri içinde fiyat, performans ve fayda endeksi yüksek güçlü bir yardımcı olmaktadır.

Bu düğüm tabanlı sunucu, kasayı, güç kaynağını ve soğutma sistemini paylaşırken, bu, daha büyük bir sunucu altyapısı oluşturmak için birleştirilmiş ayrı düğümlerin kendi CPU, bellek ve depolama setlerini içerdiği modüler bir sunucu mimarisidir.

Bu, tonlarca ölçeklenebilirlik, esneklik ve verimli kaynak tahsisi sağlayarak bulut bilgi işlem, sanallaştırma ve yüksek performanslı bilgi işlem uygulamaları için idealdir. Bu sunucu türlerinin yönetimi ve bakımı daha kolaydır, gelişmiş kaynak kullanımına sahiptir ve kaynakları bağımsız olarak ölçeklendirme özelliğine sahiptir, bu da daha iyi performans ve maliyet verimliliği sağlar.

Supermicro AS-3015MR-H8TNR Ayrıntıları

A+ Sunucu AS-3015MR-H8TNR düğümlerine arkadan hizmet verilir ve her biri, zorlu bilgi işlem görevleri için etkileyici performans ve çok yönlülük sunan Super H13SRD-F anakart tarafından desteklenir.

Her düğümde, CPU başına 16 adede kadar çekirdek ve 32 iş parçacığı için AMD Ryzen Zen4 7950X ve Ryzen 7950X3D, Ryzen 9 9900X, AMD EPYC 4004 serisi İşlemcileri destekleyen tek bir Soket AM5 (LGA-1718) CPU bulunur. İlginç bir şekilde, Supermicro, etkileyici bir 170W’a kadar 65W’lık bir TDP’ye (belirli bir bileşen tarafından üretilen maksimum ısı miktarının bir ölçüsü) sahip CPU’ları destekleyebileceğini belirtiyor. Yüksek verimliliğe sahip hava soğutmalı tasarımı sayesinde bunun üstesinden gelebilir.

Bellek açısından, her düğüm, 5200 MHz’de çalışan 192 GB’a kadar DDR5 UDIMM belleği barındıran 4 DIMM yuvası sağlar. Sistem, yüksek hızlı ve esnek depolama yetenekleri sunan 2x 3,5″ çalışırken değiştirilebilir NVMe/SAS/SATA sürücü bölmeleri veya iki U.2 NVMe sürücü dahil olmak üzere çeşitli depolama seçeneklerini destekler. Ek olarak, bir M.2 NVMe yuvası mevcuttur.

Sunucu ayrıca daha da fazla esneklik sağlamak için düşük güçlü bir GPU (NVIDIA L4, A2, T4) barındırabilen bir PCIe 5.0 x16 LP ve bir PCIe 5.0 x8 MLP genişletme yuvası (ağ için) ile donatılmıştır.

Sunucu, 4x 8cm ağır hizmet fanları ve stratejik olarak yerleştirilmiş hava örtüleri ile güvenilir ve verimli soğutma sağlar. Sıcaklığı etkili bir şekilde yönetir ve CPU çekirdekleri, voltaj seviyeleri ve bellek dahil olmak üzere kritik bileşenleri izleyerek optimum performans ve kararlılık sağlar. Kasa, kompakt ve sağlam bir yapıya sahip, 3U rafa monte form faktöründe tasarlanmıştır.

Supermicro AS-3015MR-H8TNR AMD Ryzen 7000 Blade sunucuyu supermicrosunucu.com üzerinden konfigure ederek satın alabilirsiniz.

Supermicro AS-3015MR-H8TNR Teknik Özellikleri