Bunu SC23 için birkaç kez yaptığımız için, Giga Computing/Gigabyte’ın büyük NVIDIA AI sunucularını fuarda sergilemek istedik. Gösteriden ilk beşimizi seçtik, bu yüzden birkaç fotoğraf çektik ve üzerlerinde hızlı bir çalışma yapmak istedik.

Ultra hızlı kısa video versiyonunu isteyenler için yeni kamera arkası kısa video kanalımız STH Labs’ta bu var .

İşte ilk 5’imiz.

Gigabyte G593-SD0 NVIDIA HGX H100 8-GPU Sunucusu

Gigabyte G593-SD0 büyük olanıdır, eğer isterseniz büyük gösteri. Bu, Gigabyte’ın 8 GPU’lu NVIDIA HGX H100 platformudur.

Gigabyte’ın sahip olduğu benzersiz özelliklerden biri, öne monteli BMC ve arkadaki kart yuvalarına ek olarak depolama ve ağ kartı seçenekleridir.

Gigabyte, 4. veya yeni 5. Nesil Intel Xeon ailelerinden, her biri tam 16 DIMM setine (toplam 32) sahip çift işlemciye sahiptir.

Sekiz NVIDIA H100 GPU, dışarı kayan bir tepsiye yerleştirilmiştir.

İşte aydınlatmayı başardığımız sistemin içine harika bir bakış. Gigabyte, kasanın hem üst orta hem de alt taraflarında genişletme yuvalarına sahiptir.

Bu, ilk 2 veya ilk 3 müşterisi nedeniyle pazarda çok önemli bir HGX H100 platformudur.

Gigabyte G493-SB0 8x PCIe GPU Sunucusu

Gigabyte G493-SB0’ın ön tarafı, NVMe SSD ve sabit sürücü depolaması, iki genişletme yuvası ve ardından yönetim ve kontrol düzlemi ağı için ön G/Ç ile gerçekten ilgi çekicidir.

Gigabyte G493-SB0, yine Intel Xeon işlemcileri temel alan 8x PCIe Gen5 çift genişlikli bir GPU sunucusudur.

Kasanın ortasındaki fanlar gerçekten eğlenceli çünkü bize 2018’de incelediğimiz Gigabyte G481-S80 8x NVIDIA Tesla GPU sunucusunu biraz hatırlatıyorlar . Bu soğutma tasarımı temalarının bu şekilde nesillere yayıldığını görmek harika.

Arkada 4x 3kW güç kaynakları ve NVIDIA L40S gibi kartlar için sekiz adet çift genişlikli GPU yuvası bulunuyor .

Bu, yarım on yılı aşkın bir süredir yapay zeka sistemleri için temel bir platform olmuştur.

Gigabyte H223-V10 NVIDIA Grace Haznesi 2U 4 Düğümlü Sunucu

Gigabyte H223-V10, 72 Arm çekirdeğine ve düğüm başına bir NVIDIA Hopper GPU’ya sahip bir NVIDIA Grace Hopper sistemidir.

Her düğüm, arka G/Ç genişletme kartlarıyla birlikte bir kızak üzerinde bulunur. Bu, Gigabyte’ın 2U kasaya dört düğüm yerleştirmesine olanak tanır.

İşte NVIDIA Grace Hopper paketinin kısa bir görüntüsü.

Bunun 1kW’lık bir paket olduğunu unutmayın; dolayısıyla bunlardan dördünü 2U’da soğutmak, güç tüketiminin 2kW/U’nun oldukça üzerinde olduğu anlamına gelir.

Gigabyte H263-V60 NVIDIA Grace Superchip 2U 4 Düğümlü Sunucu

Gigabyte H263-V60, şirketin NVIDIA Grace Superchip için 2U 4 düğümlü çözümüdür.

Bu, 144  Arm Neoverse V2 çekirdeğini tek bir düğüme veya 572 çekirdeği 2U’ya yerleştirir.

Ayrıca PCIe I/O için yer ve GH200 düğümlerinden daha fazla genişletme yuvası vardır.

Bunlar GH100/GH200 düğümlerinden çok daha düşük güce sahiptir ancak aynı zamanda yerleşik GPU’ya da sahip değildir.

Gigabyte XH23-VG0 NVIDIA Grace Haznesi 2U Sunucu

Gigabyte XH23-VG0, şirketin Grace Hopper için geliştirdiği MGX tarzı 2U sistemidir.

Bu, 2U 4 düğümlü H233-V10 ile aynı yoğunluğa sahip değildir ancak daha fazla G/Ç genişletme olanağı sunar.

Harika bir özellik, sistemin arkasındaki genişletme yuvalarının tamamıdır.

Son sözler

Genel olarak SC23’te bu sistemlerin hepsini görmek harikaydı. NVIDIA AI sistemlerinin bugünlerde sıcak bir konu olduğunu biliyoruz, bu yüzden Gigabyte’ın koleksiyonunu göstermek istedik. STH’de harika anakart ve sunucu incelemeleri yayınlanacağı için Ocak 2024’te NVIDIA olmayan sunucu çözümleri için bizi takip etmeye devam edin.

Gigabyte R183-Z95 gerçekten harika bir 1U sunucudur. İçerisinde iki adet AMD EPYC 9004 serisi işlemci bulunuyor ancak bu yalnızca başlangıç. Herhangi bir HBA veya RAID denetleyicisi kullanılmadan doğrudan sisteme bağlanabilecek dört farklı depolama türü için yer vardır. Bu incelememizde özellikle E1.S EDSFF SSD yuvalarında neyin farklı olduğunu göreceğiz. Haydi konuya geçelim!

Video Versiyonu

Bu makaleyi yayınladıktan sonra daha fazla açıdan görmek için birkaç istek aldık. Bunu bir videoya koyduk:

Her zaman olduğu gibi, en iyi izleme deneyimi için kendi penceresinde, sekmesinde veya uygulamasında izlemenizi öneririz.

Gigabyte R183-Z95 Harici Genel Bakış

Sistemin kendisi 815 mm veya 32 inçten biraz daha derin olan 1U bir sunucudur. Sunucunun ön tarafından bunda farklı bir şeyler olduğunu görebilirsiniz.

Sol tarafta, ancak sol raf kulağında USB 3 Tip A bağlantı noktasının yanı sıra durum LED’leri ve güç düğmeleri bulunur. Ön panel alanı genellikle kısıtlı olduğundan bu günlerde bunu pek sık görmüyoruz.

Bunun yanında sekiz adet 2,5 inçlik sürücü yuvası dizisi bulunur. Genellikle en yüksek yoğunluk on iki adet 2,5″ ön sürücü yuvasıdır. Bu yapılandırmanın dezavantajı, soğutmanın tüm sistem için bir zorluk haline gelmesi ve sürücü tepsilerinin genellikle o kadar sağlam olmamasıdır. Burada Gigabyte bize daha fazla depolama alanı sağlarken, daha iyi hava akışı için daha büyük tepsiler ve daha fazla alan kullanıyor.

14x ön panel sürücüsü almanın püf noktası EDSFF’yi veya daha spesifik olarak altı E1.S sürücü yuvasını kullanmaktır.

EDSFF genel bakışımızı görmüş olabilirsiniz .

Bu EDSFF’in ilk günlerinde yapıldı. Artık çeşitli formatlarda birçok sürücü üreticimiz ve sistemimiz var. Sürücülere ihtiyaç duyduğumuz iki sistemimiz olduğundan, yakın zamanda San Francisco 49ers Levis Stadyumu’nun Kalbindeki Gizli Veri Merkezinin İçinde adlı parça için Kaliforniya’dayken  , Kioxia’ya uğradım ve burada kullanmak için birkaç sürücü ödünç aldım.

Burada hem Kioxia XD6 hem de Kioxia XD7P sürücülerimiz var .

EDSFF ile ilgili eğlenceli olan şey, sunucu üreticilerinin veya bazı tanınmış OEM’lerin, mandal mekanizmasını spesifikasyonun bir parçası haline getirmek yerine, 2,5 inçlik sürücülerde olduğu gibi kendi sürücü taşıyıcılarını istemeye karar vermeleridir. Yani sunucunun, sunucuya sığması için küçük mandallı taşıyıcıyla birlikte gelmesi gerekiyor ve burada da buna sahibiz. İki vidayla sabitlenmiştir ve çok küçüktür. Bu, bugün sunuculardaki en aptalca şeylerden biri.

Gigabyte boşluklar sağlar, bu nedenle mandalları sürücülere takmak oldukça kolaydır.

Önemli olan başka bir şey de boyuttur. Bu sunucu özellikle E1.S 9,5 mm sürücüleri (ve daha küçüklerini) alır. Termal yönetim için soğutucuya sahip daha büyük bir 15 mm E1.S sürücünüz varsa, o zaman burada en azından altı sürücü yuvasının tamamını kullanamazsınız.

Hala 9,5 mm sürücüler kullanarak, kasanın ön kısmına altı adet E1.S sürücü artı sekiz adet 2,5″ NVMe SSD ekleyerek toplam on dört adet ekleyebiliriz.

Farkı kolayca anlayabilmeniz için 9,5 mm ve 15 mm’lik XD7P’ye hızlı bir bakış burada.

Sunucunun arkasına baktığımızda, hem güç hem de ağ bağlantısı için rafların A+B taraflarını çalıştırmak isteyenler için oldukça standart bir düzenimiz var.

Her iki taraftaki güç kaynakları LiteOn 1,6kW birimleridir. Her iki tarafta da güç kaynaklarının bulunması, A+B yedek gücü için her iki tarafa da bir PDU’nun bağlanmasına olanak tanır.

Daha sonra arka tarafın her iki tarafındaki yükselticiler var. Bunlar PCIe Gen5 x16 tam yükseklikte yükselticilerdir ve tek bir kelebek vidayla çıkarılabilir. Kablolu oldukları için üzerinde çalışmak kolaydır.

Bu yükselticilerin altında OCP NIC 3.0 yuvalarımız var .

Bunlar kasanın her iki tarafındaki A+B ağı içindir. Gigabyte, bakımı en kolay olan çekme kulakçıklı tasarımlı SFF’yi kullanıyor.

Arkada ise farklı bir şey görüyoruz. VGA yerine mini DisplayPort video çıkışı alıyoruz. Daha sonra iki adet standart USB 3 Type-A bağlantı noktası elde ediyoruz. Sonunda üç NIC alıyoruz, ikisi Intel i350-AM2 bağlantı noktası. Bu, i210’dan daha kaliteli bir 1GbE NIC’tir ve bu hoş bir dokunuştur.

Ayrıca bant dışı yönetim bağlantı noktasını da alıyoruz. NIC ve ASPEED BMC’nin her ikisi de orta yuvadaki OCP NIC 3.0 form faktörü kartındadır.

Gigabyte R183-Z95 Dahili Genel Bakış

Bu bölümde ilerlerken sizi yönlendirmeye yardımcı olacak sistemin ön tarafından hızlı bir görünümü burada bulabilirsiniz.

İlk olarak, güzel bir mandalla sabitlenen ana büyük üst kapak var. Sonra bu ek metal parça var.

Bu parçayı çıkarmak, depolama arka panellerine ulaşmamızı sağlar. EDSFF arka panelinin 2,5″ olandan daha derin olduğunu görebiliriz.

Ön tarafta PCIe Gen5 kablolarını görürken, fan modüllerinin de 2,5″ depolama arka paneline takıldığını görüyoruz. Bu biraz can sıkıcı bir durum. Bir fan arızalanırsa, büyük olasılıkla buraya ve arka panele ulaşmak için bu ön üst metal kapağın çıkarılması gerekecektir. Gigabyte’ın bu ön metal kapağı aletsiz bir tasarıma değiştirmesini diliyoruz, çünkü bu, servis tarafında çok yardımcı olacaktır.

Toplamda sekiz adet çift fan modülü bulunmaktadır. Fan kablolarını öne doğru hareket ettirmenin bir avantajı da fan modüllerinin egzoz tarafını önemli ölçüde temizlemesidir.

Çift AMD SP5 soketlerine geçmeden önce dikkatli okuyucuların fark edebileceği iki özellik daha var.

Fanlar ve CPU arasında bir M.2 SSD yuvamız var.

Aslında her CPU’nun önünde bir tane olmak üzere iki tane vardır.

Dördüncü tip SSD bağlantımızı (2,5″, E1.S, eklenti kartı ve şimdi M.2) geçtikten sonra CPU soketlerine ulaşıyoruz. Bu soketler şu anda AMD EPYC 9004 Cenova, Cenova-X ve Bergamo işlemcilerini desteklemektedir. Bu sunucunun 2024’ün sonlarında piyasaya sürüldüğünde AMD EPYC Turin’i desteklemesini bekliyoruz.

Her CPU soketi, 1DPC yapılandırmasında 12x DDR5 DIMM yuvasına sahiptir .

Burada akılda tutulması gereken bir şey, bu sistemde TDP’lerin sınırsız olmadığıdır. 35C ortamda 300W TDP ve 30C ortamda 400W olarak derecelendirilmiştir ve 400W’a ulaşmak istiyorsanız takılı kartlar gibi şeyler önemlidir. Çoğu veri merkezi 30C’nin altında çalışır, ancak soğutma gücünden tasarruf etmek için daha yüksek sıcaklıklar yapan insanlar da vardır.

CPU’ların arkasında, PCIe yükselticilerini kullanmaya gerek kalmadan 17x SSD noktaları için üçüncü bir M.2 yuvası bulunmaktadır.

Yükselticiler konusuna gelince, PSU ile CPU soketi arasındaki MCIO konektörlerini görebilirsiniz.

Bu MCIO kablo noktaları, anakart üzerindeki PCIe izlerini minimumda tutarak yeniden zamanlayıcılara olan ihtiyacın azaltılmasına yardımcı olur ve bu da kullanılmadıkları takdirde PCIe Gen5 x16 çalıştırma başına maliyeti 20 dolardan fazla azaltır. Ayrıca sisteme bir miktar esneklik katarlar.

Yükselticiler çıkarılmış halde arkaya baktığımızda, her iki tarafta iki OCP NIC 3.0 yuvasını görebiliriz.

Merkezde ASPEED AST2600 yönetim BMC’miz ve düşük hızlı NIC’miz bulunur.

Anakartın sistemin arka kısmında durması bugünlerde çok yaygın ve PCIe Gen5/CXL daha iyi benimsendikçe ve PCIe Gen6 çağına girdikçe daha da yaygınlaşacak.

Gigabyte R183-Z95 Blok Şeması

İşte sunucunun sistem blok şeması.

Bunların çoğu simetrik olsa da Gigabyte, PCIe Gen3 hatlarını ilginç bir şekilde kullanıyor. Her CPU, PCIe Gen3 x4 yuvasında bir M.2 SSD alır. CPU1, ek PCIe Gen3 x2 M.2 yuvasını alır. Bu iki PCIe Gen3 hattı, CPU0’da Intel i350-AM2 1GbE NIC ve ASPEED AST2600 BMC arasında bölünmüştür. Bu çok yaygındır, çünkü eğer biri onu tek soketli bir sunucu olarak çalıştırdıysa, BMC’nin ve düşük hızlı NIC’lerin aktif olmasını istersiniz. Yine de, eğer bunu tek soketli bir sunucu olarak kullanmak istiyorsanız, muhtemelen bunun yerine tek soketli bir sunucuya bakmanız daha iyi olacaktır.

Dikkat edilmesi gereken bir diğer özellik ise Gigabyte’ın soketler arasında tam 4×16 Infinity Fabric bağlantısı kullanmasıdır. Bazı sunucular yalnızca 3×16 bağlantı kullanıyor. 1U form faktöründe, 3×16 bağlantıyla elde edilen ekstra 32 PCIe Gen5 hattının alan kısıtlamaları nedeniyle kullanılması pek olası değildir, dolayısıyla bu daha yüksek performanslı bir yapılandırmadır.

Daha sonra yönetime geçelim.

Gigabyte R183-Z95 Yönetimi

Yönetim tarafında Gigabyte için oldukça standart bir şey elde ediyoruz. ASPEED AST2600 BMC alıyoruz. Bu, BMC’yi anakarta yerleştirmekten daha yaygın hale gelen kendi kartındadır. BMC kartına sahip olmak, diğer müşteriler/bölgeler için BMC’nin kolayca değiştirilebileceği anlamına gelir.

Gigabyte, sunucularında standart MegaRAC SP-X çalıştırıyor; bu, IPMI, web yönetimi ve Redfish için iyi bir şey.

Gigabyte ayrıca bir HTML5 iKVM’ye de sahiptir.

Biraz farklı olan şey, bu sunucunun benzersiz bir BMC şifresine sahip olmasıdır. Yıllardır sunucu satın almayanlar için bu yaygındır. Bunun neden böyle olduğunu birkaç yıl önce yazdığımız Favori Varsayılan Şifrelerinizin Neden Değiştiğini görebilirsiniz .

Daha sonra hızlı bir performans kontrolü yapalım.

Gigabyte R183-Z95 Performansı

Bunun için sistemin 1U form faktöründeki üst düzey CPU’ları nasıl idare edebileceğini görmek bizi çok ilgilendiriyordu. Bugünlerde AMD EPYC’deki “en üst düzey”in ne olduğu tartışılabilir; bu nedenle Cenova, Cenova-X ve Bergamo için sahip olduğumuz en iyi 3 SKU’dan çiftler seçtik ve bunları referans AMD 2U platformumuzla karşılaştırdık. İşte Cenova sonuçları:

İşte Cenova-X sonuçları:

İşte Bergamo’nun sonuçları:

Genel olarak bakıldığında bunlar hâlâ +/- %5 düzeyinde ve bu da kolaylıkla bir hata payı olarak görülebiliyor. Aynı zamanda Cenova-X sayıları ortalama olarak biraz daha düşüktü. Şu anda 24,2C raf giriş sıcaklıklarımızla bu sistemde 400W için hala 30C sıcaklık sınırının oldukça altındayız. Bütün bunlarla birlikte, Gigabyte’ın iki katı büyüklüğünde daha büyük bir 2U sistem kullanıyoruz, ancak performans oldukça yakın. Ortalama olarak %1-2 daha düşük olsak bile, yoğunluğun iki katı kadar bir artış muhtemelen bu farklara ağır basacaktır.

Gigabyte R183-Z95 Güç Tüketimi

Sistem yedek 1,6kW güç kaynaklarıyla birlikte gelir. Çoğu kişi için bu, böyle bir sunucu için yeterli olacaktır.

Boştayken 150W aralığında güç tüketimini gördük. Yük altında, 300W cTDP’de maksimum 800W’ın biraz altında çalışıyorduk. CPU’larda 400W cTDP’de 1kW’a yakın çalışıyorduk.

Elbette burada kullanmadığımız birçok genişleme yeteneği var. 75 W eklenti kartları, OCP NIC’ler ve daha sıcak sürücülerin eklenmesi bu toplamları artırabilir. 1,6kW’lık güç kaynakları büyük ancak böyle bir sistem için çok da büyük değil.

STH Sunucu Örümceği: Gigabyte R183-Z95

2018’in ikinci yarısında, bir sunucu sisteminin yeteneklerinin nerede olduğuna dair hızlı bir referans olarak STH Server Spider’ı tanıttık. Amacımız, bir sunucunun hedeflendiği parametre türlerinin hızlı bir görsel tasvirini vermeye başlamaktır.

Bu sunucu gerçekten ilginç. Soket başına 128 çekirdeği veya 256 iş parçacığını işleyebilir ve bu da onu oldukça yoğun bir bilgi işlem platformu yapar. Ayrıca E1.S ve 2,5″ ön depolama ile ekstra SSD depolama için 3,5″ depolama kapasitesini atlar. Bilgi işlem için 2U 4 düğümlü sistemlerde ve tam E1.S/E1.L sistemlerde daha yoğun olmak elbette mümkündür, ancak bu çok yoğun bir karışımdır.

Son sözler

Gigabyte R183-Z95 EDSFF öne çıkan özelliği depolama kapasitesidir. Önyükleme için üç adet dahili M.2 sürücünün yanı sıra sekiz adet 2,5″ sürücü yuvası ve altı adet E1.S 9,5 mm sürücü yuvasıyla, PCIe yuvalarını kullanmaya gerek kalmadan bu sisteme 17 SSD yerleştirilebilir. Bu 1U sunucu için gerçekten güzel.

AMD Soket SP5’in kullanılması, bu sistemleri satın alan kişilere özelleştirme için de geniş bir alan sağlar. 192 çekirdeğe/384 iş parçacığına kadar genel amaçlı AMD EPYC Genoa, 256 çekirdek/512 iş parçacığı için Bergamo veya GB dönemi L3 önbellek seviyeleri için Cenova-X kullanılabilir .

Modern sunucu platformlarının ne kadar bağlantıya sahip olduğu göz önüne alındığında, bugünlerde G/Ç’yi en üst düzeye çıkarmak için 2U sunucuları kullanmanın muhtemelen bir miktar bilgeliği vardır. Aynı zamanda Gigabyte, AMD platformunun sunduğu hemen hemen her şeyden yararlanan son derece esnek bir 1U sunucu oluşturmayı başardı.