Supermicro ve Nvidia Simülasyonlarını Hızlandıracak Çözümler Üretiyor.

Nvidia Veri Merkezi GPU’larına sahip Supermicro Sunucular, CFD Simülasyonları için Önemli Hızlandırma Sağlayarak Üretim İşletmelerinin Pazara Çıkış Süresini Kısaltıyor.

Yönetici Özeti

Otomotiv şirketleri araç geliştirme süresini kısaltmaya ve yeni araçları pazara daha hızlı sunmaya çalıştıkça, otomotiv geliştirme için bilgisayar destekli mühendisliğe duyulan ihtiyaç da artmaktadır. Yüksek performanslı bilgi işlem (HPC) alanındaki son gelişmelerden biri, karbon ayak izini ve maliyeti azaltırken hesaplama süresini önemli ölçüde hızlandırmak için hesaplamalı akışkanlar dinamiği (CFD) için GPU’lardan yararlanmak olmuştur.
Supermicro ve NVIDIA, optimum donanım yapılandırmalarına sahip HPC uygulamaları için bir referans mimari geliştirmek üzere ortaklık kurdu. Bu Çözüm Özeti’nde, Hesaplamalı Akışkanlar Dinamiği (CFD) için GPU hızlandırmadan en iyi şekilde yararlanmak için temel gereksinimleri gözden geçireceğiz.

Simülasyon Yoluyla Araç Tasarımının İyileştirilmesi

Araç verimliliğini, maliyetini ve konforunu iyileştirme ihtiyacı otomotiv endüstrisinde kritik hedeflerdir. Hibrit ve elektrikli araçlara geçişle birlikte, araç menzilinin iyileştirilmesi özellikle önemli hale gelmiştir. Menzilin sürtünme ile doğru orantılı olduğu düşünüldüğünde, araç tasarımının erken aşamalarında sürtünmeyi anlamak ve azaltmak kritik önem taşımaktadır. Bilgisayar Destekli Mühendislik (CAE), mühendislerin pahalı ve zaman alıcı prototipler oluşturmaya gerek kalmadan değişiklikleri hızlı bir şekilde değerlendirmelerini sağlar. Siemens Simcenter STAR-CCM+ gibi Hesaplamalı Akışkanlar Dinamiği (CFD) araçları, mühendislik profesyonellerinin aerodinamik performansı hemen anlamalarına olanak tanır. GPU performansını değerlendirmek için standart bir otomotiv CFD kıyaslama vakası kullanılır

GPU’ları Kullanarak Simülasyonda Yeni Dönem

2021 yılında araç mühendisleri arasında yapılan bir ankete katılanların %52’si, tasarım döngülerini tamamlamak için gereken süreyi azaltma taleplerinin işlerinin en zorlu yönlerinden biri olduğunu ifade etmiştir. Bu artan hızlandırma ihtiyacını karşılamak için NVIDIA, son 15 yılda GPU’ların devasa paralel işleme gücünün ve bellek ile GPU çekirdekleri arasındaki ışık hızındaki arayüzün avantajlarını araç simülasyonuna getirmek için simülasyon yazılımı liderleriyle yakın bir şekilde çalıştı. Önde gelen simülasyon yazılımı sağlayıcıları, araç simülasyonu uygulamalarını GPU’larda çalıştırarak uygulamalarının 30 kata kadar hızlandığını göstermiş, böylece mühendis üretkenliğini artırmış ve araçların piyasaya sürülme süresini kısaltmaya yardımcı olmuştur.

Daha Azıyla Daha Fazlasını Yapmak – Simülasyon için Sermaye Harcamalarının İyileştirilmesi

Artan hesaplama verimliliği, iş yükü hızlandırmadan daha fazlası anlamına gelir, ancak aynı derecede önemli olarak, daha küçük bir sermaye harcaması ayak izi içermelidir. Bilgisayar destekli mühendislik için GPU’ların inanılmaz verimliliği, otomotiv müşterileri için büyük altyapı maliyeti tasarrufu sağlar. Modern sunuculara 10 adede kadar çift yuvalı GPU sığabildiğinden, hesaplama açısından ağır iş yüklerinin GPU’lara aktarılması, müşterilerin büyük miktarda sunucu konsolidasyonu elde etmesini sağlar. Supermicro ve NVIDIA arasındaki ortak çalışma sayesinde, 10 NVIDIA H100 GPU’lu tek bir sunucunun Siemens Simcenter STAR-CCM+ gibi CFD iş yükleri için her biri 2 x CPU’ya sahip 30 sunucunun yerini aldığını gösterdik. Eşdeğer performans için bu, 3 kat maliyet tasarrufu sağlar.

Hızlandırılmış Bilgi İşlem Sürdürülebilir Bilgi İşlemdir

Her ne kadar dikkatler araç egzoz emisyonlarının ve elektrikli araç güç tüketiminin azaltılmasına odaklansa da, tüm araç tasarımı, test ve üretim iş akışları boyunca karbon ayak izinin azaltılması da aynı derecede önemlidir. Bilgisayar destekli mühendislik için NVIDIA GPU’lara sahip Supermicro sunucularının üçüncü değer önerisi, hesaplama açısından ağır olan bu iş yükleri için gerekli olan hesaplama gücünde sağladığı inanılmaz tasarruftur. Performans sonuçları bölümünde gösterildiği gibi, eşdeğer performans için NVIDIA GPU’lar üzerinde çalıştırıldığında 5 kat güç tasarrufu sağlanır.

İş Yükünüz için En Uygun Sunucuyu Yapılandırma

Supermicro’nun sunucuları, destekledikleri GPU sayısındaki çok yönlülükleri nedeniyle CAE için idealdir. NVIDIA, çift hassasiyetli (FP64) hesaplama ve yüksek bellek bant genişliği ihtiyaçları nedeniyle CAE uygulamaları için 100 ve 200 sınıfı ürünlerin (NVIDIA A100, NVIDIA H100, NVIDIA H200, NVIDIA B100) kullanılmasını önermektedir.
Sistem için doğru GPU sayısına karar vermek için GPU bellek boyutu kritik bir faktördür. CFD için, ağ boyutu genellikle bir simülasyonun boyutunun bir ölçüsü olarak kullanılır. Kullanılan toplam GPU belleği de kullanılan fiziğin karmaşıklığına göre belirlenir. Genel bir kural olarak, fiziğin karmaşıklığına bağlı olarak gerekli belleğin ağ boyutunun 1,2-5 katı arasında olabileceğini söyleyebiliriz. Örneğin, fizik açısından nispeten basit bir durum için, 100 milyon hücreli bir ağ (100×1.5) için 150 GB belleğe ihtiyacımız olacaktır. A100 ve H100’ün 80 GB belleğe sahip olduğu göz önüne alındığında, en az iki GPU’ya ihtiyaç duyarlar, ancak 3 GPU tavsiye edilir. Yazılım satıcıları, yazılımları için bellek gereksinimleri konusunda ek rehberlik sağlayabilir.

Uygulama Desteği

En önemli sorulardan biri, tercih ettiğiniz CFD aracının GPU hızlandırmayı destekleyip desteklemediğidir. Son birkaç yılda hem ana akım CAE yazılımlarından hem de yeni kurulan şirketlerden GPU çözücü desteğinin çoğaldığı görülmüştür. Simüle etmeyi düşündüğünüz fiziğin GPU hızlandırmalı olup olmadığını öğrenmek için yazılım satıcınıza danışın. Çözücünün büyük bir kısmı GPU üzerinde çalışır. CFD kodlarının çözücünün yalnızca bir kısmını hızlandırdığı birkaç yıl öncesine kıyasla çok iyi hızlanmanın nedeni, çözücüyü yüksek paralel GPU’larda çalıştırmaktır.

Supermicro Çözümü – Supermicro SYS-521GE-TNRT

Supermicro SYS-521GE-TNRT Sunucu (2 CPU, 10 x NVIDIA H100 PCIe GPU)
Supermicro SYS-521GE-TNRT sunucu, 10 adede kadar PCIe NVIDIA H100 GPU’yu barındıracak şekilde tasarlanmıştır. CPU’lar 4. veya 5. Nesil Intel Xeon işlemciler olabilir ve 8 TB’a kadar bellek tutabilir.

Test Vakası Detayları

• Standart AeroSUV dış aerodinamik test örneği (AeroSUV by FKFS, Stuttgart, Almanya https://www.sae.org/publications/technical-papers/content/2019-01-0646/)
• Ağ boyutu – Sunucu: 57, 106, 320 milyon hücre
• Karışık hassasiyet
• Siemens Simcenter STAR-CCM+: Sürüm 23.06
• Birleştirilmiş çözücü

Performans Sonuçları

Aşağıdaki grafik, çeşitli ağ boyutlarındaki aynı AeroSUV test örneğinin sunucu yapılandırmasındaki farklı sayıda H100 GPU üzerinde çalıştırılmasına ilişkin sonuçları göstermektedir. Gerekirse 57 milyon hücre vakasının 4’ten az GPU üzerinde çalıştırılabileceğini unutmayın.

Önemli Sonuçlar:

• En küçük ağ boyutu (57 milyon hücre) için 4 NVIDIA H100 PCIe GPU, 94 CPU çekirdeğinden 6,6 kat daha hızlıdır
• Orta ağ boyutu (106 milyon hücre) için 6 NVDIDIA H100 PCIe GPU, 94 CPU çekirdeğinden 9,5 kat daha hızlıdır
• En büyük ağ boyutu (322 milyon hücre) için 10 NVIDIA H100 PCIe GPU, 94 CPU çekirdeğinden 29,3 kat daha hızlıdır
  Yukarıdaki sonuçlar, Supermicro donanımından yararlanan NVIDIA GPU’larda CFD simülasyonları çalıştırılarak elde edilebilecek geri dönüş süresindeki önemli iyileştirmeleri göstermektedir. GPU’ların kullanılması, daha kısa sürede daha fazla tasarımın değerlendirilmesine olanak tanıyarak daha optimize bir ürün elde edilmesini sağlar.

Fiyat Performansı ve Sürdürülebilirlik

Bir sunucudaki saf performansı karşılaştırmanın yanı sıra, genel fiyat performansını da göz önünde bulundurmak önemlidir. Bir GPU sunucusu (8-10 H100 GPU) ve bir CPU sunucusuna kıyasla ~30 kat hız artışı varsayıldığında, müşterilerin bir GPU sunucusunun performansını eşleştirmek için 30 CPU sunucusuna yatırım yapması gerekecektir. Bu sonuçlar doğrusal ölçeklendirmeyi varsaymaktadır. Bu nedenle, GPU üzerinde çalıştırıldığında, eşdeğer performans için CPU’dan 3 kat daha ucuz olacağını tahmin edebiliriz. Alternatif olarak, CPU ile aynı bütçeyi GPU’ya harcamak iş hacminde 3 kat iyileşme sağlar.
Benzer maliyet tasarrufları aynı performans için gereken güçte de görülebilir. Termal tasarım gücünden yola çıkarak, GPU performansını eşleştirmek için 30 sunucuya ihtiyaç duyulduğu düşünüldüğünde, bir GPU düğümü CPU düğümü başına ~500W’a kıyasla yaklaşık 3000W gerektirecektir. Bu da 5 kat güç tasarrufu anlamına gelmektedir.

Optimum Performans – Ölçeklendirme

Önceki bölümlerde, simülasyonu çalıştırmak için gereken minimum GPU sayısını tartıştık, ancak optimum sayı nedir? Aşağıda, 57 milyon hücre aerodinamik vakası için hızlanma ve bellek kullanımını gösteren grafikler yer almaktadır. Performansın yaklaşık 8 GPU’ya kadar ölçeklendiğini görebiliriz. GPU başına bellek kullanımına baktığımızı varsayalım. 6 GPU’nun altında bellek kullanımı GPU başına 20 GB’ın altında, yani GPU’ların kullanılabilir belleğinin %25’inden daha az. Sonuç olarak, bir vakayı çalıştırmak GPU belleğinin yalnızca küçük bir yüzdesini kullanıyorsa ölçeklendirme zarar görecektir. Bu nedenle, GPU belleğinin en az %25’inin dolu olması makul ölçeklendirmeyi sürdürmek için iyidir.

Hızlanma

Supermicro ve Nvidia Simülasyonlarını Hızlandıracak Çözümler Üretiyor.

NVIDIA Grace Hopper Superchip Murex MX.3 Analitik Performansını Hızlandırıyor, Güç Tüketimini Azaltıyor.

Önde gelen bir finansal teknoloji şirketi olan Murex, ticaret ve risk platformunda süper çip mimarisini test ediyor.

2008 mali krizinin ve bunu takip eden artan risk yönetimi düzenlemelerinin ardından Pierre Spatz, bankaların bilgi işlem giderlerini azaltmaya odaklanacağını öngördü.

Merkezi Paris’te bulunan bir ticaret ve risk yönetimi yazılım şirketi olan Murex’te niceliksel araştırma başkanı olarak Spatz, en yüksek performansı ve enerji verimliliğini hedefleyen NVIDIA’nın CUDA ve GPU hızlandırmalı bilgi işlem sistemini benimsedi.

Her zaman en son teknolojileri arayan şirketin ölçüm ekibi, NVIDIA Grace Hopper Superchip’in denemelerine başladı . Bu çaba, müşterilerin türev sözleşmelerine ilişkin kredi ve piyasa riskini daha iyi fiyatlandırmalarına ve yönetmelerine yardımcı olmaya odaklanıyor.

65 ülkede 60.000’den fazla günlük kullanıcı Murex MX.3 platformuna güveniyor. MX.3 bankalara, varlık yöneticilerine, emeklilik fonlarına ve diğer finansal kuruluşlara varlık sınıfları genelinde alım satım, risk ve operasyonlarında yardımcı olur.

Grace Hopper’ın Yönlendirdiği MX.3 ile Riski Yönetmek

Finansal kurumların, fiyatlandırma ve risk hesaplamaları için büyük miktardaki veriler üzerinde risk modellerini çalıştırmak ve gerçek zamanlı karar verme yetenekleri sunmak için yüksek performanslı bilgi işlem altyapısına ihtiyacı vardır.

MX.3 kapsamı, hem kredi hem de piyasa riskini, BASEL sermaye standartlarını, alım satım defterinin temel incelemesini ve x-değerleme düzeltmesini (XVA) içerir. XVA, kredi değeri ayarlaması (CVA), marj değeri ayarlaması ve fonlama değerleme ayarlaması gibi türev sözleşmeleriyle ilgili farklı türde değerleme ayarlamaları için kullanılır.

Murex, XVA hesaplamalarının yanı sıra çeşitli varlık sınıflarında piyasa riski kalibrasyonu, fiyatlandırma değerlendirmesi, hassasiyet ve kar ve zarar hesaplamaları için MX.3 platformunda Grace Hopper’ı test ediyor.

Grace Hopper, Murex platformuna daha hızlı hesaplamanın yanı sıra güç tasarrufu da sunuyor.

Spatz, “CVA gibi karşı taraf kredi riski iş yüklerinde Grace Hopper, benzersiz bir CPU ve GPU hesaplama karışımıyla heterojen bir mimariden yararlanarak mükemmel uyum sağlıyor” dedi. “Risk hesaplamalarında Grace yalnızca en hızlı işlemci değil, aynı zamanda çok daha fazla güç verimliliğine sahip ve yeşil BT’yi ticaret dünyasında gerçeğe dönüştürüyor.”

Murex araştırma ve geliştirme laboratuvarı, XVA iş yüklerini MX.3’te çalıştırırken Grace Hopper’ın CPU tabanlı sistemlerle karşılaştırıldığında enerji tüketiminde 4 kat azalma ve 7 kat performans artışı sunabildiğini fark etti.

Grace Hopper ile MX.3’te FX Bariyer Seçeneklerini Fiyatlandırma 

Döviz (FX) bariyer seçeneklerini fiyatlandırmak için Murex, amiral gemisi ve en yeni stokastik yerel oynaklık modelini kullandı ve ayrıca Grace Hopper’ı çalıştırırken etkileyici performans iyileştirmeleri fark etti. Bariyer opsiyonu, dayanak varlığın fiyatının, opsiyon sözleşmesi süresi boyunca belirli bir eşiğe ulaşıp ulaşmamasına veya onu geçmesine bağlı olan getirisi olan bir türevdir.

Fiyatlandırma değerlendirmesi, GH200’deki Arm tabanlı NVIDIA Grace CPU’da daha uygun maliyetli olan 2 boyutlu kısmi diferansiyel denklemle yapılır. Bu türevi Grace Hopper’da MX.3 ile fiyatlandırmak, Intel Xeon Gold 6148 ile karşılaştırıldığında 2,3 kat daha hızlıdır.

NVIDIA Grace CPU ayrıca sunucu başına watt bazında FX bariyeri hesaplamaları için önemli güç verimliliği sunar ve 5 kat daha iyidir.

Yukarıdaki sonuçlara işaret eden Murex, NVIDIA’nın yeni nesil hızlandırılmış bilgi işlem platformunun, sermaye piyasalarında niceliksel analizler için yüksek performanslı bilgi işlem için enerji verimliliği ve maliyet tasarrufu sağladığını söylüyor.

 

NVIDIA Grace Hopper Superchip Murex MX.3 Analitik Performansını Hızlandırıyor, Güç Tüketimini Azaltıyor.

 

 

Daha Fazla Bilgi Edinmek için Bizimle İletişime Geçin!

 

Daha fazla bilgi edinmek için bizimle iletişime geçin!

Bilgisayar Endüstrisi NVIDIA’ya Katılıyor.

• En İyi Bilgisayar Üreticileri Grace CPU’lar, NVIDIA Ağ İletişimi ve Altyapıya Sahip Blackwell Destekli Sistem Dizisini Tanıtıyor
• Geniş Portföyler Bulutu, Şirket İçi, Gömülü ve Uç Yapay Zeka Sistemlerini Kapsar
• Teklifler Tekli GPU’lardan Çoklu GPU’lara, x86’dan Grace’e, Havadan Sıvı Soğutmaya kadar çeşitlilik gösterir

COMPUTEX — NVIDIA ve dünyanın en iyi bilgisayar üreticileri bugün, şirketlerin bir sonraki üretken yapay zeka atılımlarını desteklemek üzere yapay zeka fabrikaları ve veri merkezleri kurmalarına yönelik Grace CPU’lar, NVIDIA ağ iletişimi ve altyapı içeren, NVIDIA Blackwell mimarisiyle desteklenen bir dizi sistemi tanıttı.

NVIDIA kurucusu ve CEO’su Jensen Huang, COMPUTEX açılış konuşması sırasında ASRock Rack , ASUS , GIGABYTE , Ingrasys , Inventec , Pegatron , QCT, Supermicro, Wistron ve Wiwynn’in NVIDIA GPU’ları kullanarak bulut, şirket içi, gömülü ve uç yapay zeka sistemleri sunacağını duyurdu. ağ oluşturma.

“Bir sonraki sanayi devrimi başladı. Huang, “Şirketler ve ülkeler, trilyon dolarlık geleneksel veri merkezlerini hızlandırılmış bilişime kaydırmak ve yeni bir tür veri merkezi (AI fabrikaları) inşa ederek yeni bir ürün olan yapay zekayı üretmek için NVIDIA ile ortaklık kuruyor” dedi. “Sunucu, ağ ve altyapı üreticilerinden yazılım geliştiricilere kadar tüm sektör, her alanda yapay zeka destekli inovasyonu hızlandırmak için Blackwell’e hazırlanıyor.”

Her türden uygulamaya yönelik teklifler, tekli GPU’lardan çoklu GPU’lara, x86’dan Grace tabanlı işlemcilere ve havadan sıvı soğutma teknolojisine kadar çeşitlilik gösterecek.

Ek olarak, farklı boyut ve konfigürasyonlardaki sistemlerin geliştirilmesini hızlandırmak için NVIDIA MGX  modüler referans tasarım platformu artık NVIDIA Blackwell ürünlerini destekliyor. Buna, ana akım büyük dil modeli çıkarımı, erişimle artırılmış oluşturma ve veri işleme için benzersiz performans sunmak üzere tasarlanan yeni NVIDIA GB200 NVL2 platformu da dahildir.

GB200 NVL2, şirketlerin yılda on milyarlarca dolar harcadığı veri analitiği gibi gelişen pazar fırsatları için idealdir. Blackwell mimarisindeki NVLink ^® -C2C ara bağlantıları ve özel sıkıştırma açma motorları tarafından sağlanan yüksek bant genişliğine sahip bellek performansından yararlanmak, x86 CPU’ların kullanımına kıyasla 8 kat daha iyi enerji verimliliğiyle veri işlemeyi 18 kata kadar hızlandırır.

Hızlandırılmış Bilgi İşlem için Modüler Referans Mimarisi
Dünyanın veri merkezlerinin çeşitli hızlandırılmış bilgi işlem ihtiyaçlarını karşılamak amacıyla NVIDIA MGX, bilgisayar üreticilerine 100’den fazla sistem tasarımı yapılandırmasını hızlı ve uygun maliyetli bir şekilde oluşturmaları için bir referans mimarisi sağlar.

Üreticiler, sunucu kasaları için temel bir sistem mimarisiyle başlar ve ardından farklı iş yüklerini karşılamak için GPU, DPU ve CPU’larını seçerler. Bugüne kadar, MGX referans mimarisini kullanan 25’ten fazla iş ortağından 90’dan fazla sistem piyasaya sürüldü veya geliştirilme aşamasında; geçen yıl altı iş ortağından gelen 14 sistem bu sayıya yükseldi. MGX’i kullanmak, geliştirme maliyetlerini dörtte üçe kadar azaltmaya ve geliştirme süresini üçte iki oranında yalnızca altı aya indirmeye yardımcı olabilir.

AMD ve Intel, ilk kez kendi CPU ana işlemci modülü tasarımlarını sunma planlarıyla MGX mimarisini destekliyor. Buna yeni nesil AMD Turin platformu ve P çekirdekli Intel ^® Xeon ^® 6 işlemci (eski adıyla Granite Rapids) dahildir. Herhangi bir sunucu sistemi oluşturucusu, tasarım ve performansta tutarlılığı sağlarken geliştirme süresinden tasarruf etmek için bu referans tasarımlarını kullanabilir.

NVIDIA’nın en yeni platformu GB200 NVL2 de MGX ve Blackwell’den yararlanıyor. Ölçeklenebilir, tek düğümlü tasarımı, hızlandırılmış bilgi işlemin mevcut veri merkezi altyapısına sorunsuz bir şekilde entegre edilmesi için çok çeşitli sistem yapılandırmalarına ve ağ oluşturma seçeneklerine olanak tanır.

GB200 NVL2, NVIDIA Blackwell Tensor Core GPU’ları, GB200 Grace Blackwell Superchips’i ve GB200 NVL72’yi de içeren Blackwell ürün serisine katılıyor.

Bir Ekosistem Birleştirir
NVIDIA’nın kapsamlı iş ortağı ekosistemi, dünyanın önde gelen yarı iletken üreticisi ve NVIDIA dökümhane ortağı TSMC’nin yanı sıra yapay zeka fabrikaları oluşturmak için temel bileşenleri sağlayan küresel elektronik üreticilerini içerir. Bunlar arasında sunucu rafları, güç dağıtımı, soğutma çözümleri gibi üretim yenilikleri ve Amfenol, Asia Vital Components (AVC), Cooler Master, Colder Products Company (CPC), Danfoss, Delta Electronics ve LITEON gibi şirketlerin daha fazlası yer alıyor.

Sonuç olarak, yeni veri merkezi altyapısı dünya çapındaki işletmelerin ihtiyaçlarını karşılamak üzere hızlı bir şekilde geliştirilip dağıtılabilir ve Blackwell teknolojisi, NVIDIA Quantum-2 veya Quantum-X800 InfiniBand ağı , NVIDIA Spectrum-X Ethernet ağı ve NVIDIA tarafından daha da hızlandırılabilir. BlueField ^® -3 DPU’lar — önde gelen sistem üreticileri Dell Technologies, Hewlett Packard Enterprise ve Lenovo’nun sunucularında.

Kuruluşlar ayrıca üretim düzeyinde üretken yapay zeka uygulamaları oluşturmak ve çalıştırmak için NVIDIA NIM çıkarım mikro hizmetlerini içeren NVIDIA AI Enterprise yazılım platformuna da erişebilir .

Tayvan Blackwell’i Kucaklıyor
Huang ayrıca açılış konuşmasında Tayvan’ın önde gelen şirketlerinin yapay zekanın gücünü kendi işlerine taşımak için Blackwell’i hızla benimsediğini duyurdu.

Tayvan’ın önde gelen tıp merkezi Chang Gung Memorial Hastanesi, biyomedikal araştırmaları ilerletmek ve klinik iş akışlarını iyileştirmek ve sonuç olarak hasta bakımını iyileştirmek amacıyla görüntüleme ve dil uygulamalarını hızlandırmak için NVIDIA Blackwell bilgi işlem platformunu kullanmayı planlıyor.

Dünyanın en büyük elektronik üreticilerinden biri olan Foxconn, yapay zeka destekli elektrikli araç ve robot platformlarına yönelik akıllı çözüm platformlarının yanı sıra daha kişiselleştirilmiş hizmet sunmak amacıyla giderek artan sayıda dil tabanlı üretken yapay zeka hizmetleri geliştirmek için NVIDIA Grace Blackwell’i kullanmayı planlıyor deneyimlerini müşterilerine aktarıyor.

Ek Destekleyici Alıntılar

• Amfenol Başkanı ve CEO’su R. Adam Norwitt: “NVIDIA’nın çığır açan yapay zeka sistemleri, gelişmiş ara bağlantı çözümleri gerektiriyor ve Amfenol, kritik bileşenleri sağlamaktan gurur duyuyor. NVIDIA’nın zengin ekosisteminin önemli bir ortağı olarak, Blackwell hızlandırıcıları için son derece karmaşık ve verimli ara bağlantı ürünleri sunarak üstün performans sunabiliyoruz.”
• AVC Başkanı ve CEO’su Spencer Shen: “AVC, NVIDIA ürünlerinde önemli bir rol oynuyor ve en yeni Grace Blackwell Superchip de dahil olmak üzere AI donanımı için verimli soğutma sağlıyor. Yapay zeka modelleri ve iş yükleri büyümeye devam ettikçe, yoğun yapay zeka bilişiminin üstesinden gelmek için güvenilir termal yönetim önem taşıyor ve biz de yolun her adımında NVIDIA’nın yanındayız.”
• ASUS Başkanı Jonney Shih: “ASUS, COMPUTEX’te sergileyeceğimiz güçlü sunucu serimizle kurumsal yapay zekayı yeni boyutlara taşımak için NVIDIA ile birlikte çalışıyor. NVIDIA’nın MGX ve Blackwell platformlarını kullanarak, eğitim, çıkarım, veri analitiği ve HPC genelinde müşteri iş yüklerini yönetmek için oluşturulmuş özel veri merkezi çözümleri üretebiliyoruz.”
• Dover Corporation’ın CPC başkanı Janel Wittmayer : “CPC’nin yenilikçi, amaca yönelik tasarlanmış konnektör teknolojisi, sıvı soğutmalı NVIDIA GPU’ların yapay zeka sistemlerine kolay ve güvenilir şekilde bağlanmasını sağlıyor. Performans ve kalite konusunda ortak bir vizyona sahip olan CPC, NVIDIA’nın inanılmaz büyümesini ve ilerlemesini destekleyecek kritik teknolojik bileşenleri sağlama kapasitesine ve uzmanlığına sahiptir. Konektörlerimiz, sıcaklığa duyarlı ürünlerin bütünlüğünü korumanın merkezinde yer alır; bu, yapay zeka sistemleri yoğun bilgi işlem gerektiren görevleri çalıştırırken önemlidir. NVIDIA ekosisteminin bir parçası olmaktan ve teknolojimizi yeni uygulamalara taşımaktan heyecan duyuyoruz.”
• Cooler Master CEO’su Andy Lin : “Hızlandırılmış bilgi işlem talebi artmaya devam ettikçe, son teknoloji hızlandırıcılardan yararlanan kuruluşlar için enerji standartlarını etkili bir şekilde karşılayan çözümlere olan talep de artıyor. Termal yönetim çözümlerinde öncü olan Cooler Master, müşterilere inanılmaz performans sunacak olan NVIDIA Blackwell platformunun tüm potansiyelinin açığa çıkmasına yardımcı oluyor.”
• Danfoss CEO’su Kim Fausing: “Danfoss’un yenilikçi, yüksek performanslı hızlı bağlantı kesme ve akışkan güç tasarımlarına odaklanması, kaplinlerimizi veri merkezlerinde verimli, güvenilir ve emniyetli bir çalışma sağlamak açısından değerli kılıyor. NVIDIA’nın yapay zeka ekosisteminin hayati bir parçası olarak birlikte çalışmamız, veri merkezlerinin çevresel etkiyi en aza indirirken artan yapay zeka taleplerini karşılamasını sağlıyor.”
• Delta Electronics Yönetim Kurulu Başkanı ve CEO’su Ping Cheng şunları söyledi: “Bilgisayar gücüne yönelik her yerde bulunan talep, hızlandırılmış performans yeteneklerinde yeni bir çağ başlattı. Delta, gelişmiş soğutma ve güç sistemlerimiz aracılığıyla, enerji ve termal verimliliği korurken, NVIDIA’nın Blackwell platformunun en yüksek performans seviyelerinde çalışmasını sağlayan yenilikçi çözümler geliştirdi.”
• GIGABYTE başkan yardımcısı ve genel müdürü Etay Lee: “Yaklaşık otuz yıla yayılan işbirliğimizle GIGABYTE, GPU’lar, CPU’lar, DPU’lar ve yüksek hızlı ağ iletişimi genelinde NVIDIA teknolojilerini destekleme konusunda derin bir kararlılığa sahiptir. Kuruluşların bilgi işlem yoğunluklu iş yüklerinde daha da yüksek performans ve enerji verimliliği elde edebilmeleri için, pazara geniş bir Blackwell tabanlı sistem yelpazesi sunuyoruz.”
• Hon Hai Teknoloji Grubu Başkanı ve CEO’su Young Liu: “Üretken yapay zeka endüstrileri dönüştürürken, Foxconn da en çeşitli ve zorlu bilgi işlem ihtiyaçlarını karşılamak için en ileri çözümleri sunmaya hazır. Yalnızca kendi sunucularımızda en son Blackwell platformunu kullanmakla kalmıyoruz, aynı zamanda müşterilerimize pazara daha hızlı çıkış süresi sağlayarak NVIDIA’ya temel bileşenlerin sağlanmasına da yardımcı oluyoruz.”
• Inventec Başkanı Jack Tsai: “Inventec, neredeyse yarım yüzyıldır işimizin can damarı olan elektronik ürünler ve bileşenler tasarlıyor ve üretiyor. NVIDIA Grace Blackwell Superchip tarafından desteklenen NVIDIA MGX raf tabanlı çözümümüz aracılığıyla, müşterilerimizin yeni bir yapay zeka yeteneği ve performansı alanına girmelerine yardımcı oluyoruz.”
• LITEON Technology Başkanı Anson Chiu: “Daha yeşil ve daha sürdürülebilir veri merkezleri arayışında, güç yönetimi ve soğutma çözümleri merkezde yer alıyor. NVIDIA Blackwell platformunun piyasaya sürülmesiyle LITEON, NVIDIA ortaklarının yüksek verimli, çevre dostu veri merkezlerinin geleceğinin kilidini açmasına olanak tanıyan çok sayıda sıvı soğutma çözümünü piyasaya sürüyor.”
• Quanta Computer başkanı Barry Lam: “İnovasyonun daha önce hiç olmadığı kadar hızlandığı, yapay zeka odaklı bir dünyanın merkezinde duruyoruz. NVIDIA Blackwell yalnızca bir motor değildir; bu sanayi devrimini ateşleyen kıvılcımdır. Quanta, üretken yapay zekanın bir sonraki çağını tanımlarken bu muhteşem yolculukta gururla NVIDIA’ya katılıyor. Birlikte yapay zekanın yeni bir bölümünü şekillendirip tanımlayacağız.”
• Supermicro Başkanı ve CEO’su Charles Liang: “Yapı taşı mimarimiz ve raf ölçeğindeki sıvı soğutma çözümlerimiz, şirket içi mühendisliğimiz ve ayda 5.000 raflık küresel üretim kapasitemizle birleştiğinde, geniş bir ürün yelpazesini hızlı bir şekilde sunmamızı sağlıyor. Oyunun kurallarını değiştiren NVIDIA AI platformu tabanlı ürünlerin dünya çapındaki AI fabrikalarına sunulması. NVIDIA Blackwell mimarisini temel alan tüm ürünler için optimize edilmiş, raf ölçeğinde tasarıma sahip sıvı soğutmalı veya hava soğutmalı yüksek performanslı sistemlerimiz, müşterilere sonraki düzey bilgi işlem ihtiyaçlarını karşılamak için inanılmaz bir platform seçeneği sunmanın yanı sıra, Yapay zekanın geleceğine doğru büyük bir adım.”
• TSMC CEO’su CC Wei:  “TSMC, AI vizyonlarını gerçekleştirmelerine olanak tanıyan yarı iletken inovasyonunun sınırlarını zorlamak için NVIDIA ile yakın işbirliği içinde çalışıyor. Sektör lideri yarı iletken üretim teknolojilerimiz, Blackwell mimarisine dayananlar da dahil olmak üzere NVIDIA’nın çığır açan GPU’larının şekillenmesine yardımcı oldu.”
• Wistron CEO’su Jeff Lin: “Önemli bir üretim ortağı olarak Wistron, NVIDIA’nın yanı sıra GPU bilgi işlem teknolojileri ve yapay zeka bulut çözümlerini müşterilere sunarak inanılmaz bir yolculuğa çıkıyor. Şimdi, muazzam yeni AI bilgi işlem ürünlerini hızlı bir şekilde pazara sunmak için NVIDIA’nın en yeni GPU mimarileri ve Blackwell ve MGX gibi referans tasarımlarıyla çalışıyoruz.”
• Wiwynn Başkanı William Lin: “Wiwynn, müşterilerin üretken yapay zeka çağında devasa bilgi işlem gücüne ve gelişmiş soğutma çözümlerine yönelik artan talebi karşılamalarına yardımcı olmaya odaklanıyor. NVIDIA Grace Blackwell ve MGX platformlarını temel alan en yeni serimizle, özellikle hiper ölçekli bulut sağlayıcılarının ve işletmelerin zorlu iş yükleri için özel olarak tasarlanmış, optimize edilmiş, raf düzeyinde, sıvı soğutmalı yapay zeka sunucuları oluşturuyoruz.”

NVIDIA Blackwell ve MGX platformları hakkında daha fazla bilgi edinmek için Huang’ın COMPUTEX açılış konuşmasını izleyin .

Daha fazla bilgi edinmek için bizimle iletişime geçin!

Yapay Zeka için Nvidia H100 NVL

NVIDIA H100 HVL daha önce gördüğümüz bir şeye benzeyebilir ancak arada büyük bir fark var. NVIDIA’ya sorduk ve şirket mantıksal olarak bunun işletim sistemi için iki GPU olduğunu ancak NVLink’in 188 GB belleğin tamamının sistem tarafından kullanılmasına izin vereceğini söyledi.

Üst Düzey Yapay Zeka Çıkarımı için NVIDIA H100 NVL Piyasaya Sürüldü

Yeni NVIDIA H100 NVL, iki NVIDIA H100 PCIe’yi NVLink ile bir araya getiriyor ve bir yenilik getiriyor. Yeni NVL sürümünde GPU başına 94 GB, toplam 188 GB HBM3 bellek bulunuyor. Bu muhtemelen altıncı 16GB’lık yığının etkinleştirildiği, ancak 96GB’lık aktif alanın 94GB’ı için yalnızca 14GB’ın mevcut olduğu anlamına geliyor.

Gerçekten ilginç olan da TDP’dir. Bunlar 350W ila 400W TDP PCIe kartlarıdır. Genel olarak, çoğu sunucu PCIe form faktörlerinde 400W’ı işleyemediğinden, PCIe kartlarındaki diğer satıcıların çoğunda gördüğümüz en üst seviye 300W’tır. Bu, üst düzey OAM/SXM form faktörleri için büyük bir etkendir.

Spesifikasyonlara dayanarak, NVIDIA H100 NVL spesifikasyonlarının 400W için olduğunu varsayarsak, PCIe versiyonlarının H100 SXM5 versiyonlarından çok daha üstün olduğu ancak üst seviye 900GB/s NVLINK arayüzleri olmadığı görülüyor. Hesaplama özellikleri H100 SXM’nin 2 katıdır, ancak NVL sürümü daha fazla belleğe, daha yüksek bellek bant genişliğine sahiptir ve performans için benzer gücü kullanır.

Son sözler

Bizim düşüncemiz, NVL’nin değerinin düşürülmesi gerektiği veya H100 SXM5’in yakın zamanda eşleşmesi için spesifikasyon artışına ihtiyaç duyacağı yönünde. Bu çok garip bir konumlandırma. Yine de NVIDIA, ChatGPT için artık DGX A100’leri kullanan OpenAI’nin, çıkarımını yapmak için 10x’e kadar DGX A100 sistemini dört set NVIDIA H100 NVL çiftiyle değiştirebileceğini söylüyor. Zamanla bunların değerinin düşürülüp düşürülmeyeceğini veya H100 SXM5’in güncellenip güncellenmeyeceğini görmek ilginç olacak.

Daha fazla bilgi edinmek için bizimle iletişime geçin!

NVIDIA H200 Tensor Core GPU, oyunun kurallarını değiştiren performans ve bellek özellikleriyle üretken yapay zeka ve yüksek performanslı bilgi işlem (HPC) iş yüklerini güçlendirir. HBM3e’ye sahip ilk GPU olan H200’ün daha büyük ve daha hızlı belleği, üretken yapay zeka ve büyük dil modellerinin (LLM’ler) hızlandırılmasını sağlarken HPC iş yükleri için bilimsel bilgi işlemi geliştirir.

Ön ölçülen performans, değişikliğe tabidir.
Llama2 13B: ISL 128, OSL 2K | Verim | H100 1x GPU BS 64 | H200 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 GPU’lar BS 64 | x8 H200 GPU’lar BS 128
Llama2 70B: ISL 2K, OSL 128 | Verim | H100 1x GPU BS 8 | H200 1x GPU BS 32.

Yüksek Performanslı Yüksek Lisans Çıkarımıyla İçgörülerin Kilidini Açın

Yapay zekanın sürekli gelişen ortamında işletmeler, çeşitli çıkarım ihtiyaçlarını karşılamak için Yüksek Lisans’lara güveniyor. Bir yapay zeka çıkarım hızlandırıcısı, geniş bir kullanıcı tabanına uygun ölçekte dağıtıldığında en yüksek verimi en düşük toplam sahip olma maliyetiyle sunmalıdır.

H200, Llama2 gibi LLM’leri işlerken H100 GPU’lara kıyasla çıkarım hızını 2 kata kadar artırır.

Yüksek Performanslı Bilgi İşlemi Güçlendirin

Bellek bant genişliği, daha hızlı veri aktarımı sağlayarak karmaşık işlem darboğazlarını azalttığından HPC uygulamaları için çok önemlidir. Simülasyonlar, bilimsel araştırmalar ve yapay zeka gibi yoğun bellek kullanan HPC uygulamaları için H200’ün daha yüksek bellek bant genişliği, verilere verimli bir şekilde erişilmesini ve işlenmesini sağlar ve CPU’lara kıyasla sonuçlara 110 kat daha hızlı ulaşmayı sağlar.

Yüksek Performanslı Bilgi İşlem Hakkında Daha Fazla Bilgi Edinin

Tahmini performans değişebilir.
HPC MILC-veri kümesi NERSC Apex Medium | HGX H200 4-GPU | çift ​​Sapphire Rapids 8480
HPC Uygulamaları- CP2K: veri kümesi H2O-32-RI-dRPA-96points | GROMACS: STMV veri kümesi | SİMGE: veri kümesi r2b5 | MILC: veri kümesi NERSC Apex Medium | Chroma: veri kümesi HMC Medium | Quantum Espresso: AUSURF112 veri kümesi | 1x H100 | 1x H200.

Tahmini performans değişebilir.
HPC MILC-veri kümesi NERSC Apex Medium | HGX H200 4-GPU | çift ​​Sapphire Rapids 8480
HPC Uygulamaları- CP2K: veri kümesi H2O-32-RI-dRPA-96points | GROMACS: STMV veri kümesi | SİMGE: veri kümesi r2b5 | MILC: veri kümesi NERSC Apex Medium | Chroma: veri kümesi HMC Medium | Quantum Espresso: AUSURF112 veri kümesi | 1x H100 | 1x H200.

Ön ölçülen performans, değişikliğe tabidir.
Llama2 70B: ISL 2K, OSL 128 | Verim | H100 1x GPU BS 8 | H200 1x GPU BS 32

Enerjiyi ve Toplam Sahip Olma Maliyetini Azaltın

H200’ün piyasaya sürülmesiyle enerji verimliliği ve toplam sahip olma maliyeti yeni seviyelere ulaşıyor. Bu son teknoloji, tümü H100 ile aynı güç profilinde olmak üzere benzersiz bir performans sunar. Yalnızca daha hızlı değil, aynı zamanda daha çevre dostu olan yapay zeka fabrikaları ve süper bilgi işlem sistemleri, yapay zekayı ve bilim topluluğunu ileriye taşıyan ekonomik bir avantaj sağlıyor.

Sürdürülebilir Bilgi İşlem Hakkında Daha Fazla Bilgi Edinin

Günümüzün karmaşık iş ortamlarında BT ekipleri, çalışan hesaplarının kilitlenmesi gibi basit sorunlardan kritik güvenlik tehditlerine kadar sürekli bir dizi zorlukla karşı karşıyadır. Bu durumlar hem hızlı düzeltmeler hem de stratejik savunmalar gerektirir, bu da operasyonların sorunsuz ve güvenli bir şekilde sürdürülmesini daha da zorlaştırır.

Yapay zekayı BT operasyonlarıyla harmanlayarak yalnızca rutin görevleri otomatikleştirmekle kalmayıp aynı zamanda güvenlik önlemlerini de geliştiren AIOps tam da bu noktada devreye giriyor. Bu etkili yaklaşım, ekiplerin küçük sorunlarla hızlı bir şekilde ilgilenmesine ve daha da önemlisi, güvenlik tehditlerini eskisinden daha hızlı ve daha doğru bir şekilde tanımlayıp yanıt vermesine olanak tanır.

AIOps, makine öğrenimini kullanarak yalnızca operasyonları kolaylaştırmada değil, aynı zamanda genel olarak güvenliği güçlendirmede de önemli bir araç haline geliyor. Gelişmiş yapay zekayı ekiplerine entegre etmek isteyen işletmeler için oyunun kurallarını değiştirecek ve potansiyel güvenlik risklerinin bir adım önünde kalmalarına yardımcı olacak.

IDC’ye göre , BT operasyon yönetimi yazılım pazarının yıllık %10,3 oranında büyüyerek 2027 yılına kadar tahmini 28,4 milyar dolar gelire ulaşması bekleniyor. Bu büyüme, operasyonel verimlilik ve modern iletişimin kritik bir bileşeni olarak AIOps’a artan güvenin altını çiziyor. siber güvenlik stratejileri.

Makine öğrenimi operasyonlarındaki hızlı büyüme, üretken yapay zeka çağını dönüştürmeye devam ederken, NVIDIA iş ortaklarından oluşan geniş bir ekosistem, BT operasyonlarını iyileştirmek için NVIDIA yapay zekadan yararlanan AIOps çözümleri sunuyor.

NVIDIA, hızlandırılmış bilgi işlem ve yapay zeka yazılımıyla AIOps iş ortaklarından oluşan geniş bir ekosisteme yardımcı oluyor. Buna , her yerde çalışabilen ve yapay zeka modlarının hızlandırılmış çıkarımı için NVIDIA NIM, yapay zeka tabanlı siber güvenlik için NVIDIA Morpheus ve özel üretken yapay zeka için NVIDIA NeMo gibi yazılımlar aracılığıyla AIOps için temel sağlayan, bulutta yerel bir yığın olan NVIDIA AI Enterprise dahildir . Bu yazılım, GenAI tabanlı sohbet robotu, özetleme ve arama işlevlerini kolaylaştırır.

NVIDIA AI kullanan AIOps sağlayıcıları şunları içerir:

• Dynatrace Davis hipermodal yapay zeka, Davis CoPilot’un eklenmesiyle nedensel, öngörücü ve üretken yapay zeka tekniklerini entegre ederek AIOps’u geliştiriyor. Bu kombinasyon, hassas ve eyleme geçirilebilir, yapay zeka odaklı yanıtlar ve otomasyon sunarak BT, geliştirme, güvenlik ve iş operasyonlarında gözlemlenebilirliği ve güvenliği artırır.

• Elastic, semantik ve vektör arama için GPT-4 gibi popüler LLM’lerle entegre olarak Yapay Zeka Asistanlarını Gözlemlenebilirlik ve Güvenlik çözümlerinde destekleyen Elasticsearch Relevance Engine’i (ESRE) sunar . Observability AI Assistant, BT ekiplerinin karmaşık sistemleri anlamasına, sağlığı izlemesine ve operasyonel sorunların iyileştirilmesini otomatikleştirmesine yardımcı olan yeni nesil bir AI Ops yeteneğidir .
• New Relic, makine öğreniminden , üretken yapay zeka yardımcı çerçevelerinden ve gözlemlenebilirlik konusundaki uzun yıllara dayanan uzmanlığından yararlanarak AIOps’u geliştiriyor . Makine öğrenimi ve gelişmiş mantığı, BT ekiplerinin uyarı gürültüsünü azaltmasına, ortalama tespit süresini ve ortalama onarım süresini iyileştirmesine, temel neden analizini otomatikleştirmesine ve geçmişe yönelik değerlendirmeler oluşturmasına yardımcı olur. GenAI asistanı New Relic AI, kullanıcıların bağlamları değiştirmeden hataları tanımlamasına, açıklamasına ve çözmesine olanak tanıyarak sorun çözümünü hızlandırıyor ve kod düzeltmelerini doğrudan geliştiricinin entegre geliştirme ortamında öneriyor ve uyguluyor. Aynı zamanda otomatik olarak üst düzey sistem sağlık raporları üreterek, kontrol panellerini analiz edip özetleyerek ve kullanıcının uygulamaları, altyapısı ve hizmetleri hakkındaki sade dildeki soruları yanıtlayarak olay görünürlüğünü ve önlemeyi teknik olmayan ekiplere de genişletir. New Relic ayrıca NVIDIA GPU’lardan yararlanan yapay zeka destekli uygulamalar için tam yığın gözlemlenebilirlik sağlıyor.
• PagerDuty, PagerDuty Copilot’a , olayın başlangıcından çözümlenmesine kadar içgörüler sunmak, olay yaşam döngüsünü kolaylaştırmak ve BT ekipleri için manuel görev yüklerini azaltmak üzere üretken bir yapay zeka asistanını Slack’e entegre eden yeni bir özelliği tanıttı .
• ServiceNow’un proaktif bir BT operasyonları yaratma taahhüdü, olaylara hızlı müdahale için içgörülerin otomatikleştirilmesini, hizmet yönetiminin optimize edilmesini ve anormalliklerin tespit edilmesini kapsar. Şimdi NVIDIA ile işbirliği içinde, teknoloji hizmetlerinde ve operasyonlarında daha fazla yenilik yapmak için üretken yapay zekaya yöneliyor.
• Splunk’un teknoloji platformu, operasyonel sorunları ve tehditleri tanımlama, teşhis etme ve çözme süreçlerini otomatikleştirmek için yapay zeka ve makine öğrenimini uygulayarak BT verimliliğini ve güvenlik duruşunu geliştirir. Splunk BT Hizmet İstihbaratı , Splunk’un birincil AIOps teklifi olarak hizmet eder ve yerleşik yapay zeka odaklı olay tahmini, tespiti ve çözümünü tek bir yerden sağlar.

Amazon Web Services (AWS), Google Cloud ve Microsoft Azure gibi bulut hizmet sağlayıcıları, bulut kaynaklarının ölçeğinden ve esnekliğinden yararlanarak kuruluşların BT operasyonlarını otomatikleştirmesine ve optimize etmesine olanak tanır.

• AWS , izleme ve gözlemlenebilirlik için Amazon CloudWatch; Kullanıcı etkinliğini ve API kullanımını izlemek için AWS CloudTrail; Tekrarlanabilir ve sorumlu makine öğrenimi iş akışları oluşturmak için Amazon SageMaker; ve sunucusuz bilgi işlem için AWS Lambda, tetikleyicilere dayalı yanıt eylemlerinin otomasyonuna olanak tanır.
• Google Cloud, buluttaki ve şirket içi uygulamalarda izleme, günlük kaydı ve teşhis sağlayan Google Cloud Operations gibi hizmetler aracılığıyla AIOps’u destekler. Google Cloud’un yapay zeka ve makine öğrenimi ürünleri arasında, model eğitimi ve tahmin için Vertex AI ile Google altyapısının işlem gücünü kullanan hızlı SQL sorguları için BigQuery yer alıyor.
• Microsoft Azure, uygulamaların, hizmetlerin ve altyapının kapsamlı bir şekilde izlenmesi için Azure Monitor ile AIOps’u kolaylaştırır. Azure Monitor’ün yerleşik AIOps yetenekleri, kapasite kullanımını tahmin etmeye, otomatik ölçeklendirmeyi etkinleştirmeye, uygulama performansı sorunlarını tanımlamaya ve sanal makineler, kapsayıcılar ve diğer kaynaklardaki anormal davranışları algılamaya yardımcı olur. Microsoft Azure Machine Learning (AzureML), makine öğrenimi modellerini sorumlu, güvenli ve uygun ölçekte eğitmek, dağıtmak ve yönetmek için bulut tabanlı bir MLOps ortamı sunar.

MLOps konusunda uzmanlaşmış platformlar öncelikle makine öğrenimi modellerinin geliştirmeden dağıtıma ve izlemeye kadar yaşam döngüsünü kolaylaştırmaya odaklanır. Temel misyon, makine öğrenimini daha erişilebilir, verimli ve ölçeklenebilir hale getirmeye odaklansa da teknolojileri ve metodolojileri, BT operasyonlarındaki yapay zeka yeteneklerini geliştirerek AIOps’u dolaylı olarak destekliyor: 

• Anyscale’in Ray tabanlı platformu, AIOps’ta anormallik tespiti ve otomatik iyileştirme gibi görevlerde kullanılanlar da dahil olmak üzere yapay zeka ve makine öğrenimi uygulamalarının kolayca ölçeklendirilmesine olanak tanıyor. Anyscale, dağıtılmış bilgi işlemi kolaylaştırarak AIOps sistemlerinin büyük hacimli operasyonel verileri daha verimli bir şekilde işlemesine yardımcı olarak gerçek zamanlı analiz ve karar almayı mümkün kılar.
• Dataiku, BT ekiplerinin bu modelleri üretim ortamlarında hızlı bir şekilde devreye almasına ve yinelemesine olanak tanıyan özelliklerle, BT sistem arızalarını tahmin eden veya kaynak tahsisini optimize eden modeller oluşturmak için kullanılabilir.
• Dataloop’un platformu, tam veri yaşam döngüsü yönetimi ve uçtan uca iş akışı için yapay zeka modellerini bağlamanın esnek bir yolunu sunarak kullanıcıların verilerini kullanarak yapay zeka uygulamaları geliştirmelerine olanak tanıyor.
• DataRobot, BT operasyon ekiplerinin yapay zeka çözümlerini hızlı bir şekilde oluşturmasına, dağıtmasına ve yönetmesine olanak tanıyan, operasyonel verimliliği ve performansı artıran tam bir yapay zeka yaşam döngüsü platformudur.
• Domino Data Lab’in platformu, işletmelerin ve veri bilimcilerinin yapay zekayı birleşik, uçtan uca bir platformda oluşturmasına, dağıtmasına ve yönetmesine olanak tanır. Tüm ortamlardaki veriler, araçlar, bilgi işlem, modeller ve projeler merkezi olarak yönetilir; böylece ekipler işbirliği yapabilir, üretim modellerini izleyebilir ve yönetilen yapay zeka inovasyonu için en iyi uygulamaları standartlaştırabilir. Bu yaklaşım, veri bilimi ekiplerinin ihtiyaç duyduğu self-servis hizmeti, BT operasyonel ihtiyaçları için tam tekrarlanabilirlik, ayrıntılı maliyet takibi ve proaktif yönetim ile dengelediği için AIOps için hayati öneme sahiptir.
• Weights & Biases, AIOps’ta kullanılan yapay zeka modellerinin geliştirilmesi ve ince ayarının yapılması için çok önemli olan deney takibi, model optimizasyonu ve işbirliğine yönelik araçlar sağlar. Weights & Biases, model performansına ilişkin ayrıntılı bilgiler sunarak ve ekipler arasında işbirliğini kolaylaştırarak, BT operasyonları için dağıtılan yapay zeka modellerinin hem etkili hem de şeffaf olmasını sağlamaya yardımcı olur.

NVIDIA’nın iş ortağı ekosistemi ve çalışmaları hakkında daha fazlasını GTM Teknoloji ‘den öğrenin .

• Yeni Blackwell GPU, NVLink ve Resilience Teknolojileri Trilyon Parametre Ölçeğinde Yapay Zeka Modellerine Olanak Sağlıyor
• Yeni Tensor Çekirdekleri ve TensorRT-LLM Derleyicisi, Yüksek Lisans Çıkarımı İşletim Maliyetini ve Enerjiyi 25 Kata Kadar Azaltır
• Yeni Hızlandırıcılar Veri İşleme, Mühendislik Simülasyonu, Elektronik Tasarım Otomasyonu, Bilgisayar Destekli İlaç Tasarımı ve Kuantum Hesaplamada Çığır Açıyor
• Tüm Büyük Bulut Sağlayıcıları, Sunucu Oluşturucuları ve Lider Yapay Zeka Şirketleri Tarafından Yaygın Olarak Benimseniyor

Yeni bir bilişim çağını güçlendirirken, NVIDIA bugün NVIDIA Blackwell platformunun geldiğini duyurdu – organizasyonlara her yerde, önceki nesline göre enerji tüketiminde %25’e kadar daha az maliyetle ve enerji tüketimiyle trilyon parametreli büyük dil modelleri üzerinde gerçek zamanlı üretken yapay zeka inşa etme ve çalıştırma imkanı sunuyor.

Blackwell GPU mimarisi, hızlandırılmış hesaplama için altı devrim niteliğinde teknoloji içerir ve veri işleme, mühendislik simülasyonu, elektronik tasarım otomasyonu, bilgisayar destekli ilaç tasarımı, kuantum bilişim ve üretken yapay zeka gibi alanlarda çığır açacak yeniliklerin kilidini açmaya yardımcı olur – NVIDIA için gelişen endüstri fırsatları.

“NVIDIA olarak üç on yıldır derin öğrenme ve yapay zeka gibi dönüştürücü buluşları mümkün kılacak hızlandırılmış hesaplamayı sürdürüyoruz,” dedi NVIDIA’nın kurucusu ve CEO’su Jensen Huang. “Üretken yapay zeka, zamanımızın belirleyici teknolojisidir. Blackwell, bu yeni endüstri devrimini güçlendirecek motorumuzdur. Dünyanın en dinamik şirketleriyle çalışarak, yapay zekanın her endüstri için vaadini gerçekleştireceğiz.”

Blackwell’u benimseyecek birçok organizasyon arasında Supermicro, Amazon Web Services,  Google, Meta, Microsoft, OpenAI, Oracle, Tesla ve xAI gibi şirketler yer alıyor.

Blackwell’in Hızlandırılmış Bilgi İşlemi ve Üretken Yapay Zekayı Güçlendirecek Yenilikleri
Blackwell’in, 10 trilyon parametreye kadar ölçeklenen modeller için yapay zeka eğitimini ve gerçek zamanlı LLM çıkarımını mümkün kılan devrim niteliğindeki altı teknolojisi şunları içerir:

• Dünyanın En Güçlü Çipi  — 208 milyar transistörle paketlenmiş Blackwell mimarili GPU’lar, tek bir birleşik GPU’ya 10 TB/saniyelik çipten çipe bağlantıyla bağlanan, iki retikül limitli GPU kalıplarına sahip özel yapım 4NP TSMC işlemi kullanılarak üretilir .
• İkinci Nesil Transformatör Motoru  — Yeni mikro tensör ölçeklendirme desteği ve NVIDIA’nın NVIDIA TensorRT-LLM ve NeMo Megatron çerçevelerine entegre edilmiş gelişmiş dinamik aralık yönetimi algoritmalarıyla desteklenen Blackwell, yeni 4 bit kayan noktalı yapay zeka ile iki kat daha fazla bilgi işlem ve model boyutunu destekleyecektir çıkarım yetenekleri.
• Beşinci Nesil NVLink  — Multitrilyon parametreli ve uzmanlardan oluşan karma yapay zeka modellerinin performansını hızlandırmak için NVIDIA NVLink®’in en son sürümü, GPU başına çığır açan 1,8 TB/s çift yönlü verim sunarak 576 GPU’ya kadar kesintisiz yüksek hızlı iletişim sağlar en karmaşık LLM’ler için.
• RAS Motoru  — Blackwell destekli GPU’lar güvenilirlik, kullanılabilirlik ve servis kolaylığı için özel bir motor içerir. Ek olarak Blackwell mimarisi, teşhisleri çalıştırmak ve güvenilirlik sorunlarını tahmin etmek için yapay zeka tabanlı önleyici bakımdan yararlanmak üzere çip düzeyinde yetenekler ekler. Bu, sistemin çalışma süresini en üst düzeye çıkarır ve büyük ölçekli yapay zeka dağıtımlarının haftalarca, hatta aylarca kesintisiz çalışması ve işletme maliyetlerini azaltması için esnekliği artırır.
• Güvenli Yapay Zeka  — Gelişmiş gizli bilgi işlem yetenekleri, sağlık hizmetleri ve finansal hizmetler gibi gizliliğe duyarlı endüstriler için kritik öneme sahip yeni yerel arayüz şifreleme protokollerini destekleyerek yapay zeka modellerini ve müşteri verilerini performanstan ödün vermeden korur.
• Sıkıştırmayı Açma Motoru  — Özel bir sıkıştırmayı açma motoru, veri analitiği ve veri biliminde en yüksek performansı sunmak için veritabanı sorgularını hızlandırarak en yeni formatları destekler. Şirketlerin yılda on milyarlarca dolar harcadığı veri işleme, önümüzdeki yıllarda giderek daha fazla GPU ile hızlandırılacak.

Devasa Bir Süper Çip
NVIDIA GB200 Grace Blackwell Süper Çipi, iki NVIDIA B200 Tensor Core GPU’yu  900 GB/s ultra düşük güçlü NVLink çipten çipe ara bağlantı üzerinden NVIDIA Grace CPU’ya bağlar

En yüksek yapay zeka performansı için GB200 destekli sistemler, yine bugün duyurulan ve 800 Gb/s’ye varan hızlarda gelişmiş ağ iletişimi sağlayan NVIDIA Quantum-X800 InfiniBand ve Spectrum-X800 Ethernet platformlarına bağlanabilir  .

GB200,  bilgi işlem yoğunluklu iş yükleri için çok düğümlü, sıvı soğutmalı, raf ölçekli bir sistem olan NVIDIA GB200 NVL72’nin önemli bir bileşenidir. Beşinci nesil NVLink ile birbirine bağlanan 72 Blackwell GPU ve 36 Grace CPU içeren 36 Grace Blackwell Süper Çipini birleştiriyor. Ayrıca GB200 NVL72, hiper ölçekli yapay zeka bulutlarında bulut ağı hızlandırmayı, şekillendirilebilir depolamayı, sıfır güven güvenliğini ve GPU bilgi işlem esnekliğini etkinleştirmek için NVIDIA BlueField®-3 veri işleme birimlerini içerir. GB200 NVL72, LLM çıkarım iş yükleri için aynı sayıdaki NVIDIA H100 Tensor Core GPU’lara kıyasla 30 kata kadar performans artışı sağlar ve maliyet ile enerji tüketimini 25 kata kadar azaltır.

Platform, 1,4 exaflop yapay zeka performansı ve 30 TB hızlı belleğe sahip tek bir GPU görevi görüyor ve en yeni DGX SuperPOD için bir yapı taşı oluşturuyor.

NVIDIA  , x86 tabanlı üretken yapay zeka platformlarını desteklemek için sekiz B200 GPU’yu NVLink aracılığıyla bağlayan bir sunucu anakartı olan HGX B200’ü sunuyor. HGX B200, NVIDIA Quantum-2 InfiniBand ve Spectrum-X Ethernet ağ platformları aracılığıyla 400 Gb/s’ye kadar ağ oluşturma hızlarını destekler.

Nvidia Blackwell Üretken Yapay Zeka çözümleriyle ilgili detaylı bilgi için Nvidia Elite NPN Partner GTM Teknoloji ile iletişime geçebilirsiniz.