Günümüzün karmaşık iş ortamlarında BT ekipleri, çalışan hesaplarının kilitlenmesi gibi basit sorunlardan kritik güvenlik tehditlerine kadar sürekli bir dizi zorlukla karşı karşıyadır. Bu durumlar hem hızlı düzeltmeler hem de stratejik savunmalar gerektirir, bu da operasyonların sorunsuz ve güvenli bir şekilde sürdürülmesini daha da zorlaştırır.

Yapay zekayı BT operasyonlarıyla harmanlayarak yalnızca rutin görevleri otomatikleştirmekle kalmayıp aynı zamanda güvenlik önlemlerini de geliştiren AIOps tam da bu noktada devreye giriyor. Bu etkili yaklaşım, ekiplerin küçük sorunlarla hızlı bir şekilde ilgilenmesine ve daha da önemlisi, güvenlik tehditlerini eskisinden daha hızlı ve daha doğru bir şekilde tanımlayıp yanıt vermesine olanak tanır.

AIOps, makine öğrenimini kullanarak yalnızca operasyonları kolaylaştırmada değil, aynı zamanda genel olarak güvenliği güçlendirmede de önemli bir araç haline geliyor. Gelişmiş yapay zekayı ekiplerine entegre etmek isteyen işletmeler için oyunun kurallarını değiştirecek ve potansiyel güvenlik risklerinin bir adım önünde kalmalarına yardımcı olacak.

IDC’ye göre , BT operasyon yönetimi yazılım pazarının yıllık %10,3 oranında büyüyerek 2027 yılına kadar tahmini 28,4 milyar dolar gelire ulaşması bekleniyor. Bu büyüme, operasyonel verimlilik ve modern iletişimin kritik bir bileşeni olarak AIOps’a artan güvenin altını çiziyor. siber güvenlik stratejileri.

Makine öğrenimi operasyonlarındaki hızlı büyüme, üretken yapay zeka çağını dönüştürmeye devam ederken, NVIDIA iş ortaklarından oluşan geniş bir ekosistem, BT operasyonlarını iyileştirmek için NVIDIA yapay zekadan yararlanan AIOps çözümleri sunuyor.

NVIDIA, hızlandırılmış bilgi işlem ve yapay zeka yazılımıyla AIOps iş ortaklarından oluşan geniş bir ekosisteme yardımcı oluyor. Buna , her yerde çalışabilen ve yapay zeka modlarının hızlandırılmış çıkarımı için NVIDIA NIM, yapay zeka tabanlı siber güvenlik için NVIDIA Morpheus ve özel üretken yapay zeka için NVIDIA NeMo gibi yazılımlar aracılığıyla AIOps için temel sağlayan, bulutta yerel bir yığın olan NVIDIA AI Enterprise dahildir . Bu yazılım, GenAI tabanlı sohbet robotu, özetleme ve arama işlevlerini kolaylaştırır.

NVIDIA AI kullanan AIOps sağlayıcıları şunları içerir:

• Dynatrace Davis hipermodal yapay zeka, Davis CoPilot’un eklenmesiyle nedensel, öngörücü ve üretken yapay zeka tekniklerini entegre ederek AIOps’u geliştiriyor. Bu kombinasyon, hassas ve eyleme geçirilebilir, yapay zeka odaklı yanıtlar ve otomasyon sunarak BT, geliştirme, güvenlik ve iş operasyonlarında gözlemlenebilirliği ve güvenliği artırır.

• Elastic, semantik ve vektör arama için GPT-4 gibi popüler LLM’lerle entegre olarak Yapay Zeka Asistanlarını Gözlemlenebilirlik ve Güvenlik çözümlerinde destekleyen Elasticsearch Relevance Engine’i (ESRE) sunar . Observability AI Assistant, BT ekiplerinin karmaşık sistemleri anlamasına, sağlığı izlemesine ve operasyonel sorunların iyileştirilmesini otomatikleştirmesine yardımcı olan yeni nesil bir AI Ops yeteneğidir .
• New Relic, makine öğreniminden , üretken yapay zeka yardımcı çerçevelerinden ve gözlemlenebilirlik konusundaki uzun yıllara dayanan uzmanlığından yararlanarak AIOps’u geliştiriyor . Makine öğrenimi ve gelişmiş mantığı, BT ekiplerinin uyarı gürültüsünü azaltmasına, ortalama tespit süresini ve ortalama onarım süresini iyileştirmesine, temel neden analizini otomatikleştirmesine ve geçmişe yönelik değerlendirmeler oluşturmasına yardımcı olur. GenAI asistanı New Relic AI, kullanıcıların bağlamları değiştirmeden hataları tanımlamasına, açıklamasına ve çözmesine olanak tanıyarak sorun çözümünü hızlandırıyor ve kod düzeltmelerini doğrudan geliştiricinin entegre geliştirme ortamında öneriyor ve uyguluyor. Aynı zamanda otomatik olarak üst düzey sistem sağlık raporları üreterek, kontrol panellerini analiz edip özetleyerek ve kullanıcının uygulamaları, altyapısı ve hizmetleri hakkındaki sade dildeki soruları yanıtlayarak olay görünürlüğünü ve önlemeyi teknik olmayan ekiplere de genişletir. New Relic ayrıca NVIDIA GPU’lardan yararlanan yapay zeka destekli uygulamalar için tam yığın gözlemlenebilirlik sağlıyor.
• PagerDuty, PagerDuty Copilot’a , olayın başlangıcından çözümlenmesine kadar içgörüler sunmak, olay yaşam döngüsünü kolaylaştırmak ve BT ekipleri için manuel görev yüklerini azaltmak üzere üretken bir yapay zeka asistanını Slack’e entegre eden yeni bir özelliği tanıttı .
• ServiceNow’un proaktif bir BT operasyonları yaratma taahhüdü, olaylara hızlı müdahale için içgörülerin otomatikleştirilmesini, hizmet yönetiminin optimize edilmesini ve anormalliklerin tespit edilmesini kapsar. Şimdi NVIDIA ile işbirliği içinde, teknoloji hizmetlerinde ve operasyonlarında daha fazla yenilik yapmak için üretken yapay zekaya yöneliyor.
• Splunk’un teknoloji platformu, operasyonel sorunları ve tehditleri tanımlama, teşhis etme ve çözme süreçlerini otomatikleştirmek için yapay zeka ve makine öğrenimini uygulayarak BT verimliliğini ve güvenlik duruşunu geliştirir. Splunk BT Hizmet İstihbaratı , Splunk’un birincil AIOps teklifi olarak hizmet eder ve yerleşik yapay zeka odaklı olay tahmini, tespiti ve çözümünü tek bir yerden sağlar.

Amazon Web Services (AWS), Google Cloud ve Microsoft Azure gibi bulut hizmet sağlayıcıları, bulut kaynaklarının ölçeğinden ve esnekliğinden yararlanarak kuruluşların BT operasyonlarını otomatikleştirmesine ve optimize etmesine olanak tanır.

• AWS , izleme ve gözlemlenebilirlik için Amazon CloudWatch; Kullanıcı etkinliğini ve API kullanımını izlemek için AWS CloudTrail; Tekrarlanabilir ve sorumlu makine öğrenimi iş akışları oluşturmak için Amazon SageMaker; ve sunucusuz bilgi işlem için AWS Lambda, tetikleyicilere dayalı yanıt eylemlerinin otomasyonuna olanak tanır.
• Google Cloud, buluttaki ve şirket içi uygulamalarda izleme, günlük kaydı ve teşhis sağlayan Google Cloud Operations gibi hizmetler aracılığıyla AIOps’u destekler. Google Cloud’un yapay zeka ve makine öğrenimi ürünleri arasında, model eğitimi ve tahmin için Vertex AI ile Google altyapısının işlem gücünü kullanan hızlı SQL sorguları için BigQuery yer alıyor.
• Microsoft Azure, uygulamaların, hizmetlerin ve altyapının kapsamlı bir şekilde izlenmesi için Azure Monitor ile AIOps’u kolaylaştırır. Azure Monitor’ün yerleşik AIOps yetenekleri, kapasite kullanımını tahmin etmeye, otomatik ölçeklendirmeyi etkinleştirmeye, uygulama performansı sorunlarını tanımlamaya ve sanal makineler, kapsayıcılar ve diğer kaynaklardaki anormal davranışları algılamaya yardımcı olur. Microsoft Azure Machine Learning (AzureML), makine öğrenimi modellerini sorumlu, güvenli ve uygun ölçekte eğitmek, dağıtmak ve yönetmek için bulut tabanlı bir MLOps ortamı sunar.

MLOps konusunda uzmanlaşmış platformlar öncelikle makine öğrenimi modellerinin geliştirmeden dağıtıma ve izlemeye kadar yaşam döngüsünü kolaylaştırmaya odaklanır. Temel misyon, makine öğrenimini daha erişilebilir, verimli ve ölçeklenebilir hale getirmeye odaklansa da teknolojileri ve metodolojileri, BT operasyonlarındaki yapay zeka yeteneklerini geliştirerek AIOps’u dolaylı olarak destekliyor: 

• Anyscale’in Ray tabanlı platformu, AIOps’ta anormallik tespiti ve otomatik iyileştirme gibi görevlerde kullanılanlar da dahil olmak üzere yapay zeka ve makine öğrenimi uygulamalarının kolayca ölçeklendirilmesine olanak tanıyor. Anyscale, dağıtılmış bilgi işlemi kolaylaştırarak AIOps sistemlerinin büyük hacimli operasyonel verileri daha verimli bir şekilde işlemesine yardımcı olarak gerçek zamanlı analiz ve karar almayı mümkün kılar.
• Dataiku, BT ekiplerinin bu modelleri üretim ortamlarında hızlı bir şekilde devreye almasına ve yinelemesine olanak tanıyan özelliklerle, BT sistem arızalarını tahmin eden veya kaynak tahsisini optimize eden modeller oluşturmak için kullanılabilir.
• Dataloop’un platformu, tam veri yaşam döngüsü yönetimi ve uçtan uca iş akışı için yapay zeka modellerini bağlamanın esnek bir yolunu sunarak kullanıcıların verilerini kullanarak yapay zeka uygulamaları geliştirmelerine olanak tanıyor.
• DataRobot, BT operasyon ekiplerinin yapay zeka çözümlerini hızlı bir şekilde oluşturmasına, dağıtmasına ve yönetmesine olanak tanıyan, operasyonel verimliliği ve performansı artıran tam bir yapay zeka yaşam döngüsü platformudur.
• Domino Data Lab’in platformu, işletmelerin ve veri bilimcilerinin yapay zekayı birleşik, uçtan uca bir platformda oluşturmasına, dağıtmasına ve yönetmesine olanak tanır. Tüm ortamlardaki veriler, araçlar, bilgi işlem, modeller ve projeler merkezi olarak yönetilir; böylece ekipler işbirliği yapabilir, üretim modellerini izleyebilir ve yönetilen yapay zeka inovasyonu için en iyi uygulamaları standartlaştırabilir. Bu yaklaşım, veri bilimi ekiplerinin ihtiyaç duyduğu self-servis hizmeti, BT operasyonel ihtiyaçları için tam tekrarlanabilirlik, ayrıntılı maliyet takibi ve proaktif yönetim ile dengelediği için AIOps için hayati öneme sahiptir.
• Weights & Biases, AIOps’ta kullanılan yapay zeka modellerinin geliştirilmesi ve ince ayarının yapılması için çok önemli olan deney takibi, model optimizasyonu ve işbirliğine yönelik araçlar sağlar. Weights & Biases, model performansına ilişkin ayrıntılı bilgiler sunarak ve ekipler arasında işbirliğini kolaylaştırarak, BT operasyonları için dağıtılan yapay zeka modellerinin hem etkili hem de şeffaf olmasını sağlamaya yardımcı olur.

NVIDIA’nın iş ortağı ekosistemi ve çalışmaları hakkında daha fazlasını GTM Teknoloji ‘den öğrenin .

• Yeni Blackwell GPU, NVLink ve Resilience Teknolojileri Trilyon Parametre Ölçeğinde Yapay Zeka Modellerine Olanak Sağlıyor
• Yeni Tensor Çekirdekleri ve TensorRT-LLM Derleyicisi, Yüksek Lisans Çıkarımı İşletim Maliyetini ve Enerjiyi 25 Kata Kadar Azaltır
• Yeni Hızlandırıcılar Veri İşleme, Mühendislik Simülasyonu, Elektronik Tasarım Otomasyonu, Bilgisayar Destekli İlaç Tasarımı ve Kuantum Hesaplamada Çığır Açıyor
• Tüm Büyük Bulut Sağlayıcıları, Sunucu Oluşturucuları ve Lider Yapay Zeka Şirketleri Tarafından Yaygın Olarak Benimseniyor

Yeni bir bilişim çağını güçlendirirken, NVIDIA bugün NVIDIA Blackwell platformunun geldiğini duyurdu – organizasyonlara her yerde, önceki nesline göre enerji tüketiminde %25’e kadar daha az maliyetle ve enerji tüketimiyle trilyon parametreli büyük dil modelleri üzerinde gerçek zamanlı üretken yapay zeka inşa etme ve çalıştırma imkanı sunuyor.

Blackwell GPU mimarisi, hızlandırılmış hesaplama için altı devrim niteliğinde teknoloji içerir ve veri işleme, mühendislik simülasyonu, elektronik tasarım otomasyonu, bilgisayar destekli ilaç tasarımı, kuantum bilişim ve üretken yapay zeka gibi alanlarda çığır açacak yeniliklerin kilidini açmaya yardımcı olur – NVIDIA için gelişen endüstri fırsatları.

“NVIDIA olarak üç on yıldır derin öğrenme ve yapay zeka gibi dönüştürücü buluşları mümkün kılacak hızlandırılmış hesaplamayı sürdürüyoruz,” dedi NVIDIA’nın kurucusu ve CEO’su Jensen Huang. “Üretken yapay zeka, zamanımızın belirleyici teknolojisidir. Blackwell, bu yeni endüstri devrimini güçlendirecek motorumuzdur. Dünyanın en dinamik şirketleriyle çalışarak, yapay zekanın her endüstri için vaadini gerçekleştireceğiz.”

Blackwell’u benimseyecek birçok organizasyon arasında Supermicro, Amazon Web Services,  Google, Meta, Microsoft, OpenAI, Oracle, Tesla ve xAI gibi şirketler yer alıyor.

Blackwell’in Hızlandırılmış Bilgi İşlemi ve Üretken Yapay Zekayı Güçlendirecek Yenilikleri
Blackwell’in, 10 trilyon parametreye kadar ölçeklenen modeller için yapay zeka eğitimini ve gerçek zamanlı LLM çıkarımını mümkün kılan devrim niteliğindeki altı teknolojisi şunları içerir:

• Dünyanın En Güçlü Çipi  — 208 milyar transistörle paketlenmiş Blackwell mimarili GPU’lar, tek bir birleşik GPU’ya 10 TB/saniyelik çipten çipe bağlantıyla bağlanan, iki retikül limitli GPU kalıplarına sahip özel yapım 4NP TSMC işlemi kullanılarak üretilir .
• İkinci Nesil Transformatör Motoru  — Yeni mikro tensör ölçeklendirme desteği ve NVIDIA’nın NVIDIA TensorRT-LLM ve NeMo Megatron çerçevelerine entegre edilmiş gelişmiş dinamik aralık yönetimi algoritmalarıyla desteklenen Blackwell, yeni 4 bit kayan noktalı yapay zeka ile iki kat daha fazla bilgi işlem ve model boyutunu destekleyecektir çıkarım yetenekleri.
• Beşinci Nesil NVLink  — Multitrilyon parametreli ve uzmanlardan oluşan karma yapay zeka modellerinin performansını hızlandırmak için NVIDIA NVLink®’in en son sürümü, GPU başına çığır açan 1,8 TB/s çift yönlü verim sunarak 576 GPU’ya kadar kesintisiz yüksek hızlı iletişim sağlar en karmaşık LLM’ler için.
• RAS Motoru  — Blackwell destekli GPU’lar güvenilirlik, kullanılabilirlik ve servis kolaylığı için özel bir motor içerir. Ek olarak Blackwell mimarisi, teşhisleri çalıştırmak ve güvenilirlik sorunlarını tahmin etmek için yapay zeka tabanlı önleyici bakımdan yararlanmak üzere çip düzeyinde yetenekler ekler. Bu, sistemin çalışma süresini en üst düzeye çıkarır ve büyük ölçekli yapay zeka dağıtımlarının haftalarca, hatta aylarca kesintisiz çalışması ve işletme maliyetlerini azaltması için esnekliği artırır.
• Güvenli Yapay Zeka  — Gelişmiş gizli bilgi işlem yetenekleri, sağlık hizmetleri ve finansal hizmetler gibi gizliliğe duyarlı endüstriler için kritik öneme sahip yeni yerel arayüz şifreleme protokollerini destekleyerek yapay zeka modellerini ve müşteri verilerini performanstan ödün vermeden korur.
• Sıkıştırmayı Açma Motoru  — Özel bir sıkıştırmayı açma motoru, veri analitiği ve veri biliminde en yüksek performansı sunmak için veritabanı sorgularını hızlandırarak en yeni formatları destekler. Şirketlerin yılda on milyarlarca dolar harcadığı veri işleme, önümüzdeki yıllarda giderek daha fazla GPU ile hızlandırılacak.

Devasa Bir Süper Çip
NVIDIA GB200 Grace Blackwell Süper Çipi, iki NVIDIA B200 Tensor Core GPU’yu  900 GB/s ultra düşük güçlü NVLink çipten çipe ara bağlantı üzerinden NVIDIA Grace CPU’ya bağlar

En yüksek yapay zeka performansı için GB200 destekli sistemler, yine bugün duyurulan ve 800 Gb/s’ye varan hızlarda gelişmiş ağ iletişimi sağlayan NVIDIA Quantum-X800 InfiniBand ve Spectrum-X800 Ethernet platformlarına bağlanabilir  .

GB200,  bilgi işlem yoğunluklu iş yükleri için çok düğümlü, sıvı soğutmalı, raf ölçekli bir sistem olan NVIDIA GB200 NVL72’nin önemli bir bileşenidir. Beşinci nesil NVLink ile birbirine bağlanan 72 Blackwell GPU ve 36 Grace CPU içeren 36 Grace Blackwell Süper Çipini birleştiriyor. Ayrıca GB200 NVL72, hiper ölçekli yapay zeka bulutlarında bulut ağı hızlandırmayı, şekillendirilebilir depolamayı, sıfır güven güvenliğini ve GPU bilgi işlem esnekliğini etkinleştirmek için NVIDIA BlueField®-3 veri işleme birimlerini içerir. GB200 NVL72, LLM çıkarım iş yükleri için aynı sayıdaki NVIDIA H100 Tensor Core GPU’lara kıyasla 30 kata kadar performans artışı sağlar ve maliyet ile enerji tüketimini 25 kata kadar azaltır.

Platform, 1,4 exaflop yapay zeka performansı ve 30 TB hızlı belleğe sahip tek bir GPU görevi görüyor ve en yeni DGX SuperPOD için bir yapı taşı oluşturuyor.

NVIDIA  , x86 tabanlı üretken yapay zeka platformlarını desteklemek için sekiz B200 GPU’yu NVLink aracılığıyla bağlayan bir sunucu anakartı olan HGX B200’ü sunuyor. HGX B200, NVIDIA Quantum-2 InfiniBand ve Spectrum-X Ethernet ağ platformları aracılığıyla 400 Gb/s’ye kadar ağ oluşturma hızlarını destekler.

Nvidia Blackwell Üretken Yapay Zeka çözümleriyle ilgili detaylı bilgi için Nvidia Elite NPN Partner GTM Teknoloji ile iletişime geçebilirsiniz.

NVIDIA’nın kıdemli ürün pazarlama müdürü Anthony Larijani ve Supermicro’nun kıdemli ürün pazarlama müdürü Yusuke Kondo, OctoML’in kurucu ortağı ve CEO’su Luis Ceze ile üretken yapay zekanın bir kuruluşa nerede fayda sağlayabileceğinin nasıl belirleneceği ve kullanımıyla nasıl denemeler yapılabileceği hakkında konuştu. vakalar ve bir gen yapay zeka stratejisini desteklemek için kritik olan teknoloji.

Altyapı kararları ve iş yükü hususları

Laricani, ihtiyaçların altyapıyla eşleştirilmesinin ilk önemli gereklilik olduğunu söylüyor.

“Bunu yapmanın yolu nihai hedefi akılda tutarak başlamaktır” diye açıklıyor. “Bu altyapının ne için kullanılacağını hayal ettiğinizi, üzerinde çalışan iş yükü türlerini nasıl gördüğünüzü görselleştirmeye çalışın. Örneğin, çok büyük ölçekli bir temel modelin eğitimi doğrultusundaysa, çok sayıda kullanıcıya gerçek zamanlı performans sunması gereken bir çıkarım uygulaması sunmak için farklı hesaplama gereksinimlerine sahip olacaktır.”

Ölçeklenebilirlik de bu noktada devreye giriyor. Yalnızca modelin iş yükünü değerlendirmeniz gerekmez, aynı zamanda çalıştırıyor olabileceğiniz uygulamadaki talep türünü de tahmin etmeniz gerekir. Bu, ister toplu tipte bir kullanım durumu, ister sohbet robotu gibi gerçek zamanlı bir kullanım durumu olsun, çalıştıracağınız çıkarım iş yükü türleriyle ilgili diğer hususlarla örtüşmektedir.

Bulut ve şirket içi hususlar

Nesil AI uygulamaları genellikle ölçek gerektirir ve bu, bulut ve şirket içi değerlendirmelerin konuşmaya dahil olduğu anlamına gelir. Kondo, bunun açıkça ihtiyaç duyulan kullanım senaryosuna ve ölçeğe bağlı olduğunu ancak bunun yine de kritik ve temel bir karar olduğunu açıklıyor.

“Bulutu kullandığınızda elbette daha fazla esnekliğe ve kapsama alanına sahip olursunuz. Ölçek büyütmeniz gerektiğinde bunu yapabilirsiniz” diyor. “Şirket içi çalışmaya başladığınızda, kendiniz için bilişime ne kadar yatırım yapmanız gerektiğine karar vermeden önce bunu planlamanız ve nasıl ölçeklendireceğinizi tahmin etmeniz gerekir. Bu büyük bir başlangıç ​​maliyeti gerektirecek.”

Ancak üretken yapay zeka, özellikle ChatGPT gibi halka açık bir API’ye veri beslerken ve kontrol sorunlarını da beraberinde getirirken tamamen yeni bir düzeyde veri gizliliği hususları getiriyor; iş yükünü uçtan uca kontrol etmek mi istiyorsunuz, yoksa yalnızca API’den yeterince yararlanmak mı istiyorsunuz? Ve tabii ki, üretken yapay zeka yolculuğunuzda nerede olduğunuza bağlı olarak bir maliyet de var; bazı küçük deneylerle yeni başlıyorsunuz veya ölçeklendirmeye başlamaya isteklisiniz.

“Baktığınız projenin büyüklüğüne karar vermelisiniz. Sadece GPU bulutunu kullanmak mantıklı mı?” diyor. “Maliyet düşerken, hesaplama yeteneğinin arttığını tahmin ediyoruz. Altyapının mevcut fiyatına bakıldığında yalnızca GPU bulut örneklerini kullanmak mantıklı mı? Kendi yapay zeka altyapınıza çok fazla sermaye harcamak yerine, bunu GPU bulutunu kullanarak test etmek isteyebilirsiniz.”

Açık kaynak ve tescilli modeller

Laricani, şu anda kuruluş içindeki kullanım durumlarına yönelik dağıtımlar için daha küçük ölçekli, daha özelleştirilmiş, özel model türlerine doğru bir eğilim olduğunu söylüyor. Artırılmış üretimin alınması gibi teknikler sayesinde, özel verileri kullanabilen LLM’lerden yararlanmanın etkili yolları ortaya çıkıyor ve bu, altyapı seçimini doğrudan etkiliyor. Bu özel modeller daha az eğitim gereksinimi içerir.

“Bu modelin yalnızca kullanım durumunuza uygun olan bir kısmını yeniden eğitebilmek, eğitim süresini ve maliyetini azaltır” diye açıklıyor. “Müşterilerin maliyet açısından engelleyici olan kaynak türlerini gerçekten bu tür performansı gerektiren iş yükleri için ayırmalarına ve bu tür iş yüklerini çalıştırmak için maliyeti daha optimize edilmiş çözümlerden yararlanmalarına olanak tanıyor.”

İster açık kaynak ister tescilli olun, modeli ihtiyaçlarınıza göre nasıl boyutlandırırsınız?

Kondo, “Açık kaynaklı modeller kullanıyorsanız, temel modellerin daha özel bir duruma getirilmesi için ince ayar yapılması gerekiyor” diyor. “Bu, maliyetinizin optimizasyonunu ve GPU’ların altyapı kullanımınızın optimizasyonunu etkileyecek. Yatırım yaptığınız şeyi boşa harcamak istemezsiniz.”

Yazılım yığınınızla donanımı en üst düzeye çıkarma

Seçtiğiniz donanımdan en iyi şekilde yararlanmak aynı zamanda karmaşık bir sistem yazılımı yığını anlamına da gelir.

Kondo, “Bu yalnızca tek bir düzey değil; raf ölçeği ve ardından küme düzeyinde uygulama var” diyor. “Büyük ölçekli altyapı söz konusu olduğunda, açıkçası bu, açık kaynaklı bir modeli tek bir sistemle çalıştırmaktan çok daha karmaşık. Çoğu zaman gördüğümüz şey, NVIDIA konu uzmanlarını ilk aşamalardan itibaren dahil ettiğimiz, hatta rafları tasarladığımız, kümeyi NVIDIA’nın bir araya getirdiği yazılım kitaplıkları ve mimarisine dayalı olarak tasarladığımızdır. Müşteriler için doğru çözümü oluşturmak amacıyla NVIDIA ile yakın işbirliği içinde çalışarak rafları onların gereksinimlerine göre tasarlıyoruz.”

Laricani, eksiksiz bir yapay zeka yazılım yığını oluşturmanın karmaşık ve kaynak yoğun bir girişim olduğunu, bu nedenle NVIDIA’nın altyapıdan üzerinde çalışan yazılıma kadar tam kapsamlı bir bilgi işlem şirketi olmaya yatırım yaptığını ekliyor. Örneğin, NVIDIA AI kurumsal platformunun bir parçası olan Nemo çerçevesi, müşterilerin bir dizi üretken AI modeli ve uygulamasını oluşturmasına, özelleştirmesine ve dağıtmasına yardımcı olmak için uçtan uca bir çözüm sunuyor. Model eğitim sürecini optimize etmeye ve GPU kaynaklarını on binlerce düğüme verimli bir şekilde tahsis etmeye yardımcı olabilir. Modeller eğitildikten sonra, onları özelleştirerek belirli alanlardaki çeşitli görevlere uyum sağlayabilir.

“Bir kuruluş bunu geniş ölçekte uygulamaya hazır olduğunda Nemo çerçevesi, Triton çıkarım sunucumuz gibi birçok müşterimizin kullandığı ve aşina olduğu tanıdık araçlarla bütünleşir” diye ekliyor. “Müşterilerimizin yüksek verim ve düşük gecikmeyle verimli bir şekilde dağıtım yapmasına yardımcı olacak optimize edilmiş derleyici, bunların hepsi aynı tanıdık platform üzerinden yapılıyor ve hepsi NVIDIA sertifikalı Supermicro sistemlerinde mükemmel çalışacak şekilde optimize ediliyor.”

Yüksek Lisans’ların artan karmaşıklığına karşı geleceğe yönelik hazırlıklar

Kondo, LLM’lerin her geçen gün büyüdüğünü ve bu büyümenin yavaşlayacak gibi görünmediğini söylüyor. En büyük sorun sürdürülebilirliktir ve bu sunucuların güç gereksinimleri endişe vericidir.

“HGXH100’e bakarsanız GPU başına 700 watt olduğuna inanıyorum. Bunun sonunda GPU başına 1000 watt’a ulaşmasını bekliyoruz” diyor. “Bunu 10 yıl öncesiyle karşılaştırdığınızda, bu çok çılgınca. Bunu nasıl ele alacağız? Tamamen sıvı soğutmalı entegre çözümümüz üzerinde çalışmamızın nedenlerinden biri de budur. Güç kullanımı açısından, sıvı soğutma altyapısı tek başına size yüzde 40’ın üzerinde güç tasarrufu sağlayacaktır. Yeşil bilişim bizim girişimlerimizden biri ve bunun inovasyonumuzu kolaylaştıracağına gerçekten inanıyoruz.”

Paralel tarafta, ister model eğitimi ister müşterilere çıkarım hizmeti olsun, dağıtımları optimize etmeye yönelik yazılımın geliştirilmesi açısından devam eden verimlilikler de mevcut. Laricani, kuruluşların bu yeteneklerden uygun maliyetli ve sürdürülebilir bir şekilde yararlanmasına yardımcı olmak için yeni tekniklerin ortaya çıktığını söylüyor.

“Elbette, bu tür modelleri eğitmek için daha optimize edilmiş, yüksek kapasiteli sistemlere yönelik artan bir ihtiyaç olduğunu görüyoruz, ancak bunlara erişme ve bunları uygulama konusunda yeni yöntemlerin ortaya çıktığını da görüyoruz” diyor. “Her hafta olduğu gibi sık sık yapay zeka için yeni bir kullanım örneği görüyoruz. Uzayda kesinlikle çok ilginç şeyler oluyor. Yazılım açısından da ileriye dönük olarak bunları optimize etmek ve daha verimli hale getirmek için çalışacağız.”

Supermicro ve Nvidia AI Yapay Zeka çözümleri ile alakalı danışmanlığa ihtiyaç duyarsanız GTM Teknoloji ile irtibat kurabilirsiniz.

AMD Instinct MI300 Serisi hızlandırıcılar, olağanüstü bilgi işlem performansı, büyük bellek yoğunluğu, yüksek bant genişliği belleği ve özel veri formatları desteği sunarak en zorlu AI ve HPC iş yüklerini bile desteklemeye son derece uygundur.

AMD MI300 Özeti

Hızlı bir bilgi tazelemeye ihtiyaç duyanlar için AMD Instinct MI300 ailesi, AMD’nin GPU, CPU ve HBM’yi birleştirdiği modüler bir yapı taşı mimarisidir. ve daha fazlasını 3D yığılmış bir pakete sığdırır. AMD, farklı türde yapılandırmalar elde etmek için GPU ve CPU döşemelerini değiştirebilir. Yapay zeka yakın gelecekte muhtemelen duyacağımız en popüler iki yapılandırma, dörtte biri CPU ve dörtte üçü GPU olan MI300A ve tamamı GPU olan MI300X olacaktır.

Kaputun Altında

AMD Instinct MI300 Serisi hızlandırıcılar, Matrix Core Teknolojileri ve yüksek verimli INT8 ve FP8’den (AI için seyreklik desteği dahil) en zorlu FP64’e kadar çok çeşitli hassas yetenekler için destek sunan AMD CDNA 3 mimarisi üzerine kurulmuştur. HPC.

Yapay zekanın (AI) ışık hızında, sürekli gelişen ortamında, NVIDIA DGX GH200 bir yenilik ışığı olarak ortaya çıkıyor. En zorlu yapay zeka iş yükleri göz önünde bulundurularak tasarlanan bu güçlü sistem, kuruluşların Üretken Yapay Zeka yaklaşımında devrim yaratacak eksiksiz bir çözüm setidir. NVIDIA, GH200’ün nasıl bir araya geldiğini gösteren yeni ayrıntılara sahip ve bu yeni nesil GPU teknolojisiyle yapay zeka performansının nasıl göründüğüne dair bir zirve sunuyor.

NVIDIA DGX GH200: Eksiksiz Bir Çözüm

DGX GH200 yalnızca gösterişli bir raf donanımı parçası değildir; yüksek performanslı bilgi işlemi (HPC) yapay zeka ile birleştiren kapsamlı bir çözümdür. Gerçekten benzersiz bir performans düzeyi sunarak en karmaşık yapay zeka iş yüklerinin üstesinden gelmek üzere tasarlanmıştır.

DGX GH200, NVIDIA GH200 Grace Hopper Superchip, NVIDIA NVLink-C2C, NVIDIA NVLink Switch System ve NVIDIA Quantum-2 InfiniBand dahil olmak üzere eksiksiz bir donanım yığınını tek bir sistemde bir araya getirir. NVIDIA tüm bunları, modellerin geliştirilmesini hızlandırmak için özel olarak tasarlanmış optimize edilmiş bir yazılım yığınıyla destekliyor.

Genişletilmiş GPU Belleği

Genişletilmiş GPU Belleği (EGM) özelliğiyle donatılmış NVIDIA Grace Hopper Superchip, kendi HBM3 ve LPDDR5X bellek alt sistemlerinin kapasitesinden daha büyük, çok büyük bellek ayak izine sahip uygulamaları yönetecek şekilde tasarlanmıştır. Bu özellik, LPDDR5X hızlarında mümkün olan veri yüklemeleri, depolar ve atomik işlemlerle GPU’ların sistemdeki tüm CPU’lardan ve GPU’lardan 144 TB’a kadar belleğe erişmesine olanak tanır. EGM, standart MAGNUM IO kitaplıkları ile kullanılabilir ve NVIDIA NVLink ve NVLink-C2C bağlantıları aracılığıyla CPU ve diğer GPU’lar tarafından erişilebilir.

Dev Modeller için Dev Hafıza NVIDIA DGX GH200, birbirine bağlı NVIDIA Grace Hopper Süper Çipleri üzerinden devasa bir paylaşılan bellek alanı sunan tek yapay zeka süper bilgisayarıdır ve geliştiricilere dev modeller oluşturmak için daha fazla hafıza sağlar.

Süper Güç Açısından Verimli Bilgi İşlem Grace Hopper Süper Çipleri, NVIDIA Grace CPU’yu bir ile birleştirerek geleneksel PCIe CPU-GPU bağlantısı ihtiyacını ortadan kaldırır. a>, bant genişliğini 7 kat artırır ve ara bağlantıyı azaltır güç tüketimi 5 kattan fazla arttı.aynı pakette NVIDIA Hopper GPU

Entegre ve Çalıştırılmaya Hazır Anahtar teslim DGX GH200 dağıtımıyla dev modelleri aylar yerine haftalar içinde oluşturun. Bu tam yığın veri merkezi sınıfı çözümü, entegre yazılım ve beyaz eldiven hizmetlerini

NVIDIA, NVIDIA Grace Hopper Superchip’teki Genişletilmiş GPU Belleği (EGM) özelliğinin geniş bir bellek kapasitesi sağlayarak Büyük Dil Modellerinin (LLM’ler) eğitimini önemli ölçüde iyileştirdiğini söylüyor. Bunun nedeni, LLM’lerin genellikle parametrelerini, hesaplamalarını depolamak ve eğitim veri kümelerini yönetmek için çok büyük miktarda belleğe ihtiyaç duymasıdır.

Sistemdeki tüm CPU ve GPU’lardan 144 TB’a kadar belleğe erişim imkanına sahip olan modeller, daha verimli ve etkili bir şekilde eğitilebiliyor. Büyük bir bellek kapasitesi, daha yüksek performansa, daha karmaşık modellere ve daha büyük, daha ayrıntılı veri kümeleriyle çalışma becerisine yol açmalı ve böylece bu modellerin doğruluğunu ve kullanışlılığını potansiyel olarak geliştirmelidir.

NVLink Anahtar Sistemi

Büyük Dil Modellerinin (LLM’ler) talepleri ağ yönetiminin sınırlarını zorlamaya devam ederken, NVIDIA’nın NVLink Anahtar Sistemi güçlü bir çözüm olmaya devam ediyor. Dördüncü nesil NVLink teknolojisinin ve üçüncü nesil NVSwitch mimarisinin gücünden yararlanan bu sistem, DGX GH200 sistemi içindeki etkileyici 256 NVIDIA Grace Hopper Süper Çipine yüksek bant genişliği ve düşük gecikmeli bağlantı sunar. Sonuç, veri aktarım hızlarında önemli bir sıçramaya işaret eden 25,6 Tbps’lik şaşırtıcı bir tam çift yönlü bant genişliğidir.

DGX GH200 sisteminde her GPU aslında meraklı bir komşudur ve NVLink ağındaki eşlerinin HBM3 ve LPDDR5X belleğine girebilmektedir. NVIDIA Magnum IO hızlandırma kütüphaneleriyle birleştiğinde, bu “meraklı mahalle” GPU iletişimlerini optimize eder, etkili bir şekilde ölçeklenir ve etkili ağ bant genişliğini ikiye katlar. Dolayısıyla, LLM eğitiminiz hızla artarken ve iletişim masrafları artarken, yapay zeka operasyonları da turbo artış gösteriyor.

DGX GH200’deki NVIDIA NVLink Anahtar Sistemi, çok sayıda GPU arasında yüksek bant genişliği ve düşük gecikmeli bağlantıyı kolaylaştırarak LLM’ler gibi modellerin eğitimini önemli ölçüde geliştirme kapasitesine sahiptir. Bu, GPU’lar arasında daha hızlı ve daha verimli veri paylaşımına yol açarak modelin eğitim hızını ve verimliliğini artırır. Üstelik her GPU’nun NVLink ağındaki diğer Superchips’lerden eş belleğe erişme yeteneği, büyük parametreli LLM’ler için kritik olan kullanılabilir belleği artırır.

Grace Hopper Superchips’in etkileyici performansı, AI hesaplamaları alanında tartışmasız bir oyun değiştirici olsa da, bu sistemin gerçek büyüsü, çok sayıda GPU arasında yüksek bant genişliği, düşük gecikmeli bağlantının veri paylaşımını ve verimliliği gerektirdiği NVLink’te gerçekleşiyor. tamamen yeni bir seviyeye.

DGX GH200 Sistem Mimarisi

DGX GH200 süper bilgisayarının mimarisi karmaşıktır ancak titizlikle tasarlanmıştır. 256 GH200 Grace Hopper bilgi işlem tepsisinden ve iki seviyeli bir NVLink yağ ağacı oluşturan bir NVLink Anahtar Sisteminden oluşur. Her bilgi işlem tepsisinde bir GH200 Grace Hopper Süper Çipi, ağ bileşenleri, bir yönetim sistemi/BMC ve veri depolama ve işletim sistemi yürütmesi için SSD’ler bulunur.

Bu kurulumda, tek bir 8 GPU’lu kasa oluşturmak için sekiz hesaplama tepsisi üç birinci düzey NVLink NVSwitch tepsisine bağlanır. Her NVLink Switch tepsisinde, bilgi işlem tepsilerine özel bir kör eş kablo kartuşu aracılığıyla ve ikinci düzey NVLink Switch’lere LinkX kabloları aracılığıyla bağlanan iki NVSwitch ASIC bulunur.

Ortaya çıkan sistem, kapsamlı NVIDIA DGX GH200 süper bilgisayarını oluşturmak için 32 kasayı birbirine bağlayan 36 ikinci düzey NVLink Anahtarından oluşuyor. 

NVIDIA DGX H200 Süper Bilgisayarı ve NVDIA Yapay zeka çözümleri ile ilgili geniş bilgiye Nvidia Elite Partner GTM Teknoloji‘den ulaşabilirsiniz.