<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>TensorRT-LLM Archives - SupermicroSunucu Blog</title>
	<atom:link href="https://supermicrosunucu.com/blog/tag/tensorrt-llm/feed" rel="self" type="application/rss+xml" />
	<link>https://supermicrosunucu.com/blog/tag/tensorrt-llm</link>
	<description>Supermicro Sunucu, QSAN Storage, Magnetar Storage, NVIDIA Workstation, Mellanox Hakkında Herşey</description>
	<lastBuildDate>Thu, 21 Mar 2024 21:51:46 +0000</lastBuildDate>
	<language>tr</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=6.8.3</generator>
	<item>
		<title>NVIDIA Blackwell Platformu Yeni Bilgi İşlem Çağına Güç Vermeye Geliyor</title>
		<link>https://supermicrosunucu.com/blog/nvidia-blackwell-platformu-yeni-bilgi-islem-cagina-guc-vermeye-geliyor.html</link>
					<comments>https://supermicrosunucu.com/blog/nvidia-blackwell-platformu-yeni-bilgi-islem-cagina-guc-vermeye-geliyor.html#respond</comments>
		
		<dc:creator><![CDATA[supermicrosunucu]]></dc:creator>
		<pubDate>Thu, 21 Mar 2024 21:49:38 +0000</pubDate>
				<category><![CDATA[GPU]]></category>
		<category><![CDATA[GPU Server]]></category>
		<category><![CDATA[Yapay Zeka]]></category>
		<category><![CDATA[Generative AI]]></category>
		<category><![CDATA[GTM Teknoloji]]></category>
		<category><![CDATA[Nvidia]]></category>
		<category><![CDATA[Nvidia Blackwell]]></category>
		<category><![CDATA[supermicro]]></category>
		<category><![CDATA[TensorRT-LLM]]></category>
		<category><![CDATA[Üretken Yapay Zeka]]></category>
		<guid isPermaLink="false">https://supermicrosunucu.com/blog/?p=1646</guid>

					<description><![CDATA[NVIDIA Blackwell Platformu Yeni Bilgi İşlem Çağına Güç Vermeye Geliyor Yeni Blackwell GPU, NVLink ve Resilience Teknolojileri Trilyon Parametre Ölçeğinde]]></description>
										<content:encoded><![CDATA[<h1 class="article-title">NVIDIA Blackwell Platformu Yeni Bilgi İşlem Çağına Güç Vermeye Geliyor</h1>
<p><img fetchpriority="high" decoding="async" class="alignnone size-large wp-image-1647" src="https://supermicrosunucu.com/blog/wp-content/uploads/2024/03/Buyuk-NVIDIA-GB200-NVL72-1024x576.jpeg" alt="" width="800" height="450" srcset="https://supermicrosunucu.com/blog/wp-content/uploads/2024/03/Buyuk-NVIDIA-GB200-NVL72-1024x576.jpeg 1024w, https://supermicrosunucu.com/blog/wp-content/uploads/2024/03/Buyuk-NVIDIA-GB200-NVL72-300x169.jpeg 300w, https://supermicrosunucu.com/blog/wp-content/uploads/2024/03/Buyuk-NVIDIA-GB200-NVL72-768x432.jpeg 768w, https://supermicrosunucu.com/blog/wp-content/uploads/2024/03/Buyuk-NVIDIA-GB200-NVL72.jpeg 1280w" sizes="(max-width: 800px) 100vw, 800px" /></p>
<ul>
<li><em>Yeni Blackwell GPU, NVLink ve Resilience Teknolojileri Trilyon Parametre Ölçeğinde Yapay Zeka Modellerine Olanak Sağlıyor</em></li>
<li><em>Yeni Tensor Çekirdekleri ve TensorRT-LLM Derleyicisi, Yüksek Lisans Çıkarımı İşletim Maliyetini ve Enerjiyi 25 Kata Kadar Azaltır</em></li>
<li><em>Yeni Hızlandırıcılar Veri İşleme, Mühendislik Simülasyonu, Elektronik Tasarım Otomasyonu, Bilgisayar Destekli İlaç Tasarımı ve Kuantum Hesaplamada Çığır Açıyor</em></li>
<li><em>Tüm Büyük Bulut Sağlayıcıları, Sunucu Oluşturucuları ve Lider Yapay Zeka Şirketleri Tarafından Yaygın Olarak Benimseniyor</em></li>
</ul>
<p>Yeni bir bilişim çağını güçlendirirken, NVIDIA bugün NVIDIA Blackwell platformunun geldiğini duyurdu &#8211; organizasyonlara her yerde, önceki nesline göre enerji tüketiminde %25&#8217;e kadar daha az maliyetle ve enerji tüketimiyle trilyon parametreli büyük dil modelleri üzerinde gerçek zamanlı üretken yapay zeka inşa etme ve çalıştırma imkanı sunuyor.</p>
<p>Blackwell GPU mimarisi, hızlandırılmış hesaplama için altı devrim niteliğinde teknoloji içerir ve veri işleme, mühendislik simülasyonu, elektronik tasarım otomasyonu, bilgisayar destekli ilaç tasarımı, kuantum bilişim ve üretken yapay zeka gibi alanlarda çığır açacak yeniliklerin kilidini açmaya yardımcı olur &#8211; NVIDIA için gelişen endüstri fırsatları.</p>
<p>&#8220;NVIDIA olarak üç on yıldır derin öğrenme ve yapay zeka gibi dönüştürücü buluşları mümkün kılacak hızlandırılmış hesaplamayı sürdürüyoruz,&#8221; dedi NVIDIA&#8217;nın kurucusu ve CEO&#8217;su Jensen Huang. &#8220;Üretken yapay zeka, zamanımızın belirleyici teknolojisidir. Blackwell, bu yeni endüstri devrimini güçlendirecek motorumuzdur. Dünyanın en dinamik şirketleriyle çalışarak, yapay zekanın her endüstri için vaadini gerçekleştireceğiz.&#8221;</p>
<p>Blackwell&#8217;u benimseyecek birçok organizasyon arasında Supermicro, Amazon Web Services,  Google, Meta, Microsoft, OpenAI, Oracle, Tesla ve xAI gibi şirketler yer alıyor.</p>
<p><strong>Blackwell&#8217;in Hızlandırılmış Bilgi İşlemi ve Üretken Yapay Zekayı Güçlendirecek Yenilikleri</strong><br />
Blackwell&#8217;in, 10 trilyon parametreye kadar ölçeklenen modeller için yapay zeka eğitimini ve gerçek zamanlı LLM çıkarımını mümkün kılan devrim niteliğindeki altı teknolojisi şunları içerir:</p>
<ul type="disc">
<li><strong>Dünyanın En Güçlü Çipi</strong>  — 208 milyar transistörle paketlenmiş Blackwell mimarili GPU&#8217;lar, tek bir birleşik GPU&#8217;ya 10 TB/saniyelik çipten çipe bağlantıyla bağlanan, iki retikül limitli GPU kalıplarına sahip özel yapım 4NP TSMC işlemi kullanılarak üretilir .</li>
<li><strong>İkinci Nesil Transformatör Motoru</strong>  — Yeni mikro tensör ölçeklendirme desteği ve NVIDIA&#8217;nın NVIDIA TensorRT<img src="https://s.w.org/images/core/emoji/16.0.1/72x72/2122.png" alt="™" class="wp-smiley" style="height: 1em; max-height: 1em;" />-LLM ve NeMo Megatron çerçevelerine entegre edilmiş gelişmiş dinamik aralık yönetimi algoritmalarıyla desteklenen Blackwell, yeni 4 bit kayan noktalı yapay zeka ile iki kat daha fazla bilgi işlem ve model boyutunu destekleyecektir çıkarım yetenekleri.</li>
<li><strong>Beşinci Nesil NVLink</strong>  — Multitrilyon parametreli ve uzmanlardan oluşan karma yapay zeka modellerinin performansını hızlandırmak için NVIDIA NVLink®&#8217;in en son sürümü, GPU başına çığır açan 1,8 TB/s çift yönlü verim sunarak 576 GPU&#8217;ya kadar kesintisiz yüksek hızlı iletişim sağlar en karmaşık LLM&#8217;ler için.</li>
<li><strong>RAS Motoru</strong>  — Blackwell destekli GPU&#8217;lar güvenilirlik, kullanılabilirlik ve servis kolaylığı için özel bir motor içerir. Ek olarak Blackwell mimarisi, teşhisleri çalıştırmak ve güvenilirlik sorunlarını tahmin etmek için yapay zeka tabanlı önleyici bakımdan yararlanmak üzere çip düzeyinde yetenekler ekler. Bu, sistemin çalışma süresini en üst düzeye çıkarır ve büyük ölçekli yapay zeka dağıtımlarının haftalarca, hatta aylarca kesintisiz çalışması ve işletme maliyetlerini azaltması için esnekliği artırır.</li>
<li><strong>Güvenli Yapay Zeka</strong>  — Gelişmiş gizli bilgi işlem yetenekleri, sağlık hizmetleri ve finansal hizmetler gibi gizliliğe duyarlı endüstriler için kritik öneme sahip yeni yerel arayüz şifreleme protokollerini destekleyerek yapay zeka modellerini ve müşteri verilerini performanstan ödün vermeden korur.</li>
<li><strong>Sıkıştırmayı Açma Motoru</strong>  — Özel bir sıkıştırmayı açma motoru, veri analitiği ve veri biliminde en yüksek performansı sunmak için veritabanı sorgularını hızlandırarak en yeni formatları destekler. Şirketlerin yılda on milyarlarca dolar harcadığı veri işleme, önümüzdeki yıllarda giderek daha fazla GPU ile hızlandırılacak.</li>
</ul>
<p><strong>Devasa Bir Süper Çip</strong><br />
NVIDIA GB200 Grace Blackwell Süper Çipi, iki NVIDIA B200 Tensor Core GPU&#8217;yu  900 GB/s ultra düşük güçlü NVLink çipten çipe ara bağlantı üzerinden NVIDIA Grace CPU&#8217;ya bağlar</p>
<p>En yüksek yapay zeka performansı için GB200 destekli sistemler, yine bugün duyurulan ve 800 Gb/s&#8217;ye varan hızlarda gelişmiş ağ iletişimi sağlayan NVIDIA Quantum-X800 InfiniBand ve Spectrum<img src="https://s.w.org/images/core/emoji/16.0.1/72x72/2122.png" alt="™" class="wp-smiley" style="height: 1em; max-height: 1em;" />-X800 Ethernet platformlarına bağlanabilir  .</p>
<p>GB200,  bilgi işlem yoğunluklu iş yükleri için çok düğümlü, sıvı soğutmalı, raf ölçekli bir sistem olan NVIDIA GB200 NVL72&#8217;nin önemli bir bileşenidir. Beşinci nesil NVLink ile birbirine bağlanan 72 Blackwell GPU ve 36 Grace CPU içeren 36 Grace Blackwell Süper Çipini birleştiriyor. Ayrıca GB200 NVL72, hiper ölçekli yapay zeka bulutlarında bulut ağı hızlandırmayı, şekillendirilebilir depolamayı, sıfır güven güvenliğini ve GPU bilgi işlem esnekliğini etkinleştirmek için NVIDIA BlueField®-3 veri işleme birimlerini içerir. GB200 NVL72, LLM çıkarım iş yükleri için aynı sayıdaki NVIDIA H100 Tensor Core GPU&#8217;lara kıyasla 30 kata kadar performans artışı sağlar ve maliyet ile enerji tüketimini 25 kata kadar azaltır.</p>
<p>Platform, 1,4 exaflop yapay zeka performansı ve 30 TB hızlı belleğe sahip tek bir GPU görevi görüyor ve en yeni DGX SuperPOD için bir yapı taşı oluşturuyor.</p>
<p>NVIDIA  , x86 tabanlı üretken yapay zeka platformlarını desteklemek için sekiz B200 GPU&#8217;yu NVLink aracılığıyla bağlayan bir sunucu anakartı olan HGX B200&#8217;ü sunuyor. HGX B200, NVIDIA Quantum-2 InfiniBand ve Spectrum-X Ethernet ağ platformları aracılığıyla 400 Gb/s&#8217;ye kadar ağ oluşturma hızlarını destekler.</p>
<p>Nvidia Blackwell Üretken Yapay Zeka çözümleriyle ilgili detaylı bilgi için Nvidia Elite NPN Partner <a href="https://gtmteknoloji.com">GTM Teknoloji</a> ile iletişime geçebilirsiniz.</p>
]]></content:encoded>
					
					<wfw:commentRss>https://supermicrosunucu.com/blog/nvidia-blackwell-platformu-yeni-bilgi-islem-cagina-guc-vermeye-geliyor.html/feed</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
		<item>
		<title>NVIDIA Grace Hopper Superchip ve MLPerf</title>
		<link>https://supermicrosunucu.com/blog/nvidia-grace-hopper-superchip-ve-mlperf.html</link>
					<comments>https://supermicrosunucu.com/blog/nvidia-grace-hopper-superchip-ve-mlperf.html#respond</comments>
		
		<dc:creator><![CDATA[Dilan Bursalı]]></dc:creator>
		<pubDate>Fri, 03 Nov 2023 08:08:29 +0000</pubDate>
				<category><![CDATA[Disk]]></category>
		<category><![CDATA[MLPerf]]></category>
		<category><![CDATA[Nvidia]]></category>
		<category><![CDATA[NVIDIA GH200]]></category>
		<category><![CDATA[NVIDIA Grace Hopper Superchip]]></category>
		<category><![CDATA[TensorRT-LLM]]></category>
		<guid isPermaLink="false">https://supermicrosunucu.com/blog/?p=1403</guid>

					<description><![CDATA[NVIDIA Grace Hopper Superchip, MLPerf Çıkarım Karşılaştırmalarına Hakim Oluyor NVIDIA, en son tanıttığı NVIDIA GH200 Grace Hopper Superchip ile yapay]]></description>
										<content:encoded><![CDATA[<div class="header-standard header-classic single-header">
<h1 class="post-title single-post-title entry-title">NVIDIA Grace Hopper Superchip, MLPerf Çıkarım Karşılaştırmalarına Hakim Oluyor</h1>
<div class="post-box-meta-single"></div>
</div>
<div class="post-entry blockquote-style-2">
<div id="penci-post-entry-inner" class="inner-post-entry entry-content">
<p><span id="more-126023"></span>NVIDIA, en son tanıttığı NVIDIA GH200 Grace Hopper Superchip ile yapay zeka (AI) ve yüksek performanslı bilgi işlem dünyasında büyük bir sıçrama yaptı. Bu yeni teklif, MLPerf değerlendirmelerinde olağanüstü performans sergileyerek NVIDIA&#8217;nın bulut ve uç yapay zeka alanındaki becerisini ortaya koydu.</p>
<p><img decoding="async" class="aligncenter size-large wp-image-126025" src="https://www.storagereview.com/wp-content/uploads/2023/09/NVIDIA-image-Grace-Hopper-1024x576.png" sizes="(max-width: 1024px) 100vw, 1024px" srcset="https://www.storagereview.com/wp-content/uploads/2023/09/NVIDIA-image-Grace-Hopper-1024x576.png 1024w, https://www.storagereview.com/wp-content/uploads/2023/09/NVIDIA-image-Grace-Hopper-300x169.png 300w, https://www.storagereview.com/wp-content/uploads/2023/09/NVIDIA-image-Grace-Hopper-768x432.png 768w, https://www.storagereview.com/wp-content/uploads/2023/09/NVIDIA-image-Grace-Hopper-1536x864.png 1536w, https://www.storagereview.com/wp-content/uploads/2023/09/NVIDIA-image-Grace-Hopper-1170x658.png 1170w, https://www.storagereview.com/wp-content/uploads/2023/09/NVIDIA-image-Grace-Hopper-585x329.png 585w, https://www.storagereview.com/wp-content/uploads/2023/09/NVIDIA-image-Grace-Hopper.png 1920w" alt="NVIDIA Grace Hopper Süper Çip" width="1024" height="576" /></p>
<h2>Çok Şey Konuşan Bir Süper Çip</h2>
<p>GH200 Superchip sıradan bir çip değil. Hopper GPU&#8217;yu Grace CPU ile benzersiz bir şekilde birleştirerek daha yüksek bellek, bant genişliği ve en yüksek performans için CPU ile GPU arasındaki gücü otomatik olarak ayarlama yeteneği sağlar. Bu yenilikçi entegrasyon, çipin güç ve performans arasında hassas bir denge kurmasına olanak tanıyarak yapay zeka uygulamalarının ihtiyaç duydukları kaynakları ihtiyaç duydukları anda almalarını sağlar.</p>
<h2>Olağanüstü MLPerf Sonuçları</h2>
<p>MLPerf kıyaslamaları saygın bir endüstri standardıdır ve NVIDIA&#8217;nın GH200&#8217;ü hayal kırıklığına uğratmadı. Süper çip yalnızca tüm veri merkezi çıkarım testlerini yürütmekle kalmadı, aynı zamanda NVIDIA&#8217;nın yapay zeka platformunun çok yönlülüğünü de ortaya koyarak kapsamını bulut operasyonlarından ağın kenarlarına kadar genişletti.</p>
<p>Üstelik NVIDIA&#8217;nın H100 GPU&#8217;ları da geride kalmadı. Sekiz H100 GPU ile donatılmış HGX H100 sistemleri, tüm MLPerf Çıkarım testlerinde üstün verim sergiledi. Bu, H100 GPU&#8217;ların özellikle bilgisayar görüşü, konuşma tanıma, tıbbi görüntüleme, öneri sistemleri ve büyük dil modelleri (LLM&#8217;ler) gibi görevler için muazzam potansiyelini ve yeteneklerini vurgulamaktadır.</p>
<h2>TensorRT-LLM: Çıkarım Performansını Artırma</h2>
<p><img decoding="async" class="aligncenter size-large wp-image-126028" src="https://www.storagereview.com/wp-content/uploads/2023/09/TensorRT-Performance-Gains-1024x572.png" sizes="(max-width: 1024px) 100vw, 1024px" srcset="https://www.storagereview.com/wp-content/uploads/2023/09/TensorRT-Performance-Gains-1024x572.png 1024w, https://www.storagereview.com/wp-content/uploads/2023/09/TensorRT-Performance-Gains-300x168.png 300w, https://www.storagereview.com/wp-content/uploads/2023/09/TensorRT-Performance-Gains-768x429.png 768w, https://www.storagereview.com/wp-content/uploads/2023/09/TensorRT-Performance-Gains-1170x654.png 1170w, https://www.storagereview.com/wp-content/uploads/2023/09/TensorRT-Performance-Gains-585x327.png 585w, https://www.storagereview.com/wp-content/uploads/2023/09/TensorRT-Performance-Gains.png 1347w" alt="" width="1024" height="572" /></p>
<p>NVIDIA sürekli inovasyonda her zaman ön saflarda yer almıştır ve <a href="https://www.storagereview.com/news/nvidia-tensorrt-llm-accelerates-large-language-model-inference-on-nvidia-h100-gpus">TensorRT-LLM</a> bu mirasın bir kanıtıdır. Bu üretken yapay zeka yazılımı, çıkarımı artırır ve açık kaynaklı bir kitaplık olarak gelir. Ağustos değerlendirmesi için MLPerf&#8217;e zamanında gönderilmemiş olsa da, kullanıcıların H100 GPU&#8217;larının performansını ek maliyetlere katlanmadan yükseltmelerine olanak tanıyarak umut vaat ediyor. Meta, Cohere ve Grammarly gibi ortaklar, NVIDIA&#8217;nın LLM çıkarımını geliştirme çabalarından yararlandı ve bu tür yazılım geliştirmelerinin yapay zeka alanında önemini bir kez daha doğruladı.</p>
<h2>L4 GPU&#8217;lar: Ana Sunucular ile Performans Arasında Köprü Kurmak</h2>
<p><img loading="lazy" decoding="async" class="aligncenter size-full wp-image-121154" src="https://www.storagereview.com/wp-content/uploads/2023/03/SR-NVIDIA-GTC-L4.png" sizes="(max-width: 771px) 100vw, 771px" srcset="https://www.storagereview.com/wp-content/uploads/2023/03/SR-NVIDIA-GTC-L4.png 771w, https://www.storagereview.com/wp-content/uploads/2023/03/SR-NVIDIA-GTC-L4-300x152.png 300w, https://www.storagereview.com/wp-content/uploads/2023/03/SR-NVIDIA-GTC-L4-768x388.png 768w, https://www.storagereview.com/wp-content/uploads/2023/03/SR-NVIDIA-GTC-L4-585x296.png 585w" alt="" width="771" height="390" /></p>
<p><a title="Yeni bir pencerede açılır" href="https://www.nvidia.com/en-us/data-center/resources/mlperf-benchmarks/" target="_blank" rel="noopener">En son MLPerf kıyaslamalarıyla</a> L4 GPU&#8217;lar sayısız iş yükünde övgüye değer bir performans sergiledi. Bu GPU&#8217;lar, kompakt hızlandırıcılara yerleştirildiğinde, daha yüksek güç değerlerine sahip CPU&#8217;lara göre altı kata kadar daha verimli performans ölçümleri göstermiştir. CUDA yazılımıyla işbirliği içinde özel medya motorlarının piyasaya sürülmesi, L4 GPU&#8217;ya özellikle bilgisayarlı görüntü görevlerinde avantaj sağlıyor.</p>
<h2>Sınırları Zorlamak: Uç Bilgi İşlem ve Daha Fazlası</h2>
<p>Gelişmeler yalnızca bulut bilişimle sınırlı değil. NVIDIA&#8217;nın uç bilişime odaklanması, nesne algılamada önceki sürümleriyle karşılaştırıldığında %84&#8217;e varan performans artışı sergileyen Jetson Orin modül üzeri sistem ile açıkça görülmektedir.</p>
<h2>MLPerf: Şeffaf Bir Karşılaştırma Standardı</h2>
<p>NVIDIA Grace Hopper Superchip ve MLPerf, dünya genelindeki kullanıcıların satın alma kararları verirken güvendiği objektif bir kriter olmaya devam ediyor. Microsoft Azure ve Oracle Cloud Infrastructure gibi bulut hizmeti devlerinin yanı sıra Dell, Lenovo ve Supermicro gibi tanınmış sistem üreticilerinin de dahil edilmesi, MLPerf&#8217;in sektördeki öneminin altını çiziyor.</p>
<p>Sonuç olarak, NVIDIA&#8217;nın MLPerf kriterlerindeki son performansı yapay zeka sektöründeki liderlik konumunu güçlendiriyor. Geniş ekosistemi, sürekli yazılım yeniliği ve yüksek kaliteli performans sunma taahhüdüyle NVIDIA gerçekten de yapay zekanın geleceğini şekillendiriyor.</p>
<p>NVIDIA&#8217;nın başarılarına ilişkin daha derinlemesine bir teknik inceleme için bağlantılı <a title="Yeni bir pencerede açılır" href="https://developer.nvidia.com/blog/" target="_blank" rel="noopener">teknik bloga</a> bakın . NVIDIA&#8217;nın kıyaslama başarısını kopyalamak isteyenler, yazılıma <a title="Yeni bir pencerede açılır" href="https://github.com/mlcommons/inference" target="_blank" rel="noopener">MLPerf deposundan</a> ve <a title="Yeni bir pencerede açılır" href="https://www.nvidia.com/en-us/gpu-cloud/" target="_blank" rel="noopener">NVIDIA NGC yazılım merkezinden</a> erişebilirler .</p>
</div>
</div>
]]></content:encoded>
					
					<wfw:commentRss>https://supermicrosunucu.com/blog/nvidia-grace-hopper-superchip-ve-mlperf.html/feed</wfw:commentRss>
			<slash:comments>0</slash:comments>
		
		
			</item>
	</channel>
</rss>
