NVIDIA L40S NVIDIA H100 Yapay Zeka Alternatifidir

NVIDIA L40S NVIDIA H100 Yapay Zeka Alternatifidir. Biz bu makaleyi yazarken, NVIDIA H100 80GB PCIe, CDW gibi çevrimiçi perakendecilerde 32 bin dolardır ve yaklaşık altı ay boyunca ön siparişe açılmıştır. Anlaşılır bir şekilde, NVIDIA’nın üst düzey GPU’sunun fiyatı (neredeyse) her şeyi yapıyor ve talep de son derece yüksek. NVIDIA, birçok yapay zeka kullanıcısı ve kurumda gözden kaçan karma iş yükleri çalıştıranlar için bir alternatif ortaya çıkardı, ancak bu çok iyi. NVIDIA L40S, hızla yapay zeka alanında en iyi saklanan sır haline gelen grafik odaklı L40’ın bir çeşididir. Şimdi derinlemesine inceleyelim ve nedenini anlayalım.

Bize donanım sağlayarak bu parçayı desteklediği için Supermicro’ya teşekkür etmek istedik. Elde edilmesi zor birçok NVIDIA parçasına erişmemizi sağladıklarından, bu parçaya sponsor olduklarını söyleyeceğiz.

NVIDIA A100, NVIDIA L40S ve NVIDIA H100

Öncelikle, bugün ChatGPT gibi temel modelleri eğitmek istiyorsanız NVIDIA H100 80GB SXM5’in hala tercih edilen GPU olduğunu söyleyerek başlayalım. Temel model eğitildikten sonra, alana özgü verilere veya çıkarımlara dayalı bir modelin özelleştirilmesi genellikle önemli ölçüde daha düşük maliyetli ve daha düşük güçlü parçalar üzerinde yapılabilir.

Günümüzde üst düzey çıkarım için üç ana GPU kullanılıyor: NVIDIA A100, NVIDIA H100 ve yeni NVIDIA L40S. Daha düşük seviye bir çıkarım kartı olduğu için NVIDIA L4 24GB’yi atlayacağız .

NVIDIA L40S NVIDIA H100 Yapay Zeka Alternatifidir. NVIDIA A100 ve H100 modelleri, şirketin kendi nesillerindeki amiral gemisi GPU’larını temel alıyor. SXM modülleri yerine PCIe’yi tartıştığımız için form faktörleri arasındaki en önemli iki fark NVLink ve güç tüketimidir. SXM modülleri, daha yüksek güç tüketimi (PCIe versiyonlarının yaklaşık iki katı) ve çoklu GPU düzeneklerinde NVLink ve genellikle NVSwitch topolojileri aracılığıyla birbirine bağlanacak şekilde tasarlanmıştır. En yeni Supermicro SYS-821GE-TNHR 8x NVIDIA H100 AI sunucu parçamızda mevcut olan en üst düzey sistemlerden birinin bir örneğini görebilirsiniz .

NVIDIA A100 PCIe, 2020’de 40 GB model olarak piyasaya sürüldü ve ardından 2021’in ortalarında şirket, teklifi A100 80 GB PCIe eklenti kartına güncelledi . Yıllar sonra bu kartlar hala popülerdir.

NVIDIA H100 SXM5 modülünü ilk kez 2022’nin başlarında uygulamaya başladık , ancak PCIe Gen5 CPU’ların kullanıma sunulmasıyla sistemler 2022’nin sonlarında ve 2023’ün başlarında ortaya çıkmaya başladı.

NVIDIA H100 PCIe, ana akım sunucular için tasarlanmış düşük güçlü H100’dür. PCIe kartını düşünmenin bir yolu, daha düşük performans ama aynı zamanda çok daha düşük güç tüketimi için tasarlanmış voltaj/frekans eğrisinin farklı bir kısmında çalışan benzer miktarda silikondur.

H100 hattında bile bazı farklılıklar var. NVIDIA H100 PCIe hala bir H100’dür, ancak PCIe form faktöründe performansı, güç tüketimini ve bazı ara bağlantıları (örneğin, NVLink hızları) azaltmıştır.

L40S oldukça farklı bir şey. NVIDIA, NVIDIA’nın en yeni Ada Lovelace mimarisini kullanan bir veri merkezi görselleştirme GPU’su olan temel L40’ı aldı ve görselleştirmeden çok yapay zekaya göre ayarlanması için ayarları değiştirdi.

NVIDIA L40S, Işın İzleme çekirdekleri ve DisplayPort çıkışları ile L40’ın AV1 desteğine sahip NVENC / NVDEC gibi özelliklerini koruduğu için büyüleyici bir GPU’dur. Aynı zamanda NVIDIA, GPU’nun AI kısımlarındaki saatleri yönlendirmek için daha fazla güç aktarıyor.

Görselleştirmeyi kolaylaştırmak için bunu bir grafiğe koyduk. NVIDIA’nın teknik özellikleri bazen NVIDIA kaynağının bir görünümüne göre bile farklılık gösterir, dolayısıyla bulabildiğimiz en iyi şey bu ve teknik özelliklerle ilgili bir güncelleme alırsak onu da güncelleyeceğiz. Ayrıca , aralarında bir NVLink köprüsü bulunan iki gelişmiş H100’ün bulunduğu çift kartlı H100 NVL’yi de dahil ettik; geri kalanlar tek kartken bunu çift kartlı bir çözüm olarak değerlendirin.

Burada incelemeye değer birkaç nokta var:

• L40S, L40’a kıyasla yapay zeka eğitimi ve çıkarımı için büyük ölçüde geliştirilmiş bir karttır, ancak ortak miras kolayca görülebilir.
• Mutlak bellek kapasitesine, bant genişliğine veya FP64 performansına ihtiyacınız varsa L40 ve L40S uygun kartlar değildir. Bugünlerde yapay zeka iş yüklerinin geleneksel FP64 hesaplamasını devraldığı göreceli pay göz önüne alındığında, çoğu kişi bu ödünleşimi fazlasıyla kabul edecektir.
• L40S, NVIDIA A100’den önemli ölçüde daha az belleğe sahip gibi görünebilir ve fiziksel olarak öyledir, ancak hikayenin tamamı bu değil. NVIDIA L40S, NVIDIA Transformer Engine ve FP8’i destekler. FP8’in kullanılması, veri boyutunu büyük ölçüde azaltır ve bu nedenle, bir FP8 değeri, FP16 değerine göre daha az bellek kullanabilir ve taşımak için daha az bellek bant genişliği gerektirir. NVIDIA, Transformer Engine’i zorluyor çünkü H100 de onu destekliyor ve AI parçalarının maliyetini düşürmeye veya performansını artırmaya yardımcı oluyor.
• L40S’de görselleştirme ağırlıklı bir video kodlama/kod çözme seti bulunurken, H100 kod çözme tarafına odaklanır.
• NVIDIA H100 daha hızlıdır. Aynı zamanda çok daha pahalıya mal oluyor. Bir anlamda, halka açık fiyatları listeleyen CDW’de H100, bunu yazdığımız sırada L40S’nin fiyatının yaklaşık 2,6 katı civarında.
• Bir diğer büyük sorun ise kullanılabilirliktir. Bugünlerde NVIDIA L40S almak, NVIDIA H100 için sırada beklemekten çok daha hızlı.

İşin sırrı, AI donanım tarafında ilerlemenin yeni ve yaygın bir yolunun, model özelleştirme ve çıkarım için H100’ü kullanmamak olmasıdır. Bunun yerine, yıllar önce ele aldığımız tanıdık bir mimariye, yoğun PCIe sunucusuna geri dönüş var. 2017’de DeepLearning11 yaptığımızda, NVIDIA GeForce GTX 1080 Ti’leri bir sunucuya sıkıştıran 10x NVIDIA GTX 1080 Ti Tek Köklü Derin Öğrenme Sunucusu, dünyanın belirli yerlerinde arama/web hiper ölçekleyicileri gibi büyük şirketler için bile tercih edilen mimariydi ve otonom sürüş şirketleri.

NVIDIA, EULA’sını bu tür bir yapılandırmayı yasaklayacak şekilde değiştirdi ve yazılımının yapay zeka çıkarımı ve eğitimi için veri merkezi parçalarına daha fazla odaklanmasını sağlıyor; dolayısıyla artık işler farklı.

2023’te aynı konsepti, NVIDIA L40S versiyonuyla (ve sunucu “çarpınması” olmadan ) düşünün.

L40S sunucuları satın alarak ve H100’e kıyasla daha düşük maliyetli GPU’lar alarak benzer performansı muhtemelen daha düşük bir fiyata elde edebilirsiniz.