NVIDIA’dan AMD’ye Yanıt: H100, MI300X’ten 2 Kat daha Hızlı

**Matsuro** · 17 Aralık 2023, 19:01

AMD, Instinct MI300X lansmanında yapay zeka (AI) ve yüksek performanslı bilgi işlem (HPC) konusunda yeni grafik yongalarının NVIDIA H100‘den önemli ölçüde daha hızlı olduğunu iddia etmişti. Rakibi ise tabiri caizse AMD’yi yalanlayarak durumun tam tersi olduğunu gösterdi.

Yeşil takıma göre, uygun şekilde optimize edildiğinde H100 tabanlı sistemler Instinct MI300X destekli sunuculardan daha hızlı. NVIDIA, AMD’nin performansı Instinct MI300X tabanlı sunucusuyla karşılaştırmak için kullandığı DGX H100 makinesi için optimize edilmiş yazılım kullanmadığını iddia ediyor. Bu bağlamda, yüksek yapay zeka performansının sağlam bir paralel hesaplama yapısına, çok yönlü bir araç paketine, son derece rafine algoritmalara (optimizasyonlar) ve gelişmiş donanıma bağlı olduğu belirtiliyor. Başka bir deyişle, bahsedilen puzzle’ın parçalarından biri eksik olduğunda performans düzeyi düşük, hatta vasatın altında olabiliyor.

NVIDIA’ya göre TensorRT-LLM, H100 ve benzeri GPU’lar için çok önemli bir performans sağlayıcı olan Hopper mimarisi için özel olarak tasarlanmış gelişmiş çekirdek optimizasyonlarına sahip. Bu ince ayar, Llama 2 70B gibi modellerin çıkarımların hassasiyetinden ödün vermeden H100 GPU’larda hızlandırılmış FP8 işlemlerini çalıştırmasına olanak tanıyor.

GPU üreticisi bunu kanıtlamak için Llama 2 70B modelini çalıştıran sekiz H100 GPU ile donatılmış tek bir DGX H100 sunucusunun performans ölçümlerini sundu. Bir DGX H100 makinesi, bir toplu iş boyutuna ayarlandığında tek bir çıkarım görevini yalnızca 1.7 saniyede tamamlayabiliyor. AMD’nin sekiz yollu MI300X sisteminde ise bu süre 2.5 saniye (AMD tarafından yayınlanan rakamlara göre).

Technopat

Konu Bilgileri
	Konu Basligi NVIDIA’dan AMD’ye Yanıt: H100, MI300X’ten 2 Kat daha Hızlı	Konudaki Cevap Sayisi 0
	Su an Bu Konuyu Goruntuleyenler Bu bilgi üye girişi gerektirir.	Goruntulenme Sayisi 238

17 Aralık 2023, 19:01	# 1
Çevrimiçi Matsuro Profil ayrıntılarını görüntüleyebilmek için kayıtlı kullanıcı olmanız ve üye hesabınızla oturum açmanız gerekmektedir.	NVIDIA’dan AMD’ye Yanıt: H100, MI300X’ten 2 Kat daha Hızlı NVIDIA’dan AMD’ye Yanıt: H100, MI300X’ten 2 Kat daha Hızlı AMD, Instinct MI300X lansmanında yapay zeka (AI) ve yüksek performanslı bilgi işlem (HPC) konusunda yeni grafik yongalarının NVIDIA H100‘den önemli ölçüde daha hızlı olduğunu iddia etmişti. Rakibi ise tabiri caizse AMD’yi yalanlayarak durumun tam tersi olduğunu gösterdi. Yeşil takıma göre, uygun şekilde optimize edildiğinde H100 tabanlı sistemler Instinct MI300X destekli sunuculardan daha hızlı. NVIDIA, AMD’nin performansı Instinct MI300X tabanlı sunucusuyla karşılaştırmak için kullandığı DGX H100 makinesi için optimize edilmiş yazılım kullanmadığını iddia ediyor. Bu bağlamda, yüksek yapay zeka performansının sağlam bir paralel hesaplama yapısına, çok yönlü bir araç paketine, son derece rafine algoritmalara (optimizasyonlar) ve gelişmiş donanıma bağlı olduğu belirtiliyor. Başka bir deyişle, bahsedilen puzzle’ın parçalarından biri eksik olduğunda performans düzeyi düşük, hatta vasatın altında olabiliyor. NVIDIA’ya göre TensorRT-LLM, H100 ve benzeri GPU’lar için çok önemli bir performans sağlayıcı olan Hopper mimarisi için özel olarak tasarlanmış gelişmiş çekirdek optimizasyonlarına sahip. Bu ince ayar, Llama 2 70B gibi modellerin çıkarımların hassasiyetinden ödün vermeden H100 GPU’larda hızlandırılmış FP8 işlemlerini çalıştırmasına olanak tanıyor. GPU üreticisi bunu kanıtlamak için Llama 2 70B modelini çalıştıran sekiz H100 GPU ile donatılmış tek bir DGX H100 sunucusunun performans ölçümlerini sundu. Bir DGX H100 makinesi, bir toplu iş boyutuna ayarlandığında tek bir çıkarım görevini yalnızca 1.7 saniyede tamamlayabiliyor. AMD’nin sekiz yollu MI300X sisteminde ise bu süre 2.5 saniye (AMD tarafından yayınlanan rakamlara göre). Technopat Eğlence ❤Kalp Fırlat 🌸Çiçek Fırlat 💧Su Fırlat 💣Bomba Fırlat ↕Titret Benzer Konular Intel CEO’su, Yapay Zeka Konusunda NVIDIA’ya Yüklendi... 👍❤😂😮😡😢👎👏
	Alıntı Sesli Oku

Seçenekler
Yazdırılabilir şekli göster Sayfayı e-posta olarak gönder
Görüntüleme stilleri
Normal gösterime geç Hybrid şeklinde göster Ağaç şeklinde gösterime geç

Şu anda bu konuyu görüntüleyen etkin kullanıcılar: 1 (0 üye ve 1 konuk)

ForumKalbi