Day: December 9, 2024

Permintaan untuk aplikasi inferensi dan pelatihan AI terus meningkat, seiring dengan proyeksi IDC yang menyebutkan bahwa pengeluaran infrastruktur TI untuk semikonduktor AI akan mencapai $193,3 miliar pada akhir 2027, dengan CAGR 5 tahun sebesar 35,7%. Tambahan terbaru dari Dell dalam portofolionya, Dell XE9680 dengan akselerator Intel Gaudi 3, mengatasi tantangan pelanggan terkait dengan opsi GPU, tumpukan perangkat lunak sumber terbuka, jaringan, skalabilitas, biaya infrastruktur, dan efisiensi. Solusi yang kuat ini bertujuan untuk membantu pelanggan mengatasi masalah kompleks. XE9680 didukung oleh dua prosesor Intel Xeon Scalable Generasi ke-4 atau ke-5, termasuk 32 slot memori DDR5 DIMM untuk kapasitas memori berkecepatan tinggi, mendukung hingga 16 drive penyimpanan EDSFF3 atau 8x drive penyimpanan SAS/SATA/NVMe dan delapan slot PCIe Gen 5.0 untuk konektivitas dan bandwidth yang lebih luas. Memiliki port OSFP khusus untuk konektivitas GPU langsung. Gambar 1: Dell PowerEdge XE9680 Akselerator Intel Gaudi3 memberikan kinerja Gen AI yang kompetitif dengan 64 inti prosesor tensor (TPC) yang dapat diprogram, kapasitas memori HBMe2 sebesar 128 GB, dan 96 MB SRAM onboard. Pembeda utamanya adalah opsi jaringan fleksibel on-chip dengan 24x200GbE RDMA NIC untuk setiap kartu GPU yang mendukung port Ethernet RoCE standar industri. Ini juga dilengkapi dengan decoder media khusus yang dirancang untuk aplikasi visi AI. Gambar 2: Akselerator Intel Gaudi3 Dell PowerEdge XE9680, yang didukung oleh Gaudi3 dari Intel, menawarkan platform yang tangguh untuk beban kerja AI-ML. Perangkat ini unggul dalam pelatihan dan inferensi untuk LLMs, vLLMs, AI Percakapan, Chatbot, dan generasi video-ke-teks. Tunggu informasi lebih lanjut tentang hasil pengukuran kinerja Dell PowerEdge XE9680 dengan Gaudi 3.