Solusi AI Generatif Dell Technologies dengan AMD kini tersedia, menampilkan PowerEdge XE9680 dan Akselerator Instinct MI300X.
Seiring dengan pesatnya perkembangan teknologi AI, kombinasi antara teknologi open-source dan akselerasi perangkat keras canggih mendorong inovasi industri. Dell Technologies dan AMD berada di garis depan, menawarkan solusi infrastruktur lokal (on-premises) yang hingga 75%¹ lebih hemat biaya dibandingkan layanan cloud publik IaaS, serta dirancang khusus untuk mendukung aplikasi AI generatif di lingkungan perusahaan.
Kami dengan senang hati membagikan serangkaian pembaruan yang mendukung penerapan ekosistem dan kerangka kerja AI terbuka. Pertama, Dell PowerEdge XE9680 kini dikirimkan dengan akselerator AMD Instinct™ MI300X, meningkatkan opsi performa AI bagi pelanggan kami. Kedua, kami telah menerbitkan Dell Validated Design untuk AI Generatif dengan AMD, memungkinkan pengembangan aplikasi kustom dengan fondasi open framework. Ketiga, layanan penerapan baru kami, yang tersedia mulai bulan September, akan memastikan integrasi teknologi ini berjalan mulus ke dalam operasional Anda.
Kini Tersedia – PowerEdge XE9680 dengan Akselerator AMD Instinct MI300X
PowerEdge XE9680 dengan akselerator AMD Instinct MI300X menawarkan kapabilitas performa tinggi yang dirancang untuk perusahaan yang memanfaatkan AI generatif. Server ini menampilkan delapan akselerator MI300X, dengan total memori HBM3 sebesar 1,5 TB dan performa puncak teoritis sebesar 42 petaFLOPS untuk presisi FP8 dengan sparsity.²
Konfigurasi kuat ini memungkinkan pelatihan dan inferencing model bahasa besar (LLM) lebih cepat, membantu organisasi menghadirkan wawasan berbasis AI dan aplikasi inovatif secara lebih efisien. Pengujian baru-baru ini pada konfigurasi node tunggal menunjukkan nilai kepemilikan total (TCO) yang unggul:
- Menerapkan model Llama 2 dengan 70 miliar parameter pada satu akselerator AMD Instinct MI300X di server Dell PowerEdge XE9680.³
- Menjalankan delapan instance model secara bersamaan dengan memanfaatkan semua delapan akselerator AMD Instinct MI300X yang tersedia.³
- Melakukan fine-tuning model Llama 2 70B dengan presisi FP16 pada satu server Dell PowerEdge XE9680 dengan delapan akselerator MI300X.³
Dengan penyebaran yang disederhanakan melalui Dell OpenManage Enterprise, otomatisasi cerdas melalui perangkat lunak APEX AIOps, dan keamanan tingkat lanjut yang mencakup pemulihan siber terintegrasi serta pendekatan Zero Trust, XE9680 memberdayakan bisnis untuk menerapkan dan meningkatkan solusi GenAI mereka dengan cepat tanpa mengorbankan keamanan.
Tersedia Hari Ini – Dell Validated Design untuk AI Generatif dengan AMD
Diumumkan pada bulan Mei dan kini tersedia, Dell Validated Design for Generative AI with AMD merupakan langkah lanjutan dalam solusi AI Generatif Dell yang memudahkan organisasi menerapkan GenAI yang andal. Panduan desain ini memberikan arahan lengkap bagi organisasi dan pengembang untuk menerapkan inferencing LLM dan kustomisasi model, serta teknik lanjutan seperti fine-tuning dan retrieval augmented generation (RAG). Dibangun di atas standar terbuka dan mengurangi kebutuhan akan perangkat lunak AI eksklusif, pengembang dapat menyederhanakan pengembangan dan menyesuaikan alur kerja dengan model LLM open-source dari mitra seperti Hugging Face dan Meta.
Percepat Beban Kerja Modern. Inovasi dan skalabilitas untuk bisnis yang efisien dan gesit:
- Didukung oleh akselerator AMD Instinct MI300X, Dell Validated Design memungkinkan scaling hampir linear dan latensi rendah untuk pelatihan dan inferensi GenAI secara terdistribusi.
- PowerScale F710 menghadirkan waktu yang lebih cepat untuk mendapatkan wawasan AI dengan peningkatan performa streaming yang besar pada seluruh fase pipeline AI.
- Dell PowerSwitch Z9664F-ON, dengan 64 port 400GbE, menyediakan latensi rendah dan throughput tinggi untuk jaringan AI modern.
- Broadcom Thor2 NIC yang dioptimalkan untuk AI menghadirkan 400G, menghubungkan akselerator MI300X dengan kebutuhan daya terendah di industri.⁴
Dorong Pengembangan Aplikasi. Perangkat lunak open-source dan ekosistem terbuka memungkinkan pengembang dan ilmuwan data untuk berinovasi dengan bebas:
- Framework yang ditenagai AMD ROCm memperluas ekosistem Dell Generative AI Solutions dan mendukung model bahasa besar open-source seperti PyTorch, TensorFlow, ONNX-RT, dan JAX, serta seluruh tumpukan driver, toolkit pengembang, dan API untuk akselerator AMD Instinct.
- Dell Omnia menyederhanakan pembuatan dan pengelolaan kluster AI, mengotomatiskan konfigurasi untuk pemrosesan beban kerja yang efisien.
- Distribusi SONiC Enterprise oleh Dell Technologies menghadirkan solusi jaringan yang skalabel dengan menggabungkan platform open-source SONiC dan Dell PowerSwitch, menawarkan fitur canggih dan dukungan kelas enterprise.
- Dell Validated Designs for Generative AI memudahkan pelanggan Dell membangun platform GenAI yang disesuaikan dengan kebutuhan mereka dengan menghilangkan spekulasi terkait integrasi, performa, dan pertimbangan ukuran.
Layanan untuk Memulai
Kelola siklus hidup AI Anda dengan percaya diri melalui framework pengembangan terbuka yang siap masa depan dan dirancang untuk AI. Sejalan dengan Dell Validated Design yang baru ini, kami akan memperkenalkan layanan implementasi platform baru pada bulan September. Para ahli terpercaya akan membantu Anda dengan cepat membangun platform yang sepenuhnya operasional dan siap untuk berinovasi, mengimplementasikan alat serta framework yang diperlukan ke dalam lingkungan Anda, serta membagikan praktik terbaik untuk menjaga operasi tetap aman dan efisien.
Tidak yakin harus mulai dari mana? Coba Accelerator Workshop, sesi setengah hari yang difasilitasi dan merupakan langkah awal yang sangat baik untuk menentukan bagaimana organisasi Anda dapat memaksimalkan nilai dari AI. Ini adalah sesi kolaboratif dan interaktif yang melibatkan pemangku kepentingan utama, dirancang untuk memfokuskan pada tantangan utama agar Anda mendapatkan kejelasan terhadap visi Anda. Dengan lebih dari 1.000 lokakarya yang disampaikan setiap tahun dan pengalaman selama puluhan tahun, kami akan membantu Anda mempercepat kesuksesan AI.
Sumber Daya Tambahan
Di Dell Tech World, kami mendemonstrasikan RAG Multimodal pertama di industri pada Server Dell PowerEdge XE9680 dengan akselerator AMD Instinct MI300X.
Kehadiran Llama3 telah menarik banyak perhatian dalam bidang AI generatif. Kami juga membuat blog untuk membantu penyebaran Llama di PowerEdge XE9680 dengan MI300X. Kunjungi Run Llama 3 on Dell PowerEdge XE9680 and AMD MI300X with vLLM.
AMD, logo panah AMD, AMD Instinct, dan kombinasinya adalah merek dagang dari Advanced Micro Devices.
Infrastruktur IT yang kuat adalah kunci produktivitas perusahaan. Dengan qserver indonesia, Anda bisa mendapatkan solusi IT lengkap yang sesuai dengan kebutuhan Anda. iLogo Indonesia sebagai mitra terpercaya siap mengintegrasikan semuanya agar bisnis Anda tetap berjalan lancar dan aman.
Hubungi kami sekarang atau kunjungi qserver.id untuk informasi lebih lanjut!