H200 SXM: lewati 80 GB dengan tetap memakai satu GPU.
NVIDIA H200 SXM menyatukan 141 GB memori HBM3e dalam satu kartu. Setiap lot mencakup satu GPU. Kapasitas ini layak ditinjau ketika sebuah proyek tidak lagi muat dalam 80 GB dan Anda ingin menghindari, jika aplikasi Anda memungkinkan, pembagiannya ke beberapa kartu.
Dokumentasikan peralihan melewati 80 GB
Sebelum memilih H200, tinjau kembali kasus yang melebihi kapasitas Anda saat ini. Catat model yang digunakan, panjang data, dan pengaturan penting. Untuk asisten, simpan beberapa permintaan yang representatif, termasuk satu yang panjang. Tujuannya adalah memastikan margin baru menyelesaikan batasan tertentu, lalu memutuskan pengaturan mana yang dipertahankan.
Perhitungkan apa yang bertambah pada pemuatan awal
141 GB menampung model dan data yang diperlukan untuk penggunaannya. Permintaan panjang atau beberapa pemrosesan bersamaan dapat menambah kebutuhan. Uji dulu satu pekerjaan saja, lalu tingkatkan beban yang direncanakan secara bertahap. Pertahankan margin yang terukur pada kasus nyata Anda daripada mengisi seluruh kapasitas pada eksekusi pertama.
Validasi aplikasi Anda di Hopper
H200 termasuk dalam keluarga NVIDIA Hopper. Periksa versi yang didukung oleh alat Anda, serta ekstensi yang menjadi dependensi proyek. Mulailah dengan memuat komponen, menjalankan input pendek, dan menyimpan hasilnya. Bagi UKM, daftar pemeriksaan ini memungkinkan orang lain melanjutkan berkas tanpa menebak bagaimana lingkungan disiapkan.
Bandingkan kapasitas dan ekosistem perangkat lunak
Jika penyesuaian membuat proyek kompatibel dengan 80 GB, A100 menekan anggaran secara signifikan. MI300X menawarkan 192 GB pada satu kartu AMD, tetapi memerlukan lingkungan perangkat lunak yang sesuai, khususnya ROCm untuk alat terkait. Lot B200 mencakup dua GPU: lot ini tidak otomatis menggantikan memori besar tunggal ketika perangkat lunak tidak membagi pekerjaan.
Atur periode dengan hasil yang dapat digunakan kembali
Harga per lot adalah 274,29 USD untuk 3 hari, 640 USD untuk 7 hari, atau 2.290 USD untuk 30 hari. Siapkan data sebelum periode yang dipilih dan sisihkan waktu untuk kontrol kualitas. Setelah GPU, durasi, lot, dan persiapan, isi kontak pemesanan Anda, lalu pilih pembayaran kripto. Simpan parameter, hasil yang dipilih, dan langkah pemulihan agar bisa memanfaatkan sesi berikutnya.