H200 SXM: перевищуйте 80 GB, залишаючись на одному GPU.
NVIDIA H200 SXM об’єднує 141 GB пам’яті HBM3e на одній карті. Кожен лот містить один GPU. Цю ємність варто розглянути, коли проєкт уже не вміщується в 80 GB і ви хочете уникнути, якщо ваша програма це дозволяє, розподілу його між кількома картами.
Задокументуйте перехід за межі 80 GB
Перш ніж обрати H200, поверніться до випадку, який перевищує вашу поточну ємність. Запишіть використану модель, довжину даних і важливі налаштування. Для асистента збережіть кілька показових запитів, зокрема один довгий. Мета — переконатися, що новий запас вирішує конкретне обмеження, а потім вирішити, які налаштування залишити.
Передбачте те, що додається до початкового завантаження
141 GB вміщують модель і дані, потрібні для її використання. Довгий запит або кілька одночасних обробок можуть збільшити потребу. Спершу протестуйте одну задачу, а потім поступово збільшуйте заплановане навантаження. Залишайте спостережуваний запас на ваших реальних випадках, а не заповнюйте всю ємність із першого запуску.
Перевірте вашу програму на Hopper
H200 належить до сімейства NVIDIA Hopper. Перевірте версії, які підтримує ваш інструмент, а також розширення, від яких залежить проєкт. Почніть із завантаження компонентів, виконайте короткий ввід і збережіть результат. Для малої компанії цей список перевірок дає змогу іншій людині підхопити справу, не вгадуючи, як було підготовлено середовище.
Порівняйте ємність і програмну екосистему
Якщо коригування роблять проєкт сумісним із 80 GB, A100 помітно зменшує бюджет. MI300X пропонує 192 GB на одній карті AMD, але вимагає відповідного програмного середовища, зокрема ROCm для відповідних інструментів. Лот B200 містить два GPU: він не замінює автоматично велику єдину пам’ять, коли програмне забезпечення не розподіляє роботу.
Організуйте період із результатами, які можна використати повторно
Ціни за лот становлять 274,29 USD за 3 дні, 640 USD за 7 днів або 2 290 USD за 30 днів. Підготуйте дані до обраного періоду та залиште час на перевірки якості. Після GPU, тривалості, лотів і підготовки вкажіть свій контакт для замовлення, а потім оберіть оплату криптовалютою. Збережіть параметри, обрані результати та кроки відновлення, щоб скористатися наступною сесією.