H200 SXM: преодолейте 80 ГБ, оставаясь на одном GPU.
NVIDIA H200 SXM объединяет 141 ГБ памяти HBM3e на одной карте. Каждый лот включает один GPU. Эту ёмкость стоит рассмотреть, когда проект больше не умещается в 80 ГБ и вы хотите избежать, если ваше приложение это позволяет, распределения его между несколькими картами.
Задокументировать переход за пределы 80 ГБ
Прежде чем выбрать H200, вернитесь к случаю, который превышает вашу текущую ёмкость. Запишите используемую модель, длину данных и важные настройки. Для ассистента сохраните несколько показательных запросов, в том числе один длинный. Цель — убедиться, что новый запас решает конкретное ограничение, а затем решить, какие настройки оставить.
Предусмотреть, что добавляется к первоначальной загрузке
141 ГБ вмещают модель и данные, необходимые для её использования. Длинный запрос или несколько одновременных обработок могут увеличить потребность. Сначала протестируйте одну задачу, затем постепенно увеличивайте планируемую нагрузку. Сохраняйте наблюдаемый запас на ваших реальных случаях, а не заполняйте всю ёмкость с первого запуска.
Проверить ваше приложение на Hopper
H200 относится к семейству NVIDIA Hopper. Проверьте версии, поддерживаемые вашим инструментом, а также расширения, от которых зависит проект. Начните с загрузки компонентов, выполнения короткого ввода и сохранения результата. Для малого бизнеса этот список проверок позволяет другому человеку взяться за дело, не догадываясь, как была подготовлена среда.
Сравнить ёмкость и программную экосистему
Если корректировки делают проект совместимым с 80 ГБ, A100 заметно сокращает бюджет. MI300X предлагает 192 ГБ на карте AMD, но требует подходящей программной среды, в частности ROCm для соответствующих инструментов. Лот B200 включает два GPU: он не заменяет автоматически большую единую память, когда программное обеспечение не распределяет работу.
Организовать период с многоразовыми результатами
Цены за лот составляют 274,29 USD за 3 дня, 640 USD за 7 дней или 2 290 USD за 30 дней. Подготовьте данные до выбранного периода и отведите время на проверки качества. После GPU, длительности, лотов и подготовки укажите ваш контакт для заказа, затем выберите оплату криптовалютой. Сохраняйте параметры, отобранные результаты и шаги возобновления, чтобы воспользоваться следующей сессией.