H200 SXM：1基のGPUのまま80GBを超える
NVIDIA H200 SXMは1枚のカードに141GBのHBM3eメモリを搭載しています。各ロットにはGPUが1基含まれます。この容量は、プロジェクトが80GBに収まらなくなり、アプリケーションが許すなら複数のカードに分散させる手間を避けたい場合に検討する価値があります。
80 GB 超えへの移行を記録する
H200 を選ぶ前に、現在の容量を超えるケースを振り返りましょう。使用したモデル、データの長さ、重要な設定を書き留めます。アシスタントの場合、代表的なリクエストを複数用意し、その中に長いものも含めます。目的は、新しい余裕が特定の制約を解消することを確認し、その後どの設定を維持するかを決めることです。
初期ロードに加わる分を見込む
141GBにはモデルとその利用に必要なデータが収まります。長いリクエストや複数の同時処理は必要量を増やすことがあります。まず1つの処理だけをテストし、その後、想定する負荷を段階的に増やしていきましょう。最初の実行で容量をすべて使い切るのではなく、実際のケースで確認した余裕を残しておきましょう。
Hopper 上でアプリケーションを検証する
H200 は NVIDIA Hopper ファミリーに属します。お使いのツールが対応するバージョンと、プロジェクトが依存する拡張機能を確認してください。まずコンポーネントをロードし、短い入力で実行して、結果を保存します。中小企業にとって、この確認リストがあれば、環境がどのように準備されたかを推測せずに、別の担当者が引き継げます。
容量とソフトウェアエコシステムを比較する
調整によってプロジェクトが 80 GB に対応できるなら、A100 は予算を大幅に抑えられます。MI300X は AMD のカード 1 枚で 192 GB を提供しますが、対象ツールでは ROCm をはじめとする適切なソフトウェア環境が必要です。B200 のロットには GPU が 2 台含まれます。ソフトウェアが作業を分散しない場合、単一の大容量メモリを自動的に置き換えるものではありません。
再利用できる成果物を残す期間を組み立てる
ロットあたりの料金は 3 日で 274.29 USD、7 日で 640 USD、30 日で 2,290 USD です。選んだ期間の前にデータを準備し、品質チェックの時間も確保しましょう。GPU、期間、ロット、準備が決まったら、注文時の連絡先を入力し、その後暗号資産での支払いを選択します。設定、採用した結果、再開手順を保存して、次のセッションを活かしましょう。