NVIDIA L4：アシスタントのための明確な作業フォーマット。
NVIDIA L4は24GBのGDDR6メモリとAdaアーキテクチャを組み合わせています。小規模チームにとって、このカード1枚をまとめて借りることで、対応する推論ツールを評価できます。たとえば、試してみたい社内アシスタント、分類、すでに定義済みの処理などです。まずは結果が役に立つかどうかを確認することが第一の目的です。
ソフトウェアの前に問いを定義する
代表的ないくつかのリクエストを短いリストにまとめ、それぞれの回答を検証するための基準を書き出します。さらに、曖昧な質問と範囲外のリクエストを1つずつ加えましょう。こうすれば、文章の流暢さだけに引っ張られることなく、アシスタントの設定を比較できます。個人でのテストと、複数のユーザーが同時にサービスを利用する場合とを区別しておきましょう。
ニーズを24GBに収める
ダウンロードするファイルのサイズだけでは、実行中に必要なメモリのすべては分かりません。モデルの要件を確認し、想定される最も長い入力で構成をテストしましょう。同時リクエストを減らす方が、すぐにGPUを変えるより良いこともあります。それでもこの階層を超える場合は、48GBのL40Sを検討してください。
再現可能な小さな環境を構築する
PyTorchはCUDAに適したインストール方法を提供しています。自分の環境に合うものを選びましょう。GPUへのアクセスを確認し、ドキュメントを組み込む前に短いリクエストを実行してください。バージョンと再起動コマンドを保存しておきます。ソフトウェアと処理はご自身で自由に選べます。BriefGPUがその内容を検査することはありません。
L4か別のカードか、決め手は何？
RTX A5000も24GBを搭載し、総額はより抑えられます。このモデルがワークフローの要件を満たす場合や、正確に評価したい場合はL4を選びましょう。同じメモリ量が同じ速度を証明するわけではありません。逆に、ニーズを計測する前に80GBを借りると、試行用に確保した予算を圧迫しかねません。
3日間、1週間、1か月のプランを選べます
料金は3日間で30 USD、7日間で70 USD、30日間で250 USDです。3日間は準備したテストの内容を固めるのに、7日間はフィードバックを集めるのに、30日間は反復作業をこなすのに適しています。期間を選び、準備内容と連絡先を入力し、指定のネットワークでお支払いください。支払いと提供状況の確認は、注文の中で別々に表示されます。