H200 SXM: vượt 80 GB mà vẫn chỉ dùng một GPU.
NVIDIA H200 SXM tập hợp 141 GB bộ nhớ HBM3e trên một card. Mỗi lô gồm một GPU. Dung lượng này đáng để cân nhắc khi một dự án không còn vừa trong 80 GB và bạn muốn tránh việc phải chia nhỏ nó ra nhiều card, nếu ứng dụng của bạn cho phép.
Ghi lại việc vượt qua ngưỡng 80 GB
Trước khi chọn H200, hãy xem lại trường hợp vượt quá dung lượng hiện tại của bạn. Ghi lại mô hình đang dùng, độ dài dữ liệu và các thiết lập quan trọng. Với một trợ lý, hãy giữ lại vài yêu cầu tiêu biểu, trong đó có một yêu cầu dài. Mục đích là xác minh rằng phần dư mới giải quyết một giới hạn cụ thể, rồi quyết định giữ lại những thiết lập nào.
Dự trù những gì cộng thêm vào lúc tải ban đầu
141 GB chứa mô hình và dữ liệu cần thiết để sử dụng nó. Một yêu cầu dài hoặc nhiều tác vụ chạy đồng thời có thể làm tăng nhu cầu. Trước tiên hãy thử một công việc duy nhất, rồi tăng dần mức tải dự kiến. Hãy giữ một khoảng dư đã quan sát được trên các trường hợp thực tế của bạn thay vì lấp đầy toàn bộ dung lượng ngay lần chạy đầu tiên.
Kiểm chứng ứng dụng của bạn trên Hopper
H200 thuộc dòng NVIDIA Hopper. Hãy kiểm tra các phiên bản mà công cụ của bạn hỗ trợ, cùng các tiện ích mở rộng mà dự án phụ thuộc vào. Bắt đầu bằng việc tải các thành phần, chạy một đầu vào ngắn và lưu lại kết quả. Với một doanh nghiệp nhỏ, danh sách kiểm tra này giúp người khác tiếp nhận hồ sơ mà không phải đoán xem môi trường đã được chuẩn bị thế nào.
So sánh dung lượng và hệ sinh thái phần mềm
Nếu các điều chỉnh giúp dự án tương thích với 80 GB, A100 sẽ giảm đáng kể ngân sách. MI300X cung cấp 192 GB trên một card AMD, nhưng đòi hỏi môi trường phần mềm phù hợp, đặc biệt là ROCm cho các công cụ liên quan. Lô B200 gồm hai GPU: nó không tự động thay thế một bộ nhớ đơn lớn khi phần mềm không phân chia công việc.
Sắp xếp một giai đoạn với các kết quả có thể tái sử dụng
Giá theo lô là 274,29 USD cho 3 ngày, 640 USD cho 7 ngày hoặc 2.290 USD cho 30 ngày. Hãy chuẩn bị dữ liệu trước giai đoạn đã chọn và dành thời gian cho việc kiểm tra chất lượng. Sau khi xác định GPU, thời lượng, số lô và khâu chuẩn bị, hãy điền thông tin liên hệ đặt hàng, rồi chọn thanh toán bằng crypto. Lưu lại các tham số, kết quả đã chọn và các bước khôi phục để tận dụng phiên tiếp theo.