Chọn GPU đầu tiên: phần mềm trước, bộ nhớ sau.

Loại bỏ những điểm không tương thích trước khi phân định các ưu đãi

Để có một gợi ý hữu ích, hãy tách các yêu cầu bắt buộc phải đáp ứng khỏi các sở thích giúp lựa chọn. Một tiện ích mở rộng thiết yếu không tương thích sẽ loại bỏ một ưu đãi; giá thấp hơn không bù đắp được khiếm khuyết đó. Ngược lại, nhiều bộ nhớ hơn chỉ là một sở thích hữu ích nếu nó đáp ứng một nhu cầu đã xác định.

Hãy ghi lại ngắn gọn cho mỗi ứng viên: tiêu chí, tài liệu đã tham khảo và quyết định. Một đặc điểm còn thiếu vẫn cần được xác nhận trước khi bỏ tiền nếu nó quyết định dự án của bạn. Tên của một GPU hay một bản dựng không thay thế được việc kiểm tra đó.

Hai lựa chọn cần xem xét với ngân sách gói 30 USD

Giả sử thế này: một lần thử đầu tiên trên GPU, một khung thời gian trọn vẹn 3 ngày và mức trần 30 USD chỉ cho gói. Sau khi kiểm tra phần mềm, đây là hai lựa chọn minh họa từ danh mục BriefGPU; chúng không phải danh sách đầy đủ cũng không phải bảng xếp hạng tốc độ.

• RTX A5000: 23,57 USD cho 1 lô, 1 GPU 24 GB danh nghĩa và 3 ngày. Là lựa chọn phù hợp nếu khối lượng công việc của bạn vừa với dung lượng này ở mức thiết lập chấp nhận được.
• A40: 29,14 USD cho 1 lô, 1 GPU 48 GB danh nghĩa và 3 ngày. Là lựa chọn phù hợp nếu nhu cầu bộ nhớ biện minh cho dung lượng này và chuỗi phần mềm hỗ trợ nó.

Chọn một phương án, hoặc diễn đạt lại nhu cầu

Nếu cả hai card đều đáp ứng yêu cầu, hãy so sánh giá và những lợi ích hữu ích cho dự án; đừng cho rằng A40 sẽ chạy nhanh hơn. Nếu không card nào phù hợp, đừng đề xuất card nào chỉ vì nó nằm trong ngân sách. Mức trần 30 USD cho cả dự án cũng đòi hỏi phải đánh giá giấy phép, lưu trữ, truyền dữ liệu, phí ví hoặc phí mạng và mọi khoản phí hay thuế có thể áp dụng.

Để tìm phương án thay thế cho phần cứng hoặc dịch vụ hiện tại của bạn, hãy giữ phần mềm, tiện ích mở rộng, tệp và chất lượng mong đợi làm điểm so sánh. Nêu rõ điều gì cần thay đổi: bộ nhớ không đủ, chi phí, tiến độ hay hạn chế truy cập. Chỉ một tham chiếu đối thủ không đủ để xác lập sự tương đương. Với vài giờ lẻ tẻ, hãy xem xét cả mức tối thiểu 3 ngày có phù hợp không; hướng dẫn ngân sách trình bày việc thuê theo nhu cầu và việc mua.

Thanh toán của BriefGPU được cung cấp không cần quy trình KYC, nhưng không ẩn danh: tài khoản yêu cầu tên, họ, email và mật khẩu. «Tôi đã trả» báo hiệu giao dịch chuyển khoản mà không tự động xác nhận thanh toán. Nếu những điều kiện này không phù hợp, ưu đãi không vượt qua vòng chọn của bạn, dù card có đáp ứng nhu cầu kỹ thuật.

Tập hợp những thông tin có thể thay đổi lựa chọn

Mô tả kết quả bạn muốn nhận về: một thư mục ảnh được chấp nhận, một cảnh đã xuất hay một tập câu trả lời đã đánh giá. Đặt định dạng đầu ra và tiêu chí thành công trước khi so sánh các mô hình. Như vậy bạn sẽ phân biệt được một ràng buộc về chất lượng, một sự thiếu hụt bộ nhớ và một vấn đề cài đặt.

Ghi lại phiên bản chính xác của phần mềm bạn dùng, các tiện ích mở rộng, mô hình nếu có và engine tính toán được sử dụng. Một ứng dụng được quảng cáo là tương thích GPU có thể phụ thuộc vào một thành phần hạn chế hơn. Trong PyTorch, hướng dẫn cài đặt phân biệt cụ thể CUDA và ROCm tùy theo nền tảng; ma trận AMD nêu rõ các cặp kết hợp được hỗ trợ. Hãy kiểm tra những điều kiện tiên quyết này cho chính chuỗi công việc của bạn.

• Phần mềm, phiên bản và các tiện ích mở rộng cần thiết.
• Một mẫu gồm các tệp thông thường và các trường hợp khó.
• Các thiết lập dự kiến: kích thước, kích thước nhóm, độ dài đầu vào hoặc độ chính xác tùy theo công cụ.
• Một đầu ra mong đợi, một người để kiểm tra và một vị trí lưu.

So sánh bộ nhớ với cùng thời lượng và số lượng

Bảng lấy ba ưu đãi làm mốc dung lượng. Mỗi mức giá áp dụng cho một lô một GPU trong 3 ngày; các gói lấy từ biểu giá BriefGPU. Các giá trị bộ nhớ là dung lượng danh nghĩa của các mô hình, tính bằng GB cho mỗi card. GB ở đây phản ánh GB danh nghĩa của nhà sản xuất, không quy đổi sang GiB. Chúng không mô tả bộ nhớ trống trong khi chạy cũng như RAM và lưu trữ của máy chủ.

Ba ưu đãi này không tạo thành bảng xếp hạng tốc độ. Hãy xem xét 24 GB nếu phần mềm và khối lượng công việc của bạn vừa với mức đó, 48 GB khi bộ nhớ là yếu tố giới hạn cùng công việc, rồi 80 GB cho nhu cầu vượt ngưỡng này. Bộ nhớ lớn không khắc phục được một tiện ích mở rộng không tương thích hay các tệp được chuẩn bị kém.

Đừng nhầm lẫn giữa bộ nhớ đồ họa, tệp và số lượng card

Bộ nhớ đồ họa chứa những thành phần được GPU sử dụng trong quá trình tính toán. Bộ lưu trữ giữ các tệp, còn bộ nhớ hệ thống phục vụ hoạt động của ứng dụng. Vì vậy, kích thước của một thư mục trên đĩa không cho phép suy trực tiếp ra dung lượng bộ nhớ đồ họa cần thiết. Hãy ghi chú riêng biệt ba nhu cầu này.

Nhiều card không tự động hợp nhất bộ nhớ của chúng cho một chương trình vốn được thiết kế cho một GPU duy nhất. Ứng dụng phải tổ chức việc phân chia công việc và trao đổi dữ liệu. Trong gói B200, một lô gồm hai GPU 180 GB mỗi chiếc: đó không phải là một card 360 GB duy nhất. Với tác vụ đầu tiên trên GPU, hãy chọn dung lượng trên mỗi card trước khi tăng số lô.

Chuẩn bị một bài thử đi đến tận tệp nhận về

Sau khi môi trường đã sẵn sàng, hãy bắt đầu bằng một ví dụ đơn giản của công cụ bạn dùng. Kiểm tra thiết bị được nhận diện và cách ứng dụng sử dụng thiết bị đó. Với PyTorch, mô hình và dữ liệu phải được đặt trên thiết bị tính toán phù hợp. Một chương trình kết thúc mà không báo lỗi chưa chắc đã thực hiện đúng công việc mong đợi trên GPU.

Sau đó, hãy tải mẫu đại diện của bạn lên, giữ nguyên các thiết lập và tạo một kết quả nhỏ. Mở kết quả đó trong công cụ đích, rồi lấy về một bản sao. Quá trình này cũng hé lộ các vấn đề về định dạng, phụ thuộc hoặc truyền tải. Tùy chọn Ubuntu, PyTorch, Blender hay tùy chỉnh trong trình cấu hình thể hiện sự chuẩn bị mong muốn; nó không chứng minh rằng một phiên bản cụ thể đã được cài đặt và kiểm thử sẵn.

Xác định nguyên nhân lỗi trước khi đổi GPU

Hãy giữ lại thông báo hiển thị, dữ liệu đầu vào liên quan và các tham số của lần chạy bị lỗi. Mỗi lần chỉ thay đổi một yếu tố. Các gợi ý trong bảng dùng để sắp xếp việc chẩn đoán; chúng không thay thế hướng dẫn riêng của phần mềm.

Ví dụ về phương pháp: chuẩn bị lô hình ảnh đầu tiên

Giả sử một người làm tự do muốn giao 48 hình ảnh đạt yêu cầu. Anh ấy chuẩn bị mười hai ảnh thử: kích thước nhỏ và lớn, nền sáng và tối, chi tiết mịn và chữ. Anh ấy đặt định dạng đầu ra và kiểm tra xem công cụ của mình có hỗ trợ GPU dự kiến hay không. Số lượng ảnh là một giả định của dự án, không phải tốc độ sản xuất được công bố.

Anh ấy bắt đầu bằng một ảnh, rồi một nhóm nhỏ. Nếu các ảnh đầu vào lớn bị lỗi, trước tiên anh ấy giảm số lượng xử lý cùng lúc và kiểm tra nhu cầu của một ảnh riêng lẻ. Nếu ảnh đó vẫn vượt quá bộ nhớ ở mức chất lượng chấp nhận được, anh ấy xem xét mức cao hơn. Nếu bộ nhớ đủ nhưng kết quả không như mong đợi, anh ấy xem lại phương pháp trước khi đổi card.

Ngân sách mẫu đưa ra một lịch trình minh họa 3 ngày trên một lô RTX A5000 với giá 23,57 USD. Với giả định 48 kết quả được chấp nhận, gói này tương đương khoảng 0,49 USD mỗi kết quả. Cách tính này có thể tái lập từ mức giá và giả định; nó không chứng minh rằng sản lượng đó sẽ đạt được trong ba ngày. Hướng dẫn ngân sách trình bày chi tiết các mục và đề xuất bảng tính để bạn chỉnh sửa.

So sánh hai phương án với cùng một khối lượng công việc

Giữ nguyên tệp, phiên bản, thông số và tiêu chí chất lượng. Ghi riêng phần chuẩn bị, lần chạy đầu tiên, các lần chạy tiếp theo và phần thu hồi. Cũng ghi lại các lỗi và lần chạy lại. Một phương án không cải thiện dự án của bạn nếu lợi ích bề ngoài đến từ một thiết lập ít khắt khe hơn khiến đầu ra không dùng được.

Bản tổng kết của bạn có thể chỉ gồm vài dòng: cấu hình, kết quả kiểm tra, thời gian quan sát được, bộ nhớ quan sát được và ghi chú. Nếu chưa có lần chạy tương đương, hãy mô tả điều bạn muốn kiểm tra thay vì xếp hạng các mô hình. Một mức giá, một lần tạo hay một điểm số của nhà sản xuất không đại diện cho toàn bộ quy trình làm việc của bạn.

Chọn khoảng thời gian, rồi chuẩn bị đơn hàng

Hãy tính cả phần chuẩn bị trong thời gian thuê, thời gian làm việc thực tế, thời gian chờ, các lần chạy lại và phần xuất. Phần chuẩn bị đã hoàn tất trước đó trên máy của bạn nằm ngoài khoảng thời gian này. Sau đó so sánh 3, 7 và 30 ngày với số lô đã chọn. Nếu khoảng thời gian vượt quá 30 ngày, không gói nào trong số này bao trọn một mình; cách tính không giả định có gia hạn.

Hãy giữ một quyết định có thể giải thích được: mô hình tương thích, dung lượng đã chọn, bài kiểm tra cần thực hiện, tổng tiền gói và các tệp cần sao lưu. Trong trình cấu hình, hãy điền phần chuẩn bị mong muốn và tạo tài khoản hoặc đăng nhập. Quy trình thanh toán sau đó giải thích mạng lưới, số tiền chính xác và theo dõi sau khi nhấn « J’ai payé ». Lịch trình mô tả công việc sau khi máy được bàn giao; đây không phải là ước tính thời gian cung cấp.