Quyết định những gì cần tồn tại sau buổi làm việc
Bắt đầu với những gì khó tạo lại: bản gốc duy nhất, chú thích, lựa chọn đã được duyệt, thông số và kết quả được chấp nhận. Thêm các tệp cần thiết để hiểu và tiếp tục công việc. Bộ nhớ đệm có thể cồng kềnh mà không thật sự cần thiết; ngược lại, một cấu hình nhỏ bị bỏ sót có thể khiến cả một kho lưu trữ lớn trở nên vô dụng.
Tách phần bàn giao khỏi kho lưu trữ để tiếp tục. Người nhận cần các kết quả đã được chấp nhận và một lời giải thích ngắn. Bạn cũng cần đầu vào, phiên bản, thử nghiệm và các trạng thái trung gian hữu ích. Một thư mục khách hàng trộn lẫn các biến thể bị loại, nhật ký kỹ thuật và tệp hoàn chỉnh sẽ làm tăng nguy cơ dùng nhầm kết quả.
| Usage | À conserver pour la reprise | À remettre au destinataire |
|---|---|---|
| Hình ảnh | Bản gốc, thư từ trao đổi, thông số, các phiên bản hữu ích. | Hình ảnh đã được duyệt và danh sách bàn giao. |
| Trợ lý | Tài liệu được phép dùng, mô hình/phiên bản, chỉ dẫn, câu hỏi và đánh giá. | Kết quả đã được rà soát và giới hạn sử dụng. |
| Tính toán hoặc huấn luyện | Dữ liệu cần thiết, chương trình, cấu hình và trạng thái khôi phục phù hợp. | Kết quả có thể diễn giải và cách đọc chúng. |
Xây dựng một bản kiểm kê không phụ thuộc vào trí nhớ của bạn
Hãy cho mỗi tệp một vị trí ổn định và giữ mối liên hệ giữa đầu vào và đầu ra. Một danh sách có thể gồm đường dẫn tương đối, vai trò của tệp, kích thước và trạng thái của nó: giữ lại, cần làm tiếp hay chỉ giữ để hiểu một thử nghiệm. Dùng đường dẫn tương đối cho phép di chuyển thư mục mà không cần giữ tên riêng của một máy nào đó.
Thêm một ghi chú khôi phục với mục tiêu, phiên bản phần mềm, các thành phần thiết yếu, thứ tự thao tác và điểm kiểm tra đầu vào. Ghi lại các tệp công khai mà bạn dự định tải về sau kèm phiên bản chính xác. Vì không chắc chắn chúng sẽ còn tồn tại trong tương lai, hãy lưu cục bộ những gì không thể thay thế và bạn được phép giữ.
Hãy đọc lại các bản xuất cấu hình và nhật ký trước khi chia sẻ chúng. Loại bỏ mật khẩu, khóa và liên kết truy cập không nên có trong tệp lưu trữ. Ghi chú phải giải thích cách khôi phục quyền truy cập được phép, mà bản thân không chứa thông tin bí mật.
Với một mô hình, phân biệt sử dụng và tiếp tục huấn luyện
Trọng số của một mô hình và trạng thái công việc đầy đủ không mang lại cùng giá trị. Trong PyTorch, state_dict của mô hình lưu giữ các tham số và một số trạng thái. Để tiếp tục huấn luyện còn cần các thành phần mà vòng lặp sử dụng, bao gồm trạng thái của optimizer và tiến độ. Nhu cầu chính xác phụ thuộc vào chương trình của bạn: bộ lập lịch, độ chính xác hỗn hợp hay các lần lấy ngẫu nhiên cũng có thể quan trọng.
Hãy chọn điểm lưu dựa trên câu hỏi cần giải quyết: «dự đoán lại» hay «tiếp tục từ bước này». Ghi lại cấu trúc mong đợi và thử tải lại tệp của chính bạn. Một cái tên như checkpoint-final không đảm bảo rằng mọi thành phần để tiếp tục đều đã được lưu.
Chuẩn bị bản sao trước khi hết thời gian
Hãy chuẩn bị một vị trí mà bạn kiểm soát quyền truy cập và kiểm tra dung lượng của nó. Sao chép một ít vào đầu dự án, rồi sao chép trung gian các thành phần đã ổn định. Giữ một phiên bản nhận diện được của tệp lưu trữ: nếu các đầu ra thay đổi trong quá trình truyền cuối, bạn sẽ không còn biết mình đã khôi phục trạng thái nào.
Trước bản sao cuối cùng, hãy hoàn tất các ghi dự kiến hoặc dùng phương pháp sao lưu nhất quán do phần mềm cung cấp. Một tệp đang được ghi có thể thay đổi giữa lúc kiểm kê và lúc sao chép. Với một quá trình huấn luyện đang tiếp diễn, hãy dựa vào một điểm tiếp tục đã hoàn tất rõ ràng thay vì một tệp tạm chỉ đơn thuần hiện diện trong thư mục.
Khối lượng dữ liệu, các tệp nhỏ và sự gián đoạn ảnh hưởng đến việc khôi phục. Hãy đưa bước này vào lịch trình 3, 7 hoặc 30 ngày. Đừng suy ra từ một thử nghiệm truyền ngắn một thời hạn chắc chắn cho toàn bộ tệp lưu trữ; cũng nên dự trù thời gian giải nén và mở.
Kiểm tra nội dung, rồi đến tính toàn vẹn của bản sao
Trước tiên hãy so sánh các đường dẫn mong đợi và số lượng tệp. Kích thước giúp phát hiện một tệp rỗng hoặc bị cắt ngắn, nhưng hai tệp khác nhau có thể có cùng kích thước. Để kiểm tra các byte, hãy tính một mã băm SHA-256 cho mỗi tệp nguồn ổn định, rồi tính cùng mã băm đó trên bản sao của nó. Python ghi lại cách tính này trong hashlib; các công cụ khác cũng cung cấp cùng thuật toán.
Hãy giữ bản kiểm kê các mã băm tách biệt khỏi những tệp mà nó mô tả, đừng cố để nó chứa mã băm của chính nó. Một khác biệt có thể do sao chép sai, nhưng cũng có thể do một tệp nguồn đã thay đổi giữa hai lần tính. Hãy xác định nguyên nhân trước khi thay thế bất cứ thứ gì.
Một mã băm giống nhau không đánh giá được kết quả nghiệp vụ và tự nó không chứng minh được tác giả của tệp. Một hình ảnh mờ hay một mô hình tồi có thể được sao chép mà không bị biến đổi. Vì vậy hãy kết hợp kiểm tra tính toàn vẹn với việc mở các đầu ra đại diện và xác minh các tiêu chí của bạn.
Ví dụ: một trăm hình ảnh, hai trăm lẻ hai tệp hữu ích
Hãy hình dung một đơn hàng gồm một trăm hình ảnh. Tệp lưu trữ để tiếp tục chứa một trăm bản gốc, một trăm hình ảnh được chấp nhận, một tệp tham số và một ghi chú tiếp tục: 100 + 100 + 1 + 1 = 202 tệp. Một bản kiểm kê riêng mô tả 202 thành phần này; cùng với bản kiểm kê đó, thư mục chứa 203 tệp. Đây là một ví dụ về cách tổ chức, không kèm theo xử lý nào được công bố.
Sau khi sao chép, việc đếm tìm lại được 202 thành phần đã mô tả, nhưng một mã băm khác biệt. Vậy bạn có 201 tệp khớp và một tệp cần xem xét: tổng số đúng thôi chưa đủ. Nếu tệp nguồn vẫn ổn định, hãy sao chép lại thành phần đó, rồi tính lại mã băm của nó. Nếu nguồn đã thay đổi, trước tiên hãy chọn phiên bản cần giữ và cập nhật bản kiểm kê một cách nhất quán.
Sau đó, hãy mở từ bản sao một hình ảnh lớn, một hình ảnh có độ trong suốt và một hình ảnh chứa văn bản. Bạn cũng nên kiểm tra xem đủ một trăm tên như mong đợi có nằm trong gói bàn giao hay không. Ba lần mở này minh họa cho một bước kiểm tra có trọng tâm; chúng không chứng nhận chất lượng của tất cả các hình ảnh khác. Những trường hợp được báo trong quá trình xử lý cần được xem xét riêng lẻ.
Lặp lại một bản khôi phục mà không dùng các đường dẫn cũ
Mở dự án từ vị trí lưu hoặc một thư mục kiểm tra riêng biệt. Hãy làm theo hướng dẫn theo đúng thứ tự, đừng lén tìm một phụ thuộc nào đó trong môi trường ban đầu. Nhờ vậy, các tệp liên kết, phông chữ, phiên bản tiện ích mở rộng hay đường dẫn tuyệt đối bị thiếu sẽ trở nên rõ ràng.
Đối với hình ảnh, hãy mở lại một mục với các cài đặt đã lưu và mở phần xuất. Đối với trợ lý, hãy tải lại cấu hình và chạy lại một câu hỏi kiểm tra với tài liệu của nó. Đối với tính toán, hãy kiểm tra việc tải trạng thái và một bước nhỏ như mong đợi. Việc kiểm tra phải đi đến kết quả hữu ích; chỉ nhìn thấy một thư mục trong trình quản lý tệp không kiểm tra được việc khôi phục nó.
Hãy lưu ý phạm vi của việc kiểm tra. Bạn có thể đã xác minh các sản phẩm đầu ra mở được mà không có phần mềm cần thiết để chạy lại tính toán trên máy tính của mình. Trong trường hợp đó, hãy mô tả chính xác những gì đã được kiểm tra và những gì còn phải thử trong một môi trường tương thích.
Nhận diện những sai lầm tạo cảm giác an tâm giả tạo
Một bản lưu trữ duy nhất trên ổ đĩa làm việc có thể biến mất cùng với ổ đĩa đó. Một bản sao được đồng bộ hóa có thể lặp lại một hành động xóa nhầm. Vì vậy, hai thư mục hiển thị ở cùng một nơi không chứng minh được rằng bạn có hai cách độc lập để khôi phục dữ liệu. Hãy chọn một cách lưu trữ phù hợp với mức độ quan trọng của chúng, rồi kiểm tra thử con đường khôi phục đã dự tính.
Những cạm bẫy khác thì thường gặp hơn: thiếu bản xuất cuối cùng, bản lưu trữ được sao chép trước khi ghi xong, thông số không có phiên bản, hoặc tệp được bảo vệ bằng quyền truy cập mà người nhận không có. Hãy kiểm tra lần cuối theo danh sách, ngay từ đích thực tế. Chừng nào một bất thường còn chưa được xử lý, hãy giữ lại những thứ cần thiết để khắc phục nó.
- Các sản phẩm bàn giao mong đợi đều có mặt và được xác định rõ ràng.
- Danh mục khớp với bản sao đã lưu.
- Các tệp điều khiển mở từ điểm đến.
- Ghi chú bàn giao mô tả các phụ thuộc và giới hạn còn lại.
- Quyền truy cập cần thiết được quản lý riêng biệt với các tệp được chia sẻ.