Oturumdan sonra neyin ayakta kalması gerektiğine karar vermek
Yeniden oluşturulması zor olan şeylerle başlayın: benzersiz orijinaller, notlar, onaylanmış seçimler, parametreler ve kabul edilen sonuçlar. İşi anlamak ve sürdürmek için gerekli dosyaları ekleyin. Önbellekler hacimli olabilir ama vazgeçilmez değildir; buna karşılık, unutulan küçük bir yapılandırma büyük bir arşivi kullanılamaz hale getirebilir.
Teslimatı devam arşivinden ayırın. Alıcı, kabul edilen çıktılara ve kısa bir açıklamaya ihtiyaç duyar. Siz de girdilere, sürümlere, denemelere ve faydalı ara durumlara ihtiyaç duyarsınız. Reddedilen varyantları, teknik günlükleri ve nihai dosyaları karıştıran bir müşteri klasörü, yanlış çıktının kullanılma riskini artırır.
| Usage | À conserver pour la reprise | À remettre au destinataire |
|---|---|---|
| Görseller | Orijinaller, yazışma, parametreler, faydalı sürümler. | Kabul edilen görseller ve teslimat listesi. |
| Asistan | İzin verilen belgeler, model/sürüm, talimatlar, sorular ve değerlendirmeler. | Gözden geçirilmiş sonuçlar ve kullanım sınırları. |
| Hesaplama veya eğitim | Gerekli veriler, program, yapılandırma ve uygun devam durumu. | Yorumlanabilir sonuçlar ve okuma yöntemi. |
Hafızanıza bağlı olmayan bir envanter oluşturun
Her dosyaya sabit bir yer verin ve girdi ile çıktı arasındaki bağlantıyı koruyun. Bir liste; göreli yolu, dosyanın rolünü, boyutunu ve durumunu içerebilir: seçildi, yeniden ele alınacak veya yalnızca bir denemeyi anlamak için saklandı. Göreli yollar kullanmak, bir makinenin özel adını korumadan klasörü taşımanıza olanak tanır.
Hedefi, yazılım sürümünü, vazgeçilmez bileşenleri, işlem sırasını ve kontrol girdisini içeren bir devam notu ekleyin. Daha sonra almayı planladığınız genel dosyaları kesin sürümleriyle not edin. Gelecekteki kullanılabilirlikleri garanti olmadığından, yeri doldurulamaz olan ve saklamaya yetkiniz olan şeyleri yerel olarak saklayın.
Yapılandırma dışa aktarımlarını ve günlükleri paylaşmadan önce gözden geçirin. Arşivde yeri olmayan parolaları, anahtarları ve erişim bağlantılarını çıkarın. Not, izinli bir erişimin nasıl yeniden kurulacağını açıklamalı, ancak sırrın kendisini içermemelidir.
Bir model için kullanım ile eğitimi sürdürmeyi ayırt etmek
Bir modelin ağırlıkları ile eksiksiz bir çalışma durumu aynı işi görmez. PyTorch'ta modelin state_dict'i parametrelerini ve bazı durumlarını saklar. Eğitimi sürdürmek için döngünün kullandığı öğeler de gerekir; bunların arasında optimize edicinin durumu ve ilerleme yer alır. Tam olarak nelere ihtiyaç duyduğunuz programınıza bağlıdır: zamanlayıcı, karışık hassasiyet veya rastgele çekilişler de önemli olabilir.
Kayıt noktasını çözmek istediğiniz soruya göre seçin: "yeniden tahmin yapmak" mı yoksa "bu adımdan devam etmek" mi. Beklenen yapıyı belgeleyin ve kendi dosyanızı yeniden yüklemeyi deneyin. checkpoint-final gibi bir ad, tüm devam öğelerinin kaydedildiğini garanti etmez.
Zaman kalmadan önce kopyalamayı planlamak
Erişimini kontrol ettiğiniz bir yer hazırlayın ve kapasitesini doğrulayın. Projenin başında küçük bir kopya alın, ardından hâlihazırda kararlı olan öğelerin ara bir kopyasını çıkarın. Arşivin tanımlanabilir bir sürümünü saklayın: son aktarım sırasında çıktılar değişirse hangi durumu geri aldığınızı artık bilemezsiniz.
Son kopyadan önce planlanan yazma işlemlerini tamamlayın veya yazılımın sunduğu tutarlı yedekleme yöntemini kullanın. Yazılmakta olan bir dosya, envanter ile kopya arasında değişebilir. Devam eden bir eğitim için, klasörde yalnızca görünen geçici bir dosyaya değil, açıkça tamamlanmış bir devam noktasına güvenin.
Veri hacmi, küçük dosyalar ve kesintiler geri alma süresini etkiler. Bu adımı 3, 7 veya 30 günlük takviminize dahil edin. Kısa bir aktarım denemesinden tüm arşiv için kesin bir süre çıkarmayın; açma ve çıkarma süresini de hesaba katın.
Önce içeriği, sonra kopyanın bütünlüğünü kontrol etmek
Önce beklenen yolları ve dosya sayısını karşılaştırın. Boyut, boş veya kesilmiş bir dosyayı fark etmeye yardımcı olur, ancak iki farklı dosya aynı boyutta olabilir. Baytları kontrol etmek için her kararlı kaynak dosyanın SHA-256 özetini, ardından kopyasının aynı özetini hesaplayın. Python bu hesaplamayı hashlib'de belgeler; başka araçlar da aynı algoritmayı sunar.
Özet envanterini, tanımladığı dosyalardan ayrı saklayın; envanterin kendi özetini içermesine çalışmayın. Bir fark hatalı bir kopyadan kaynaklanabilir, ancak iki hesaplama arasında değişmiş bir kaynak dosyadan da gelebilir. Herhangi bir şeyi değiştirmeden önce nedeni belirleyin.
Aynı özet, iş sonucunu değerlendirmez ve tek başına dosyanın kime ait olduğunu kanıtlamaz. Bulanık bir görüntü veya kötü bir model değiştirilmeden kopyalanmış olabilir. Bu nedenle bütünlük kontrollerini, temsili çıktıları açmak ve ölçütlerinizi doğrulamakla birleştirin.
Örnek: yüz görsel, iki yüz iki kullanışlı dosya
Yüz görselden oluşan bir teslimat düşünelim. Devam arşivi yüz orijinal, yüz onaylanmış görsel, bir parametre dosyası ve bir devam notu içerir: 100 + 100 + 1 + 1 = 202 dosya. Ayrı bir envanter bu 202 öğeyi tanımlar; bu envanterle klasör 203 dosya içerir. Bu, duyurulan bir işlem olmaksızın bir düzenleme örneğidir.
Kopyalamadan sonra sayım, tanımlanan 202 öğeyi bulur, ancak bir özet farklıdır. Yani 201 dosya eşleşir ve bir dosyanın incelenmesi gerekir: doğru toplam sayı yeterli değildir. Kaynak dosya değişmediyse bu öğeyi yeniden kopyalayın, ardından özetini yeniden hesaplayın. Kaynak değiştiyse önce hangi sürümü saklayacağınıza karar verin ve envanteri tutarlı biçimde güncelleyin.
Ardından kopyadan büyük bir görsel, saydamlık içeren bir görsel ve metin içeren bir görsel açın. Ayrıca teslimatta beklenen yüz adın yer aldığını kontrol edin. Bu üç açma işlemi hedefli bir kontrolü gösterir; diğer tüm görsellerin kalitesini belgelemez. İşleme sırasında bildirilen durumlar tek tek gözden geçirilmelidir.
Eski yolları kullanmadan bir yeniden başlatmayı tekrarlayın
Projeyi yedekleme konumundan veya ayrı bir test klasöründen açın. Notu sırayla takip edin, başlangıçtaki ortamdan gizlice bir bağımlılık aramayın. Eksik bağlantılı dosyalar, yazı tipleri, eklenti sürümleri veya mutlak yollar o zaman görünür hale gelir.
Görseller için, korunan ayarlarla bir girdiyi yeniden başlatın ve dışa aktarımı açın. Bir asistan için yapılandırmayı yeniden yükleyin ve belgeleriyle bir kontrol sorusunu tekrarlayın. Bir hesaplama için durumun yüklenmesini ve küçük bir beklenen adımı doğrulayın. Doğrulama faydalı sonuca kadar gitmelidir; bir klasörü dosya gezgininde görmek onun yeniden başlatılmasını test etmez.
Kontrolün kapsamını not edin. Teslimatların açılmasını doğrulamış olabilirsiniz, ancak bilgisayarınızda hesaplamayı yeniden çalıştırmak için gerekli yazılıma sahip olmayabilirsiniz. Bu durumda neyin doğrulandığını ve neyin uyumlu bir ortamda denenmesi gerektiğini tam olarak açıklayın.
Yanlış güven veren hataları tanıyın
Çalışma diskindeki tek bir arşiv o diskle birlikte kaybolabilir. Senkronize edilmiş bir kopya kazara bir silmeyi çoğaltabilir. Yani aynı yerde görünen iki klasör, verileri kurtarmak için iki bağımsız yol olduğunu kanıtlamaz. Önemlerine uygun bir saklama düzeni seçin ve ardından öngörülen kurtarma yolunu test edin.
Diğer tuzaklar daha sıradandır: eksik son dışa aktarım, yazımı bitmeden kopyalanmış arşiv, sürümü olmayan parametreler veya alıcının sahip olmadığı bir erişimle korunan dosya. Listeyle gerçek hedeften son bir geçiş yapın. Bir anormallik açık kaldığı sürece, onu düzeltmek için gerekli öğeleri saklayın.
- Beklenen teslimatlar mevcut ve tanımlanmış.
- Envanter, seçilen kopyayla uyuşuyor.
- Kontrol dosyaları hedeften açılıyor.
- Yeniden başlatma notu kalan bağımlılıkları ve sınırları açıklıyor.
- Gerekli erişimler paylaşılan dosyalardan ayrı yönetiliyor.