Entscheiden, was die Sitzung überdauern muss
Beginnen Sie mit dem, was schwer neu zu erstellen wäre: einmalige Originale, Anmerkungen, validierte Entscheidungen, Parameter und akzeptierte Ergebnisse. Fügen Sie die Dateien hinzu, die zum Verstehen und Fortsetzen der Arbeit nötig sind. Caches können umfangreich sein, ohne unverzichtbar zu sein; umgekehrt kann eine kleine vergessene Konfiguration ein großes Archiv unbrauchbar machen.
Trennen Sie die Lieferung vom Wiederaufnahme-Archiv. Der Empfänger braucht die akzeptierten Ausgaben und eine kurze Erklärung. Sie brauchen zusätzlich die Eingaben, Versionen, Versuche und nützlichen Zwischenzustände. Ein Kundenordner, der verworfene Varianten, technische Protokolle und endgültige Dateien vermischt, erhöht das Risiko, die falsche Ausgabe zu verwenden.
| Usage | À conserver pour la reprise | À remettre au destinataire |
|---|---|---|
| Bilder | Originale, Korrespondenz, Parameter, nützliche Versionen. | Akzeptierte Visuals und Lieferliste. |
| Assistent | Zugelassene Dokumente, Modell/Version, Anweisungen, Fragen und Bewertungen. | Gegengelesene Ergebnisse und Nutzungsgrenzen. |
| Berechnung oder Training | Notwendige Daten, Programm, Konfiguration und passender Wiederaufnahmezustand. | Interpretierbare Ergebnisse und Lesemethode. |
Ein Inventar aufbauen, das nicht von Ihrem Gedächtnis abhängt
Geben Sie jeder Datei einen festen Platz und bewahren Sie die Verbindung zwischen Eingabe und Ausgabe. Eine Liste kann den relativen Pfad, die Rolle der Datei, ihre Größe und ihren Zustand enthalten: behalten, fortzusetzen oder nur zum Verständnis eines Versuchs aufbewahrt. Relative Pfade ermöglichen es, den Ordner zu verschieben, ohne den besonderen Namen einer Maschine beizubehalten.
Fügen Sie eine Wiederaufnahme-Notiz mit Ziel, Softwareversion, unverzichtbaren Komponenten, Reihenfolge der Vorgänge und Kontrolleingabe hinzu. Notieren Sie die öffentlichen Dateien, die Sie später mit ihrer genauen Version abrufen wollen. Da ihre künftige Verfügbarkeit nicht gesichert ist, bewahren Sie lokal auf, was unersetzlich ist und was Sie behalten dürfen.
Prüfen Sie Konfigurationsexporte und Protokolle, bevor Sie sie weitergeben. Entfernen Sie Passwörter, Schlüssel und Zugangslinks, die nicht in das Archiv gehören. Die Notiz muss erklären, wie ein autorisierter Zugang wiederhergestellt werden kann, ohne selbst das Geheimnis zu enthalten.
Bei einem Modell Nutzung und Wiederaufnahme des Trainings unterscheiden
Die Gewichte eines Modells und ein vollständiger Arbeitsstand leisten nicht dasselbe. In PyTorch bewahrt das state_dict des Modells seine Parameter und bestimmte Zustände auf. Die Wiederaufnahme eines Trainings erfordert außerdem die von der Schleife verwendeten Elemente, darunter den Zustand des Optimierers und den Fortschritt. Der genaue Bedarf hängt von Ihrem Programm ab: Scheduler, gemischte Präzision oder Zufallsziehungen können ebenfalls eine Rolle spielen.
Wählen Sie den Speicherpunkt danach, welche Frage gelöst werden soll: „eine Vorhersage erneut durchführen“ oder „ab diesem Schritt fortfahren“. Dokumentieren Sie die erwartete Struktur und versuchen Sie, Ihre eigene Datei erneut zu laden. Ein Name wie checkpoint-final garantiert nicht, dass alle Elemente für die Wiederaufnahme gespeichert wurden.
Die Kopie einplanen, bevor die Zeit knapp wird
Bereiten Sie einen Speicherort vor, dessen Zugriff Sie kontrollieren, und prüfen Sie dessen Kapazität. Erstellen Sie eine kleine Kopie zu Beginn des Projekts, dann eine Zwischenkopie der bereits stabilen Elemente. Behalten Sie eine identifizierbare Version des Archivs: Wenn sich während der endgültigen Übertragung Ausgaben ändern, wissen Sie nicht mehr, welchen Stand Sie gesichert haben.
Schließen Sie vor der letzten Kopie die geplanten Schreibvorgänge ab, oder verwenden Sie die von der Software angebotene konsistente Sicherungsmethode. Eine Datei, die gerade geschrieben wird, kann sich zwischen Inventar und Kopie ändern. Stützen Sie sich bei einem weiterlaufenden Training auf einen ausdrücklich abgeschlossenen Wiederaufnahmepunkt statt auf eine temporäre Datei, die im Ordner nur sichtbar ist.
Das Datenvolumen, kleine Dateien und Unterbrechungen beeinflussen die Wiederherstellung. Planen Sie diesen Schritt im Kalender von 3, 7 oder 30 Tagen ein. Schließen Sie aus einem kurzen Testtransfer nicht auf eine sichere Dauer für das gesamte Archiv; kalkulieren Sie auch die Zeit zum Entpacken und Öffnen ein.
Zuerst den Inhalt, dann die Integrität der Kopie prüfen
Vergleichen Sie zunächst die erwarteten Pfade und die Anzahl der Dateien. Die Größe hilft, eine leere oder abgeschnittene Datei zu erkennen, aber zwei verschiedene Dateien können dieselbe Größe haben. Um die Bytes zu prüfen, berechnen Sie einen SHA-256-Hash jeder stabilen Quelldatei und dann denselben Hash für ihre Kopie. Python dokumentiert diese Berechnung in hashlib; andere Tools bieten denselben Algorithmus.
Bewahren Sie das Hash-Inventar getrennt von den Dateien auf, die es beschreibt, und versuchen Sie nicht, es seinen eigenen Hash enthalten zu lassen. Eine Abweichung kann von einer fehlerhaften Kopie stammen, aber auch von einer Quelldatei, die zwischen den beiden Berechnungen geändert wurde. Klären Sie die Ursache, bevor Sie irgendetwas ersetzen.
Ein identischer Hash beurteilt nicht das fachliche Ergebnis und beweist für sich allein nicht die Urheberschaft einer Datei. Ein unscharfes Bild oder ein schlechtes Modell können unverändert kopiert werden. Verbinden Sie daher die Integritätsprüfungen mit dem Öffnen repräsentativer Ausgaben und der Überprüfung Ihrer Kriterien.
Beispiel: hundert Bilder, zweihundertzwei nützliche Dateien
Stellen wir uns eine Lieferung von hundert Visuals vor. Das Wiederaufnahmearchiv enthält hundert Originale, hundert akzeptierte Bilder, eine Parameterdatei und eine Wiederaufnahmenotiz: 100 + 100 + 1 + 1 = 202 Dateien. Ein separates Inventar beschreibt diese 202 Elemente; mit diesem Inventar enthält der Ordner 203 Dateien. Es handelt sich um ein Beispiel für die Organisation, ohne angekündigte Verarbeitung.
Nach dem Kopieren findet die Zählung die 202 beschriebenen Elemente wieder, aber ein Hash weicht ab. Sie haben also 201 übereinstimmende Dateien und eine Datei zu prüfen: Die richtige Gesamtzahl genügt nicht. Wenn die Quelldatei stabil geblieben ist, kopieren Sie dieses Element erneut und berechnen Sie seinen Hash neu. Wenn sich die Quelle geändert hat, wählen Sie zunächst die zu behaltende Version und aktualisieren Sie das Inventar konsistent.
Öffnen Sie anschließend aus der Kopie ein großes Bild, ein Bild mit Transparenz und ein Bild mit Text. Prüfen Sie außerdem, ob die erwarteten hundert Namen in der Lieferung enthalten sind. Diese drei Öffnungen veranschaulichen eine gezielte Kontrolle; sie bestätigen nicht die Qualität aller anderen Visuals. Während der Bearbeitung gemeldete Fälle müssen einzeln überprüft werden.
Eine Wiederaufnahme wiederholen, ohne die alten Pfade zu verwenden
Öffnen Sie das Projekt vom Sicherungsort oder aus einem separaten Testordner. Folgen Sie der Anleitung der Reihe nach, ohne heimlich eine Abhängigkeit aus der ursprünglichen Umgebung zu holen. Fehlende verlinkte Dateien, Schriften, Erweiterungsversionen oder absolute Pfade werden dann sichtbar.
Bei Bildern nehmen Sie einen Eintrag mit den gespeicherten Einstellungen erneut vor und öffnen den Export. Bei einem Assistenten laden Sie die Konfiguration neu und stellen eine Kontrollfrage mit seinen Dokumenten erneut. Bei einer Berechnung prüfen Sie das Laden des Zustands und einen kleinen erwarteten Schritt. Die Prüfung muss bis zum nutzbaren Ergebnis führen; einen Ordner im Explorer zu sehen, testet nicht seine Wiederaufnahme.
Notieren Sie den Umfang der Kontrolle. Möglicherweise haben Sie das Öffnen der Lieferergebnisse geprüft, ohne über die nötige Software zu verfügen, um die Berechnung auf Ihrem Computer erneut auszuführen. Beschreiben Sie in diesem Fall genau, was geprüft wird und was noch in einer kompatiblen Umgebung ausprobiert werden muss.
Fehler erkennen, die eine falsche Sicherheit vermitteln
Ein einzelnes Archiv auf der Arbeitsfestplatte kann mit dieser Festplatte verloren gehen. Eine synchronisierte Kopie kann ein versehentliches Löschen übernehmen. Zwei am selben Ort sichtbare Ordner belegen daher nicht zwei unabhängige Wege zur Datenwiederherstellung. Wählen Sie eine ihrer Bedeutung angemessene Aufbewahrungsorganisation und testen Sie den vorgesehenen Wiederherstellungsweg.
Die anderen Fallstricke sind gewöhnlicher: fehlender letzter Export, ein Archiv, das vor Abschluss des Schreibvorgangs kopiert wurde, Einstellungen ohne Version oder eine Datei, die durch einen Zugriff geschützt ist, den der Empfänger nicht besitzt. Machen Sie einen letzten Durchgang mit der Liste vom tatsächlichen Zielort aus. Solange eine Anomalie offen bleibt, bewahren Sie die nötigen Elemente zu ihrer Korrektur auf.
- Die erwarteten Lieferergebnisse sind vorhanden und identifiziert.
- Das Inventar stimmt mit der gewählten Kopie überein.
- Die Kontrolldateien lassen sich vom Zielort aus öffnen.
- Die Notiz zur Wiederaufnahme beschreibt die verbleibenden Abhängigkeiten und Grenzen.
- Die erforderlichen Zugänge werden getrennt von den geteilten Dateien verwaltet.