Décider ce qui doit survivre à la séance
Commencez par ce qui serait difficile à recréer : originaux uniques, annotations, choix validés, paramètres et résultats acceptés. Ajoutez les fichiers nécessaires pour comprendre et reprendre le travail. Les caches peuvent être volumineux sans être indispensables ; à l’inverse, une petite configuration oubliée peut rendre une grosse archive inutilisable.
Séparez la livraison de l’archive de reprise. Le destinataire a besoin des sorties acceptées et d’une explication courte. Vous avez aussi besoin des entrées, versions, essais et états intermédiaires utiles. Un dossier client qui mélange variantes rejetées, journaux techniques et fichiers définitifs augmente le risque d’utiliser la mauvaise sortie.
| Usage | À conserver pour la reprise | À remettre au destinataire |
|---|---|---|
| Images | Originaux, correspondance, paramètres, versions utiles. | Visuels acceptés et liste de livraison. |
| Assistant | Documents autorisés, modèle/version, consignes, questions et évaluations. | Résultats relus et limites d’utilisation. |
| Calcul ou entraînement | Données nécessaires, programme, configuration et état de reprise adapté. | Résultats interprétables et méthode de lecture. |
Construire un inventaire qui ne dépend pas de votre mémoire
Donnez à chaque fichier une place stable et gardez le lien entre entrée et sortie. Une liste peut contenir le chemin relatif, le rôle du fichier, sa taille et son état : retenu, à reprendre ou conservé seulement pour comprendre un essai. Utiliser des chemins relatifs permet de déplacer le dossier sans conserver le nom particulier d’une machine.
Ajoutez une note de reprise avec l’objectif, la version du logiciel, les composants indispensables, l’ordre des opérations et l’entrée de contrôle. Notez les fichiers publics que vous prévoyez de récupérer plus tard avec leur version précise. Leur disponibilité future n’étant pas assurée, conservez localement ce qui est irremplaçable et que vous êtes autorisé à garder.
Relisez les exports de configuration et les journaux avant de les partager. Retirez les mots de passe, clés et liens d’accès qui n’ont pas leur place dans l’archive. La note doit expliquer comment rétablir un accès autorisé, sans contenir elle-même le secret.
Pour un modèle, distinguer utilisation et reprise d’entraînement
Les poids d’un modèle et un état complet de travail ne rendent pas le même service. Dans PyTorch, le state_dict du modèle conserve ses paramètres et certains états. Reprendre un entraînement demande aussi les éléments utilisés par la boucle, dont l’état de l’optimiseur et la progression. Les besoins exacts dépendent de votre programme : ordonnanceur, précision mixte ou tirages aléatoires peuvent également compter.
Choisissez le point de sauvegarde en fonction de la question à résoudre : « refaire une prédiction » ou « continuer à partir de cette étape ». Documentez la structure attendue et essayez de recharger votre propre fichier. Un nom comme checkpoint-final ne garantit pas que tous les éléments de reprise ont été enregistrés.
Prévoir la copie avant que le temps manque
Préparez un emplacement dont vous maîtrisez l’accès et vérifiez sa capacité. Faites une petite copie au début du projet, puis une copie intermédiaire des éléments déjà stables. Gardez une version identifiable de l’archive : si des sorties changent pendant le transfert final, vous ne saurez plus quel état vous avez récupéré.
Avant la dernière copie, terminez les écritures prévues ou utilisez la méthode de sauvegarde cohérente proposée par le logiciel. Un fichier en cours d’écriture peut changer entre l’inventaire et la copie. Pour un entraînement qui continue, appuyez-vous sur un point de reprise explicitement terminé plutôt que sur un fichier temporaire simplement visible dans le dossier.
Le volume de données, les petits fichiers et les interruptions influencent la récupération. Intégrez cette étape au calendrier de 3, 7 ou 30 jours. Ne déduisez pas d’un essai de transfert court un délai certain pour toute l’archive ; prévoyez aussi le temps d’extraction et d’ouverture.
Contrôler le contenu, puis l’intégrité de la copie
Comparez d’abord les chemins attendus et le nombre de fichiers. La taille aide à repérer un fichier vide ou tronqué, mais deux fichiers différents peuvent avoir la même taille. Pour contrôler les octets, calculez une empreinte SHA-256 de chaque fichier source stable, puis la même empreinte sur sa copie. Python documente ce calcul dans hashlib ; d’autres outils proposent le même algorithme.
Conservez l’inventaire d’empreintes séparément des fichiers qu’il décrit, sans essayer de lui faire contenir sa propre empreinte. Une différence peut venir d’une copie incorrecte, mais aussi d’un fichier source modifié entre les deux calculs. Identifiez la cause avant de remplacer quoi que ce soit.
Une empreinte identique ne juge pas le résultat métier et ne prouve pas à elle seule l’auteur du fichier. Une image floue ou un mauvais modèle peuvent être copiés sans altération. Associez donc les contrôles d’intégrité à l’ouverture de sorties représentatives et à la vérification de vos critères.
Exemple : cent images, deux cent deux fichiers utiles
Imaginons une livraison de cent visuels. L’archive de reprise contient cent originaux, cent images acceptées, un fichier de paramètres et une note de reprise : 100 + 100 + 1 + 1 = 202 fichiers. Un inventaire séparé décrit ces 202 éléments ; avec cet inventaire, le dossier contient 203 fichiers. Il s’agit d’un exemple d’organisation, sans traitement annoncé.
Après copie, le comptage retrouve les 202 éléments décrits, mais une empreinte diffère. Vous avez donc 201 fichiers concordants et un fichier à examiner : le bon nombre total ne suffit pas. Si le fichier source est resté stable, recopiez cet élément, puis recalculez son empreinte. Si la source a changé, choisissez d’abord la version à conserver et actualisez l’inventaire de manière cohérente.
Ouvrez ensuite depuis la copie une grande image, une image avec transparence et une image comportant du texte. Contrôlez aussi que les cent noms attendus figurent dans la livraison. Ces trois ouvertures illustrent un contrôle ciblé ; elles ne certifient pas la qualité de tous les autres visuels. Les cas signalés pendant le traitement doivent être revus individuellement.
Répéter une reprise sans utiliser les anciens chemins
Ouvrez le projet depuis l’emplacement de sauvegarde ou un dossier de test distinct. Suivez la note dans l’ordre, sans aller chercher discrètement une dépendance dans l’environnement initial. Les fichiers liés, polices, versions d’extensions ou chemins absolus manquants deviennent alors visibles.
Pour des images, reprenez une entrée avec les réglages conservés et ouvrez l’export. Pour un assistant, rechargez la configuration et rejouez une question de contrôle avec ses documents. Pour un calcul, vérifiez le chargement de l’état et une petite étape attendue. La vérification doit aller jusqu’au résultat utile ; voir un dossier dans l’explorateur ne teste pas sa reprise.
Notez la portée du contrôle. Vous pouvez avoir vérifié l’ouverture des livrables sans disposer du logiciel nécessaire pour relancer le calcul sur votre ordinateur. Dans ce cas, décrivez précisément ce qui est vérifié et ce qui reste à essayer dans un environnement compatible.
Reconnaître les erreurs qui donnent une fausse assurance
Une archive unique sur le disque de travail peut disparaître avec ce disque. Une copie synchronisée peut reproduire une suppression accidentelle. Deux dossiers visibles au même endroit ne démontrent donc pas deux moyens indépendants de récupérer les données. Choisissez une organisation de conservation adaptée à leur importance, puis testez le chemin de récupération prévu.
Les autres pièges sont plus ordinaires : dernier export absent, archive copiée avant la fin de son écriture, paramètres sans version, ou fichier protégé par un accès que le destinataire ne possède pas. Faites un dernier passage avec la liste, depuis la destination réelle. Tant qu’une anomalie reste ouverte, gardez les éléments nécessaires pour la corriger.
- Les livrables attendus sont présents et identifiés.
- L’inventaire concorde avec la copie retenue.
- Les fichiers de contrôle s’ouvrent depuis la destination.
- La note de reprise décrit les dépendances et limites restantes.
- Les accès nécessaires sont gérés séparément des fichiers partagés.