Поверніться зі своїми результатами та всім, що потрібно для продовження роботи.

Вирішити, що має пережити сесію

Почніть із того, що було б важко відтворити: унікальні оригінали, анотації, затверджені рішення, параметри та прийняті результати. Додайте файли, потрібні для розуміння та продовження роботи. Кеші можуть бути об'ємними, але не обов'язковими; навпаки, невеликий забутий параметр може зробити великий архів непридатним.

Відокремте доставку від архіву для відновлення. Отримувачу потрібні прийняті результати й коротке пояснення. Вам також потрібні вхідні дані, версії, спроби та корисні проміжні стани. Тека клієнта, де змішано відхилені варіанти, технічні журнали та остаточні файли, підвищує ризик використати не той результат.

Створити інвентар, який не залежить від вашої пам'яті

Надайте кожному файлу стабільне місце та зберігайте зв'язок між входом і виходом. Список може містити відносний шлях, роль файлу, його розмір і стан: збережено, доопрацювати або залишено лише для розуміння спроби. Використання відносних шляхів дає змогу переміщати теку без збереження конкретної назви машини.

Додайте нотатку про відновлення із метою, версією програмного забезпечення, обов'язковими компонентами, порядком дій і контрольним входом. Запишіть публічні файли, які ви плануєте отримати пізніше, із точною версією. Оскільки їхня майбутня доступність не гарантована, зберігайте локально все незамінне, що вам дозволено зберігати.

Перегляньте експорти конфігурації та журнали, перш ніж ділитися ними. Видаліть паролі, ключі й посилання для доступу, яким не місце в архіві. Примітка має пояснювати, як відновити дозволений доступ, не містячи при цьому самого секрету.

Для моделі розрізняйте використання та продовження навчання

Вага моделі та повний стан роботи виконують різні завдання. У PyTorch state_dict моделі зберігає її параметри та деякі стани. Щоб продовжити навчання, потрібні також елементи, які використовує цикл, зокрема стан оптимізатора та прогрес. Точні потреби залежать від вашої програми: планувальник, змішана точність або випадкові вибірки теж можуть мати значення.

Обирайте точку збереження залежно від питання, яке потрібно вирішити: «зробити прогноз знову» чи «продовжити з цього етапу». Задокументуйте очікувану структуру й спробуйте повторно завантажити власний файл. Назва на кшталт checkpoint-final не гарантує, що всі елементи для відновлення було збережено.

Подбати про копію, перш ніж забракне часу

Підготуйте місце, доступ до якого ви контролюєте, і перевірте його ємність. Зробіть невелику копію на початку проєкту, а потім проміжну копію вже стабільних елементів. Зберігайте версію архіву з ідентифікатором: якщо якісь результати зміняться під час фінального перенесення, ви вже не знатимете, який стан відновили.

Перед останньою копією завершіть заплановані записи або скористайтеся методом узгодженого збереження, який пропонує програмне забезпечення. Файл, що записується, може змінитися між інвентаризацією та копіюванням. Для навчання, яке триває, спирайтеся на точку відновлення, яку явно завершено, а не на тимчасовий файл, що просто видно в теці.

Обсяг даних, дрібні файли та переривання впливають на відновлення. Включіть цей етап у календар на 3, 7 або 30 днів. Не робіть висновку з короткого тестового перенесення про певний час для всього архіву; передбачте також час на розпакування та відкриття.

Спочатку перевірте вміст, а потім цілісність копії

Спершу порівняйте очікувані шляхи та кількість файлів. Розмір допомагає виявити порожній або обрізаний файл, але два різні файли можуть мати однаковий розмір. Щоб перевірити байти, обчисліть хеш SHA-256 кожного стабільного вихідного файлу, а потім той самий хеш для його копії. Python описує це обчислення в hashlib; інші інструменти пропонують той самий алгоритм.

Зберігайте інвентар хешів окремо від файлів, які він описує, не намагаючись умістити в нього власний хеш. Розбіжність може бути спричинена неправильною копією, але також і вихідним файлом, зміненим між двома обчисленнями. З’ясуйте причину, перш ніж щось замінювати.

Однаковий хеш не оцінює бізнес-результат і сам собою не доводить авторство файлу. Розмите зображення чи погана модель можуть бути скопійовані без спотворень. Тож поєднуйте перевірки цілісності з відкриттям репрезентативних результатів і перевіркою ваших критеріїв.

Приклад: сто зображень, двісті два корисні файли

Уявімо постачання зі ста візуалів. Архів для відновлення містить сто оригіналів, сто прийнятих зображень, файл параметрів і примітку про відновлення: 100 + 100 + 1 + 1 = 202 файли. Окремий інвентар описує ці 202 елементи; разом з цим інвентарем у теці 203 файли. Це приклад організації, без заявленого оброблення.

Після копіювання підрахунок знаходить 202 описані елементи, але один хеш відрізняється. Отже, ви маєте 201 узгоджений файл і один файл для перевірки: правильної загальної кількості недостатньо. Якщо вихідний файл залишався стабільним, скопіюйте цей елемент ще раз і перерахуйте його хеш. Якщо джерело змінилося, спершу виберіть версію для збереження та оновіть інвентар узгоджено.

Потім відкрийте з копії велике зображення, зображення з прозорістю та зображення з текстом. Також перевірте, чи всі сто очікуваних назв присутні в поставці. Ці три відкриття ілюструють точковий контроль; вони не засвідчують якість усіх інших візуальних матеріалів. Випадки, про які повідомили під час обробки, потрібно переглянути окремо.

Повторити відновлення, не використовуючи старі шляхи

Відкрийте проєкт із місця збереження або з окремої тестової теки. Виконуйте інструкцію по порядку, не намагаючись потайки знайти залежність у початковому середовищі. Тоді стануть видимими відсутні пов’язані файли, шрифти, версії розширень чи абсолютні шляхи.

Для зображень відкрийте запис із збереженими налаштуваннями та експорт. Для асистента перезавантажте конфігурацію та повторіть контрольне запитання з його документами. Для обчислення перевірте завантаження стану та один невеликий очікуваний крок. Перевірка має дійти до корисного результату; побачити теку в провіднику ще не означає перевірити її відновлення.

Занотуйте межі контролю. Ви могли перевірити відкриття результатів, не маючи потрібного програмного забезпечення, щоб повторити обчислення на своєму комп’ютері. У такому разі опишіть точно, що перевірено, а що ще слід випробувати в сумісному середовищі.

Розпізнавати помилки, що дають хибну впевненість

Єдиний архів на робочому диску може зникнути разом із цим диском. Синхронізована копія може відтворити випадкове видалення. Тож дві теки, видимі в одному місці, не доводять наявності двох незалежних способів відновити дані. Виберіть організацію зберігання, відповідну до їхньої важливості, а потім перевірте передбачений шлях відновлення.

Інші пастки буденніші: відсутній останній експорт, архів скопійовано до завершення його запису, параметри без версії або файл, захищений доступом, якого одержувач не має. Зробіть останній прохід за списком із фактичного місця призначення. Поки якась аномалія залишається відкритою, зберігайте елементи, потрібні для її виправлення.

• Очікувані результати наявні та ідентифіковані.
• Інвентар збігається з обраною копією.
• Контрольні файли відкриваються з місця призначення.
• Інструкція з відновлення описує залежності та залишкові обмеження.
• Необхідні доступи керуються окремо від спільних файлів.